完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。
字符识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法将分割后的字符二值化,并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，后选佳匹配作为结果。基于人工神经元网络的算法有两种：一种是先对待识别字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。
识别速度决定了一个车牌识别系统是否能够满足实时实际应用的要求。一个识别率很高的系统，如果需要几秒钟，甚至几分钟才能识别出结果，那么这个系统就会因为满足不了实际应用中的实时要求而毫无实用意义。例如，在高速公路收费中车牌识别应用的作用之一是减少通行时间，速度是这一类应用里减少通行时间、避免车道堵车的有力保障。国际交通技术提出的识别速度是1秒以内，越快越好。
