系统进行视频车辆检测，需要具备很高的处理速度并采用的算法，在基本不丢帧的情况下实现图像采集、处理。若处理速度慢，则导致丢帧，使系统无法正确检测到行驶速度较快的车辆，同时也难以在有利于识别的位置开始识别处理，影响系统识别率。因此，将视频车辆检测与牌照自动识别相结合具备一定的技术难度。
字符识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹配算法将分割后的字符二值化,并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，后选佳匹配作为结果。基于人工神经元网络的算法有两种：一种是先对待识别字符进行特征提取，然后用所获得特征来训练神经网络分配器；另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。
实际应用中，牌照识别系统的识别率与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等；实际拍摄过程也会受到环境亮度、拍摄亮度、车辆速度等等因素的影响。这些影响因素不同程度上降低了牌照识别的识别率，也正是牌照识别系统的困难和挑战所在。为了提高识别率，除了不断的完善识别算法，还应该想办法克服各种光照条件，使采集到的图像利于识别。
采用计算机视觉技术识别车牌的流程通常都包括车辆图像采集，车牌定位，字符分割，光学字符识别，输出识别结果5个步骤。车辆图像的采集方式决定了车牌识别的技术路线。目前国际ITS通行的两条主流技术路线是自然光和红外光图像采集识别。自然光和红外光不会对人体产生不良的心理影响，也不会对环境产生新的电子污染，属于绿色环保技术。
红外光路线是指利用车牌反光和红外光的光学特性，用红外摄像机采集车辆灰度图像，由于红外特性，车辆图像上几乎只能看见车牌，然后用黑白图像处理方法识别车牌。950nm的红外照明装置可抓拍到很好的反光车牌照图像。因红外光是不可见光，它不会对驾驶员产生视觉影响。另外，红外照明装置提供的是不变的光，所抓拍的图像都是一样的，不论是在一天中明亮的时候，还是在一天中暗的时候。的例外是在白天，有时会看到一些牌照周围的细节，这是因为晴朗天气时太阳光的外光波的影响。采用红外灯的缺点就是所捕获的车牌照图像不是彩色的，不能获取整车图像，并且严重依赖车牌反光材料。
车牌识别技术结合测速设备可以用于车辆超速违章处罚，一般用于高速公路。具体应用是：在路上设置测速监测点，抓拍超速的车辆并识别车牌号码，将违章车辆的牌照号码及图片发往各出口；在各出口设置处罚点，用车牌识别设备识别通过车辆并将号码与已经收到的超速车辆的号码比对，一旦号码相同即启动警示设备通知执法人员处理。与传统的超速监测方式相比，这种应用可以节省警力，降低执法人员的工作强度，而且安全、、隐蔽，司机需时刻提醒自己不能超速，地减少了因超速引发的事故。
