车牌辨认系统的顺应性急需增强
目前我国的车牌辨认产品都请求所辨认的车牌大小固定，而对过大和过小的车牌普通都不能辨认。这样就形成对视频触发的状况下局部车牌无法被辨认的问题。此外，在有些现场环境中，由于受外界条件的影响，无法将相机架设在位置，会形成图片中车牌不同水平的偏移。
车牌识别感光部件对外部环境的处置
环境是影响车牌辨认的主要要素，在采集车辆图像时，由于环境光线变化猛烈，白昼光较强、夜间较弱，面光与背光不同，上午和下午的光照方向也不一样，抓拍图像时受环境光线影响较大，车速过高、采集设备的动态范围等都使成像质量难以得到有效。当辨认算法以为车牌到达了成像位置时系统触发系统开端拍摄，这对触发设备的牢靠性和响应速度都有较高的请求。所以要处理环境形成辨认率低下的问题，还要靠摄像机的感光部件对外部环境的处置。
车牌定位
从整个图像中准确地检测出车牌区域，是车牌识别过程的一个重要步骤，如果定位失败或定位不完整，会直接导致终识别失败。由于复杂的图像背景，且要考虑不清晰车牌的定位，所以很容易把栅栏，广告牌等噪声当成车牌，所以如何排除这些伪车牌也是车牌定位的一个难点。为了提高定位的准确率和提高识别速度，一般的车牌识别系统都会设计一个外部接口，让用户自己根据现场环境设置不同的识别区域。
字符分割
定位出车牌区域后，由于并不知道车牌中总共有几个字符、字符间的位置关系、每个字符的宽高等信息，所以，为了车牌类型匹配和字符识别正确，字符分割是的一步。字符分割的主要思路是，基于车牌的二值化结果或边缘提取结果，利用字符的结构特征、字符间的相似性、字符间间隔等信息，一方面把单个字符分别提取出来，也包括粘连和断裂字符等特殊情况的处理；另一方面把宽、高相似的字符归为一类从而去除车牌边框以及一些小的噪声。一般采用的算法有：连通域分析、投影分析，字符聚类和模板匹配等。污损车牌和光照不均造成的模糊车牌仍是字符分割算法所面对的挑战，有待更好的算法出现并解决以上问题。
字符识别
对分割后的字符的灰度图像进行归一化处理，特征提取，然后经过机器学习或与字符数据库模板进行匹配，后选取匹配度的结果作为识别结果。目前比较流行的字符识别算法有：模板匹配法、人工神经网络法、支持向量机法和Adaboost分类法等。模板匹配法的优点是识别速度快、方法简单，缺点是对断裂、污损等情况的处理有一些困难；人工神经网络法学习能力强、适应性强、分类能力强但比较耗时；支持向量机法对于未见过的测试样本具有更好的识别能力且需要较少的训练样本；Adaboost分类法能侧重于比较重要的训练数据，识别速度快、实时性较高。我国车牌由汉字、英文字母和阿拉伯数字3种字符组成，且具有统一的样式，这也是识别过程的方便之处。但由于车牌很容易受外在环境的影响，出现模糊、断裂、污损字符的情况，如何提高这类字符和易混淆字符的识别率，也是字符识别的难点之一。易混淆字符包括：0与D、0与Q、2与Z、8与B、5与S、6与G、4与A等。
随着行业的发展，市场各式各样的需求，市场对车牌识别系统(车牌识别系统)的需求越来越广泛，主要分为：软件识别和硬件识别。通过车牌号码的自动识别、自动登陆、自动对比，系统可以实现自动开闸、自动计费、自动验证用户车辆身份、自动区分内外部车辆、自动计算车位数、自动报警等诸多智能化功能。
