车牌识别工作原理

作者: 深圳TGW科技有限公司

车牌识别技术是基于图像分割、图像识别理论的。该技术用于分析包含车牌的图像，以确定车牌的位置，并进一步提取和识别文本字符。

典型的车牌识别过程包括图像获取、图像预处理、车牌定位、字符分割、字符识别和结果输出。 每个过程是相辅相成的。 所有过程都必须确保其高效率和高抗干扰能力。 只有这样，识别处理才能达到令人满意的结果。

车牌识别系统的实现主要有两种方式，一种是静止图像识别，另一种是动态视频流识别。 图像识别受到诸如图像质量，车牌污损和车牌倾斜等因素的限制。 动态视频流识别需要更快的识别速度，这受到处理器性能指标的限制，尤其是当我们想要在移动终端上实现实时车牌识别时，需要更多的性能优化。

尽管车牌识别包括六大过程，但核心算法仅位于三个模块: 车牌定位，字符分割和字符识别。

车牌定位

车牌定位的主要任务是从静止图片或视频帧中找到车牌的区域，并将车牌与图像分离，以进行后续处理模块处理。 车牌定位是影响系统性能的重要因素之一。 目前，有许多方法可以定位车牌，但总的来说，它们可以分为两种方法:

一、基于图形成像的方法

主要有 (1) 基于颜色的定位方法，如颜色边缘算法、颜色距离和相似性算法等; (2) 基于纹理的定位方法，如小波纹理、水平梯度差分纹理等; (3) 基于边缘检测的定位方法; (4) 基于数学形式的定位方法。

基于图形和图像技术的定位方法容易受到外部干扰信息的干扰而导致定位失败。 例如，在基于颜色分析的定位方法中，如果车牌的背景颜色与车牌的颜色相似，则很难从背景中提取车牌。 在基于边缘检测的方法中，车牌边缘的污点很容易导致定位失败。 外部干扰信息的干扰也会欺骗定位算法，导致定位算法产生过多的非车牌候选区域，增加了系统负荷。

二、基于机器学习的方法

基于机器学习的方法包括基于特征工程的定位方法和基于神经网络的定位方法。 例如，我们可以通过基于OpenCV提供的haar特征的级联分类器来训练车牌定位系统。 但是这种方法训练非常耗时，分类定位的效率也很低。 因此，在目标定位领域，基于神经网络的方法是主流的方法。 在基于神经网络的定位方法中，卷积神经网络主要用于学习目标特征。 由于卷积神经网络具有平移不变性，因此可以在学习过程中补充候选区域，并对候选区域进行分类。 正确分类的候选区域是目标的位置。 此类方法的实现模型很多，如RCNN、faster RCNN、SSD等。

字符分割

字符分割的任务是将一个多列或多行字符图像中的每个字符从整个图像中切割成一个单个字符图像。 传统的字符分割算法可以归纳为以下两类: 直接分割方法、基于图像形态学的分割方法。 直接分割方法简单，基于一些先验知识，如车牌字符的分布，还辅助一些基本的投影算法来实现分割; 基于形态学的分割方法利用边缘检测、扩展和腐蚀来确定字符图像位置。 传统的字符分割算法对外部干扰也很敏感，例如车牌倾斜，字符污垢和附着力。 车牌字符的正确分割对于字符识别非常重要。 只有当分割正确时，才能保证识别的准确性。 随着神经网络理论的不断发展，端到端的图片分类和识别技术也取得了很大的突破，因此很多OCR软件逐渐摆脱了传统的字符分割处理，多字符直接被识别网络识别。

字符识别

字符识别是从包含一个或多个字符的图片中提取字符编码的过程。 字符识别的典型方法是基于机器学习的图片分类方法。 在图片分类方法中，一张图片只能输出一个分类，即一张图片只能包含一个字符图像。 这要求字符分割的准确性很高。 另一种识别方法是基于递归神经网络的端到端字符识别方法。 该方法将整个车牌图像输入到网络中，神经网络将直接输出所有字符。 端到端方法直接去除字符分割过程，避免了字符分割错误造成的稳定性损失，但端到端方法对车牌倾斜等其他干扰也很敏感。

我们在上面简要讨论了车牌识别系统三个核心部分的一些技术。 在后续，我们将对一些主流技术进行详细的讨论。