車牌識別工作原理

作者: 深圳TGW科技有限公司

車牌識別技術是基於圖像分割、圖像識別理論的。 該技術用於分析包含車牌的圖像,以確定車牌的位置,並進一步提取和識別文本字符。

典型的車牌識別過程包括圖像獲取、圖像預處理、車牌定位、字符分割、字符識別和結果輸出。 每個過程是相輔相成的。 所有過程都必須確保其高效率和高抗干擾能力。 只有這樣,識別處理才能達到令人滿意的結果。

車牌識別系統的實現主要有兩種方式,一種是靜止圖像識別,另一種是動態視頻流識別。 圖像識別受到諸如圖像質量,車牌污損和車牌傾斜等因素的限制。 動態視頻流識別需要更快的識別速度,這受到處理器性能指標的限制,尤其是當我們想要在移動終端上實現實時車牌識別時,需要更多的性能優化。

儘管車牌識別包括六大過程,但核心算法僅位於三個模塊: 車牌定位,字符分割和字符識別。

車牌定位

車牌定位的主要任務是從靜止圖片或視頻幀中找到車牌的區域,並將車牌與圖像分離,以進行後續處理模塊處理。 車牌定位是影響系統性能的重要因素之一。 目前,有許多方法可以定位車牌,但總的來說,它們可以分為兩種方法:

一、基於圖形成像的方法

主要有 (1) 基於顏色的定位方法,如顏色邊緣算法、顏色距離和相似性算法等; (2) 基於紋理的定位方法,如小波紋理、水平梯度差分紋理等; (3) 基於邊緣檢測的定位方法; (4) 基於數學形式的定位方法。

基於圖形和圖像技術的定位方法容易受到外部干擾信息的干擾而導致定位失敗。 例如,在基於顏色分析的定位方法中,如果車牌的背景顏色與車牌的顏色相似,則很難從背景中提取車牌。 在基於邊緣檢測的方法中,車牌邊緣的污點很容易導致定位失敗。 外部干擾信息的干擾也會欺騙定位算法,導致定位算法產生過多的非車牌候選區域,增加了系統負荷。

二、基於機器學習的方法

基於機器學習的方法包括基於特徵工程的定位方法和基於神經網絡的定位方法。 例如,我們可以通過基於OpenCV提供的haar特徵的級聯分類器來訓練車牌定位系統。 但是這種方法訓練非常耗時,分類定位的效率也很低。 因此,在目標定位領域,基於神經網絡的方法是主流的方法。 在基於神經網絡的定位方法中,卷積神經網絡主要用於學習目標特徵。 由於卷積神經網絡具有平移不變性,因此可以在學習過程中補充候選區域,並對候選區域進行分類。 正確分類的候選區域是目標的位置。 此類方法的實現模型很多,如RCNN、faster RCNN、SSD等。

字符分割

字符分割的任務是將一個多列或多行字符圖像中的每個字符從整個圖像中切割成一個單個字符圖像。 傳統的字符分割算法可以歸納為以下兩類: 直接分割方法、基於圖像形態學的分割方法。 直接分割方法簡單,基於一些先驗知識,如車牌字符的分布,還輔助一些基本的投影算法來實現分割; 基於形態學的分割方法利用邊緣檢測、擴展和腐蝕來確定字符圖像位置。 傳統的字符分割算法對外部干擾也很敏感,例如車牌傾斜,字符污垢和附著力。 車牌字符的正確分割對於字符識別非常重要。 只有當分割正確時,才能保證識別的準確性。 隨著神經網絡理論的不斷發展,端到端的圖片分類和識別技術也取得了很大的突破,因此很多OCR軟件逐漸擺脫了傳統的字符分割處理,多字符直接被識別網絡識別。

字符識別

字符識別是從包含一個或多個字符的圖片中提取字符編碼的過程。 字符識別的典型方法是基於機器學習的圖片分類方法。 在圖片分類方法中,一張圖片只能輸出一個分類,即一張圖片只能包含一個字符圖像。 這要求字符分割的準確性很高。 另一種識別方法是基於遞歸神經網絡的端到端字符識別方法。 該方法將整個車牌圖像輸入到網絡中,神經網絡將直接輸出所有字符。 端到端方法直接去除字符分割過程,避免了字符分割錯誤造成的穩定性損失,但端到端方法對車牌傾斜等其他干擾也很敏感。

我們在上面簡要討論了車牌識別系統三個核心部分的一些技術。 在後續,我們將對一些主流技術進行詳細的討論。