Принцип работы распознавания номерного знака

От: Шэньчжэнь TGW Technology Co.,Ltd

Технология распознавания номерных знаков основана на сегментации изображений, теории распознавания изображений. Технология используется для анализа изображений, содержащих номерной знак, для определения положения номерного знака, а также для дальнейшего извлечения и распознавания текстовых символов.

Типичный процесс распознавания номерного знака включает получение изображения, предварительную обработку изображения, позиционирование номерного знака, сегментацию символов, распознавание символов и вывод результатов. Каждый процесс дополняет друг друга. Весь процесс должен обеспечить его высокую эффективность и высокую способность к помехам. Только таким образом обработка идентификации может достичь удовлетворительного результата.

Есть два основных способа реализовать систему распознавания номерных знаков: один распознавание неподвижных изображений, а другой-динамическое распознавание видеопотока. Распознавание изображения ограничено такими факторами, как качество изображения, искажение номерного знака и наклон номерного знака. Динамическое распознавание видеопотока требует более высокой скорости распознавания, которая ограничена показателями производительности процессора, особенно когда мы хотим реализовать распознавание номерных знаков в реальном времени на мобильных терминалах, это требует большей оптимизации производительности.

Хотя распознавание номерного знака включает шесть основных процессов, основной алгоритм расположен только в трех модулях: позиционирование номерного знака, сегментация символов и распознавание символов.

Позиционирование номерного знака

Основная задача позиционирования номерного знака-найти площадь номерного знака от неподвижного изображения или видеокадра и отделить номерной знак от изображения для последующей обработки модуля. Позиционирование номерного знака является одним из важных факторов, влияющих на производительность системы. В настоящее время существует множество способов определения местонахождения номерных знаков, но в целом их можно разделить на два метода:

Во-первых, метод, основанный на графической визуализации.

Существуют в основном (1) методы локализации на основе цвета, такие как алгоритм цветового края, цветовое расстояние и алгоритм сходства и т. Д.; (2) методы локализации на основе текстур, такие как вейвлет текстура, дифференциальная текстура горизонтального градиента и т. Д.; (3) Метод позиционирования на основе обнаружения краев; (4) Метод позиционирования, основанный на математической форме.

Метод позиционирования, основанный на графике и технологии изображения, подвержен помехам, вызванным внешней информацией о помехах, и вызывает сбой позиционирования. Например, в методе позиционирования на основе анализа цвета, если цвет фона номерного знака аналогичен цвету номерного знака, трудно извлечь номерной знак из фона. В методе, основанном на обнаружении кромки, пятно на краю номерного знака может легко вызвать сбой позиционирования. Интерференция информации о внешних помехах также обманет алгоритм позиционирования, заставляя алгоритм позиционирования генерировать слишком много областей-кандидатов, не связанных с номерным знаком, что увеличивает нагрузку системы.

Во-вторых, метод, основанный на машинном обучении.

Методы на основе машинного обучения включают в себя методы позиционирования на основе инженерных функций и методы позиционирования на основе нейронной сети. Например, мы можем обучить систему позиционирования номерных знаков с помощью каскадного классификатора на основе функций haar, предоставляемых OpenCV. Но этот метод очень трудоемкий для обучения, а также низкая эффективность классификации и позиционирования. Следовательно, в области целевой локализации методы на основе нейронной сети являются основными методами. В методах локализации на основе нейронных сетей сверточные нейронные сети в основном используются для изучения целевых функций. Поскольку сверточная нейронная сеть имеет инвариантность трансляции, она может быть дополнена областями-кандидатами в процессе обучения и классифицировать регионы-кандидаты. Область-кандидат, которая правильно классифицирована,-это местоположение цели. Существует множество моделей реализации таких методов, таких как RCNN, более быстрый RCNN, SSD и так далее.

Сегментация персонажа

Задача сегментации персонажей состоит в том, чтобы вырезать каждый символ в многостонном или многостраинном изображении из всего изображения в одно изображение символа. Традиционные алгоритмы сегментации символов можно разделить на следующие две категории: методы прямой сегментации, методы сегментации, основанные на морфологии изображения. Метод прямой сегментации прост и основан на некоторых предварительных знаниях, таких как распределение символов номерных знаков, а также помогает некоторым основным алгоритмам проекции для достижения сегментации; метод сегментации на основе морфологии использует обнаружение краев, расширение и коррозию для определения положения изображения символа. Традиционные алгоритмы сегментации символов также чувствительны к внешним возмущениям, таким как наклон номерного знака, обрастание символов и адгезия. Правильная сегментация знаков номерного знака очень важна для распознавания символов. Только когда сегментация правильная, точность распознавания может быть гарантирована. С непрерывным развитием теории нейронных сетей технология сквозной классификации и распознавания изображений также сделала большие прорывы, поэтому многие программы OCR постепенно избавляются от традиционной обработки сегментации символов, а многоцелевые символы напрямую распознаются сетью распознавания..

Распознавание персонажа

Распознавание символов-это процесс извлечения кодирования символов из изображения, содержащего один или несколько символов. Типичный метод распознавания персонажей-это метод классификации изображений на основе машинного обучения. В методе классификации изображений одно изображение может выводить только одну классификацию, то есть одно изображение может содержать только одно изображение символа. Это требует высокой точности сегментации символов. Другой метод распознавания-это метод сквозного распознавания символов, основанный на повторяющейся нейронной сети. Этот метод вводит в сеть весь образ номерного знака, и нейронная сеть напрямую выводит все символы. Метод «от конца к концу» напрямую удаляет процесс сегментации символов и позволяет избежать потери стабильности, вызванной ошибкой сегментации символов, но метод «от конца к концу» также чувствителен к другим нарушениям, таким как наклон номерного знака.

Мы кратко обсудили некоторые технологии трех основных частей системы распознавания номерных знаков выше. В последующем мы подробно обсудим некоторые основные технологии.