Erinnerst du dich an den 86 Millionen Dollar teuren Nummernschild-Scanner, den ich repliziert habe?

Vor ein paar Wochen veröffentlichte ich einen Artikel, den ich damals für ziemlich harmlos hielt: Wie ich ein 86-Millionen-Dollar-Projekt in 57 Codezeilen replizierte. Ich sagte im Wesentlichen, dass Id die gleiche Technologie zum Scannen und Validieren von Nummernschildern reproduzierte, für die die Polizei in Victoria, Australien, gerade 86 Millionen Dollar bezahlt hatte.

Seitdem sind die Reaktionen überwältigend. Mein Artikel wurde am ersten Tag über 100.000 Mal aufgerufen, und auf den letzten Blick liegt er bei etwa 450.000. Ich wurde eingeladen, in lokalen Radio-Talkshows und auf einer Konferenz in Kalifornien zu sprechen.

Ich glaube, jemand hat Victoria, AU falsch verstanden als Victoria, BC. Obwohl ich diese Angebote höflich abgelehnt habe, habe ich mich mit verschiedenen lokalen Entwicklern und namhaften Firmen gleichermaßen zum Kaffee getroffen. Es war unglaublich aufregend.

Die meisten Leser sahen es als das an, was es war: ein Proof of Concept, um Diskussionen über die Verwendung von Open-Source-Technologie, Staatsausgaben und den Wunsch eines Mannes, coole Sachen von seiner Couch aus zu bauen, anzuregen. Pedanten haben auf den Mangel an Schulung, Support und den üblichen IT-Kostenaufschlägen für Unternehmen hingewiesen, aber es lohnt sich für niemanden, diese zu untersuchen. Ich würde diesen Beitrag lieber damit verbringen, meine Ergebnisse zu betrachten und zu sehen, wie andere ihre eigene Genauigkeit verbessern können.

Bevor wir zu tief in die Ergebnisse einsteigen, möchte ich auf eine Sache eingehen, die meiner Meinung nach im ursprünglichen Beitrag verloren gegangen ist. Das Konzept für dieses Projekt begann völlig getrennt von dem 86-Millionen-Dollar-BlueNet-Projekt. Es war auf keinen Fall ein Versuch, es abzuschütteln.

Es begann mit dem quälenden Gedanken, dass es eine Möglichkeit geben muss, die beiden zu kombinieren oder etwas Besseres zu verwenden, da OpenCV existiert und die VicRoads-Website Nummernschildprüfungen enthält. Erst als ich mit dem Schreiben begann, stolperte ich über BlueNet. Als ich BlueNet und sein Preisschild entdeckte, bekam ich einen großartigen redaktionellen Blickwinkel, da der Code bereits geschrieben war.

Es gab zwangsläufig einige Inkonsistenzen zwischen den Projekten. Ich glaube auch, dass ein Teil des Grundes für die Explosion der günstige Zeitpunkt für einen Bericht über verschwenderische IT-Ausgaben der Regierung in Australien war. Die IT-Rechnung der Bundesregierung ist von 5 $ in die Höhe geschossen.

9 Milliarden bis 10 Milliarden Dollar, und es lieferte einen zweifelhaften Wert für diesen Ausbruch. Medienforscher, die mich kontaktiert haben, haben die beiden schnell verknüpft, aber das ist etwas, was ich nicht so schnell ermutige. Ein Haftungsausschluss Im Sinne der Transparenz muss ich etwas erklären, das auch im ursprünglichen Beitrag fehlte.

Mein früherer Arbeitgeber lieferte kleinere (weniger als 1 Million US-Dollar) IT-Projekte für die Polizei von Victoria und andere staatliche Stellen. Infolgedessen habe ich mich Polizeikontrollen unterzogen und die Formulare ausgefüllt, die erforderlich sind, um ein VicPol-Auftragnehmer zu werden. Dies kann bedeuten, dass ich eine Axt zu schleifen habe oder bestimmtes Insiderwissen habe, aber stattdessen bin ich stolz auf die Projekte, die wir geliefert haben.

Sie waren sowohl pünktlich als auch im Rahmen des Budgets. Visualisierung der Ergebnisse Das Folgende ist eine Videodarstellung meiner Ergebnisse, die für ein bisschen Spaß in After Effects zusammengesetzt wurden. Ich habe verschiedene Testaufnahmen gemacht, und dies war der erfolgreichste Clip.

Ich werde nach dem Video detailliert auf ideale Kameraeinstellungen, Erkennungsbereiche und mehr eingehen. Es wird Ihnen helfen, besser zu verstehen, was dieses iPhone-Video, das ich durch die Windschutzscheibe aufgenommen habe, zu einem besseren Video gemacht hat als ein Contour HD, das aus dem Seitenfenster gewinkelt ist. Ein ethisches DilemmaWenn Sie die Heldengrafik dieses Artikels oder das obige Video gesehen haben, ist Ihnen vielleicht eine sehr interessante Entwicklung aufgefallen: Ich habe jemanden erwischt.

Konkret habe ich jemanden erwischt, der ein Fahrzeug mit einer stornierten Zulassung von 2016 gefahren ist. Dies könnte aus vielen Gründen geschehen sein, von denen der harmloseste eine zwielichtige Wiederverkaufspraxis ist. Gelegentlich, wenn der private Verkauf eines Fahrzeugs nicht nach Vorschrift erfolgt, können Käufer und Verkäufer keine offizielle Übertragung der Registrierung durchführen.

Das spart dem Käufer Hunderte von Dollar, aber das Fahrzeug ist immer noch auf den Verkäufer registriert. Es ist nicht ungewöhnlich, dass ein Verkäufer dann die Registrierung storniert und eine Ad-hoc-Rückerstattung der verbleibenden Monate erhält, die ebenfalls Hunderte von Dollar wert sind. Alternativ könnte der Fahrer des Fahrzeugs auch der Verbrecher sein, den wir vermuten.

Also, obwohl ich das Projekt scherzhaft Plattenschnüffler genannt habe, als ich es auf meinem Computer eingerichtet habe, stehe ich jetzt vor der Frage, ob ich melden soll, was ich gesehen habe. Letztendlich wurde der Fahrer mit einem Prototyp eines reinen Polizeigeräts entdeckt. Aber das Fahren mit einer 2016er Registrierung (storniert, nicht abgelaufen) ist ein sehr bewusster Schritt.

Hmm.Zurück zu den Ergebnissen Von den vielen Reaktionen auf meinen Artikel war eine beträchtliche Menge ziemlich wörtlich und zweifelhaft. Da ich sagte, dass ich die Software repliziert habe, behaupteten sie, dass ich ein Support-Center, Garantien und Schulungshandbücher haben müsse.

Einer versuchte sogar, meine Ergebnisse zu replizieren und stieß dabei auf die unvermeidlichen Hindernisse in Bezug auf Bildqualität und Quellmaterial. Aus diesem Grund deuteten einige an, dass ich meine Quellbilder aussortiert hätte. Dazu kann ich nur sagen, Na ja.

Als ich meinen ersten Machbarkeitsnachweis erstellte (wieder mit dem Fokus auf die Validierung einer Idee, nicht auf die Replikation von BlueNet), verwendete ich einen kleinen Beispielsatz von weniger als zehn Bildern. Da das Kamera-Setup einer der wichtigsten Faktoren bei ALPR ist, habe ich sie nach idealen Eigenschaften ausgewählt, die die Wiedererkennung verbessern. Letztendlich ist es sehr einfach, einen fragilen Proof of Concept zu nehmen und ihn zu zerstören.

Die wahre Innovation und Herausforderung besteht darin, einen Machbarkeitsnachweis zu führen und ihn zum Funktionieren zu bringen. Während meiner beruflichen Laufbahn haben mir viele erfahrene Entwickler gesagt, dass Dinge nicht oder zumindest nicht rechtzeitig erledigt werden können. Manchmal hatten sie recht.

Oft waren sie einfach nur risikoscheu. Nichts ist unmöglich, bis es bewiesen ist. Viele Menschen verfälschen dieses Zitat, und Sie haben vielleicht schon einmal eine seiner Inkarnationen gesehen oder gehört.

Für mich fasst es eine gesunde Entwicklungsmentalität zusammen, in der das Aufpeppen und Validieren von Ideen fast zwingend erforderlich ist, um sie zu verstehen. Dies ist nur mit einer Kombination aus Hardware, Software und Netzwerklösungen möglich.

Nachdem ich meinen ursprünglichen Artikel gepostet hatte, boten Leute, die ALPR-Kameras verkaufen, schnell Ratschläge an. Optischer Zoom Die naheliegendste Lösung im Nachhinein ist die Verwendung eines optischen Zooms. Obwohl ich unten auf andere wichtige Faktoren eingehen werde, führt keiner zu einem so schieren Anstieg der Anerkennung wie dieser.

Im Allgemeinen werden professionelle ALPR-Lösungen in einem Winkel versetzt, darauf trainiert, wo das Nummernschild sein wird, und in den Bereich gezoomt, um die Klarheit zu maximieren. Das bedeutet, je mehr Zoom, desto mehr Pixel zum Spielen. Alle Kameras, die ich zur Verfügung hatte waren von einem festen Objektiv.

Dazu gehörten: Eine Contour HD-Action-Kamera. Diese kamen 2009 heraus, und ich benutze meine, um meine Radwege zur Arbeit aufzuzeichnen und jede Woche die Nahtoderfahrungen wiederzugeben.

Meine einzige Methode, einen optischen Zoom zu replizieren, bestand darin, eine App zu verwenden, um mit 3K statt 1080p aufzunehmen und dann digital zu zoomen und zuzuschneiden. Wieder mehr Pixel zum Spielen.Angle & PositionierungDer Betrachtungswinkel von 30 wird oft als Standard für eine optimale Plattenerkennung bezeichnet.

Dies ist unglaublich wichtig, wenn Sie erfahren, dass BlueNet eine Reihe von Kameras verwendet. Es macht auch Sinn, wenn man bedenkt, was eine nach vorne gerichtete Kamera im Allgemeinen nicht sehr viel sehen würde. Wenn ich raten müsste, würde ich sagen, dass ein hauptsächlich nach vorne gerichtetes Array das ideale Setup wäre.

Es würde aus einer einzelnen Kamera bestehen, die wie oben auf den Totpunkt gerichtet ist, zwei außermittige bei 30 auf jeder Seite und eine einzelne nach hinten gerichtete Kamera. Der Vorteil, dass die meisten Kameras nach vorne gerichtet sind, ergibt sich aus der erhöhten Reaktionszeit, wenn das Fahrzeug in die entgegengesetzte Richtung fährt. Dies würde ein schnelleres Scannen, Verarbeiten und Wenden ermöglichen, als wenn die nach hinten gerichteten Kameras ein verdächtiges Fahrzeug bereits zehn Meter hinter dem Polizeifahrzeug aufnehmen würden.

Ein GymbalBeim Compositing des Videos dachte ich darüber nach, das Material zu stabilisieren. Stattdessen entschied ich mich, die holprige Fahrt als das zu zeigen, was sie war. Was Sie gesehen haben, war, wie ich mein Handy an die Windschutzscheibe hielt, während meine Frau fuhr.

Schauen Sie sich diese strenge wissenschaftliche Methode an. Andere wichtige FaktorenBildrateSowohl der Versuch, mein Projekt zu replizieren, als auch meine Aufzeichnungen seitdem untersuchten das gleiche Missverständnis, dass die ALPR-Sampling-Bildrate mit dem Erfolg verknüpft sein könnte. Meiner Erfahrung nach hat dies nichts als Abfallzyklen bewirkt.

Was stattdessen unglaublich wichtig ist, ist die Verschlusszeit, die sauberes, gestochen scharfes Filmmaterial erzeugt, das gut in den Algorithmus einfließt. Aber ich habe auch relativ langsames Filmmaterial getestet. Höchstens zwei Fahrzeuge, die in einer 60-km/h-Zone aneinander vorbeifahren, erzeugten eine 120-km/h-Differenz.

BlueNet hingegen kann bis angeblich 200km/h arbeiten. Um dies zu lösen, schlug ein Kollege Objekterkennung und Out-of-Band-Verarbeitung vor. Identifizieren Sie ein Fahrzeug und zeichnen Sie einen Begrenzungsrahmen.

Warten Sie, bis es in den idealen Erkennungswinkel kommt, und zoomen Sie. Nehmen Sie dann eine Reihe von Fotos für die asynchrone Verarbeitung auf. Ich habe nach der Verwendung von OpenCV (node-opencv) für die Objekterkennung gesucht, aber ich habe etwas Einfacheres wie die Gesichtserkennung gefunden, das zwischen 600 und 800 ms dauert.

Nicht nur weniger als ideal für meinen Gebrauch, sondern im Allgemeinen ziemlich schlecht. Der Hype-Train TensorFlow kommt zur Rettung. Es kann auf dem Gerät ausgeführt werden und es gibt Beispiele für Projekte, die mehrere Fahrzeuge pro Frame mit erstaunlichen 27 identifizieren.

7fps. Diese Version könnte sogar Geschwindigkeitsschätzungen offenlegen. Rechtlich wertlos, aber im Polizeialltag vielleicht nützlich (kein fps-Benchmark in Readme).

Um besser zu erklären, wie eine leistungsstarke Fahrzeugerkennung mit langsameren ALPR-Techniken gekoppelt werden kann, habe ich ein weiteres Video in After Effects erstellt. Ich stelle mir vor, dass die beiden, die Hand in Hand arbeiten, ungefähr so ​​​​aussehen würden:Bildrate vs. VerschlusszeitEine andere Manifestation der Bildrate wird stark von der Verschlusszeit beeinflusst, und insbesondere von den Rolling-Shutter-Problemen, die frühe oder niedrige digitale Filme plagen Rekorder. Das Folgende ist ein Schnappschuss von einigen Contour HD-Aufnahmen.

Sie können sehen, dass das Rolling-Shutter-Problem bei nur 60 km/h das Filmmaterial aus ALPR-Sicht mehr oder weniger unbrauchbar macht. Die Anpassung der Bildrate sowohl auf der Contour HD als auch auf meinem iPhone führte nicht zu einer merklich geringeren Verzerrung. Theoretisch sollte eine höhere Verschlusszeit klarere und schärfere Bilder erzeugen.

Sie würden immer wichtiger werden, wenn man den 200 km/h BlueNet-Benchmark jagen würde. Weniger Unschärfe und weniger Rolling-Shutter-Verzerrung würden idealerweise zu einer besseren Lesbarkeit führen. Offene ALPR-Version Eine der interessanteren Entdeckungen war, dass die von mir verwendete node-openalpr-Version sowohl veraltet als auch nicht annähernd so leistungsfähig wie ihre proprietäre Lösung ist.

Während eine Open-Source-Anforderung sicherlich ein Faktor war, war es erstaunlich, wie genau die Cloud-Version Frames lesen konnte, auf denen ich nicht einmal ein Schild identifizieren konnte. ALPR Country Training DataIch fand auch heraus, dass das Hauptpaket node-openalpr standardmäßig auf die US-Länderverarbeitung eingestellt ist keine Möglichkeit, es zu überschreiben. Sie müssen den Fork eines anderen herunterziehen, wodurch Sie dann einen zusätzlichen Länderparameter angeben können.

Aber das hilft nicht immer. Mit dem Standard-US-Algorithmus konnte ich die meisten Ergebnisse erzielen. Die Angabe des australischen Datensatzes halbierte tatsächlich die Anzahl der erfolgreichen Plattenablesungen, und es gelang nur ein oder zwei, die der US-Algorithmus nicht finden konnte.

Die Bereitstellung des separaten Australian Wide Plate-Sets halbierte die Anzahl erneut und führte eine einzelne zusätzliche Platte ein. Es gibt eindeutig viel zu wünschen übrig, wenn es um australische Datensätze für ALPR geht, und ich denke, dass die schiere Anzahl der verfügbaren Plattenstile in Victoria trägt dazu bei.Planar WarpsOpen ALPR wird mit einem speziellen Tool geliefert, um die Auswirkungen von Verzerrungen sowohl durch den Kamerawinkel als auch durch Rolling-Shutter-Probleme zu reduzieren.

Planar Warp bezieht sich auf eine Methode, bei der Koordinaten an die Bibliothek übergeben werden, um ein Bild zu verzerren, zu verschieben und zu drehen, bis es einer geraden Platte sehr ähnlich ist. In meiner begrenzten Testerfahrung konnte ich kein planares Warp finden, das funktioniert hat alle Geschwindigkeiten. Wenn Sie Rolling Shutter in Betracht ziehen, ist es sinnvoll, dass die Verzerrung relativ zur Fahrzeuggeschwindigkeit zunimmt.

Ich würde mir vorstellen, Beschleunigungsmesser oder GPS-Geschwindigkeitsdaten zu füttern, da ein Koeffizient funktionieren könnte. Oder, wissen Sie, besorgen Sie sich eine Kamera, die nicht völliger Müll ist. Was andere in der Branche tun Zahlreiche Leser haben sich nach dem letzten Post gemeldet, um ihre eigenen Erfahrungen und Ideen mitzuteilen.

Vielleicht eine der interessanteren Lösungen, die mir mitgeteilt wurden, war die von Auror in Neuseeland. Sie setzen feststehende ALPR-Kameras in Tankstellen ein, um über Leute zu berichten, die Benzin stehlen. Das ist an sich nicht besonders neu und revolutionär.

Aber wenn sie mit ihrem Netzwerk gekoppelt sind, können sie automatisch eine Warnung auslösen, wenn bekannte Täter zurückgekehrt sind oder Tankstellen in der Umgebung angreifen. Unabhängige Entwickler in Israel, Südafrika und Argentinien haben Interesse gezeigt, ihre eigenen gehackten Versionen von zu erstellen BlueNet. Einige werden wahrscheinlich besser abschneiden als andere, da Orte wie Israel siebenstellige Nummernschilder ohne Buchstaben verwenden.

SCHLUSSELERKENNTNISSE Es gibt einfach zu viel, was ich in den letzten paar Wochen des Dilettantismus gelernt habe, um es in einen Beitrag zu stecken. Obwohl es viele Kritiker gab, weiß ich die Unterstützung und das Wissen, das mir zugesandt wurde, sehr zu schätzen. Es gibt viele Herausforderungen, denen Sie beim Versuch, Ihre eigene ALPR-Lösung zu erstellen, begegnen werden, aber zum Glück sind viele davon gelöste Probleme .

Um die Dinge ins rechte Licht zu rücken, ich bin Designer und Frontend-Entwickler. Ich habe jetzt ungefähr zehn Stunden mit Filmmaterial und Code verbracht, weitere acht mit der Videoproduktion und mindestens weitere zehn allein mit dem Schreiben. Ich habe erreicht, was ich habe, indem ich auf den Schultern von Riesen gestanden habe.

Ich installiere Bibliotheken, die von intelligenten Leuten gebaut wurden, und habe Ratschläge von Leuten eingeholt, die diese Kameras für ihren Lebensunterhalt verkaufen. Die 86-Millionen-Dollar-Frage bleibt immer noch, ob Sie eine halbgare Lösung bauen können, die einen guten Job macht, indem Sie auf den Schultern von Giganten stehen, wie Viel mehr Geld sollte man reinstecken, um wirklich richtig gute Arbeit zu leisten? Meine Lösung liegt nicht einmal im selben Sonnensystem wie die 99.

999% genauer Scanner, den einige Internet-Kommentatoren zu erwarten scheinen. Andererseits muss BlueNet nur ein Genauigkeitsziel von 95 % erreichen. Wenn Sie also mit 1 Million US-Dollar eine Genauigkeit von 80 % und mit 10 Millionen US-Dollar eine Genauigkeit von 90 % erreichen, wann hören Sie auf, Geld auszugeben?

Wenn man bedenkt, dass sich die Technologie hier in Ozeanien als kommerzielle Anwendung erwiesen hat, wie viel mehr Steuergelder sollten in eine proprietäre Lösung aus der Nähe gesteckt werden, wenn lokale Startups davon profitieren könnten? Australien soll schließlich eine Innovationsnation sein