Vous souvenez-vous du scanner de plaques d'immatriculation de 86 millions de dollars que j'ai répliqué ?

Il y a quelques semaines, j'ai publié ce que je pensais à l'époque être un article assez anodin : Comment j'ai reproduit un projet de 86 millions de dollars en 57 lignes de code. Je disais essentiellement que j'avais reproduit la même technologie de numérisation et de validation des plaques d'immatriculation que la police de Victoria, en Australie, venait de payer 86 millions de dollars.

Depuis, les réactions sont fulgurantes. Mon article a reçu plus de 100 000 visites le premier jour et, au dernier coup d'œil, il en compte environ 450 000. J'ai été invité à prendre la parole dans des émissions de radio locales et lors d'une conférence en Californie.

Je pense que quelqu'un a peut-être mal interprété Victoria, AU comme Victoria, BC.Bien que j'ai poliment décliné ces offres, j'ai rencontré pour un café divers développeurs locaux et de grandes entreprises. Cela a été incroyablement excitant.

La plupart des lecteurs l'ont vu pour ce qu'il était : une preuve de concept pour susciter une discussion sur l'utilisation de la technologie open source, les dépenses du gouvernement et le désir d'un homme de créer des trucs sympas depuis son canapé. Les pédants ont souligné le manque de formation, d'assistance et les facteurs de coût habituels de l'informatique d'entreprise, mais cela ne vaut la peine pour personne de prendre le temps de les explorer. Je préfère passer ce post à regarder mes résultats et comment les autres peuvent s'y prendre pour renforcer leur propre précision.

Avant d'aller trop loin dans les résultats, j'aimerais revenir sur une chose qui, à mon avis, a été perdue dans le message d'origine. Le concept de ce projet a commencé complètement séparé du projet BlueNet de 86 millions de dollars. Ce n'était en aucun cas une tentative de le faire tomber.

Cela a commencé avec la pensée lancinante que puisque OpenCV existe et que le site Web VicRoads a des contrôles de plaque d'immatriculation, il doit y avoir un moyen de combiner les deux ou d'utiliser quelque chose de mieux. Ce n'est que lorsque j'ai commencé ma rédaction que je suis tombé sur BlueNet. Tout en découvrant BlueNet et son prix m'a donné un grand angle éditorial, avec le code déjà écrit.

Il devait y avoir des incohérences entre les projets. Je crois aussi que cela a explosé en partie en raison du moment opportun d'un rapport sur les dépenses informatiques inutiles du gouvernement en Australie. La facture informatique du gouvernement fédéral a grimpé de 5 $.

9 milliards à 10 milliards de dollars, et cela a fourni une valeur douteuse pour cette explosion. Les chercheurs des médias qui m'ont contacté n'ont pas tardé à lier les deux, mais ce n'est pas quelque chose que j'encourage rapidement. Un avertissement Dans un esprit de transparence, je dois déclarer quelque chose qui manquait également dans le message d'origine.

Mon ancien employeur a réalisé des projets informatiques plus petits (moins d'un million de dollars) pour la police de Victoria et d'autres organismes d'État. En conséquence, j'ai subi des contrôles de police et rempli les formulaires requis pour devenir un entrepreneur VicPol. Cela peut impliquer que j'ai une hache à moudre ou que j'ai des connaissances d'initiés spécifiques, mais je suis plutôt fier des projets que nous avons livrés.

Ils respectaient à la fois les délais et le budget.Visualisation des résultatsCe qui suit est une représentation vidéo de mes résultats, composée dans After Effects pour un peu de plaisir. J'ai enregistré diverses séquences de test, et c'était le clip le plus réussi.

J'entrerai dans les détails sur les configurations de caméra idéales, les régions de détection, etc. après la vidéo. Cela vous aidera à mieux comprendre ce qui a fait de cette vidéo iPhone que j'ai prise à travers le pare-brise une meilleure vidéo qu'un Contour HD incliné vers la fenêtre latérale. Un dilemme éthique Si vous avez vu le héros graphique de cet article ou regardé la vidéo ci-dessus, vous avez peut-être remarqué un développement très intéressant : j'ai attrapé quelqu'un.

Plus précisément, j'ai surpris quelqu'un au volant d'un véhicule dont l'immatriculation a été annulée à partir de 2016. Cela aurait pu se produire pour de nombreuses raisons, dont la plus innocente est une pratique de revente douteuse. Parfois, lorsque la vente privée d'un véhicule n'est pas effectuée dans les règles de l'art, l'acheteur et le vendeur peuvent ne pas effectuer de transfert officiel d'immatriculation.

Cela permet à l'acheteur d'économiser des centaines de dollars, mais le véhicule est toujours enregistré auprès du vendeur. Il n'est pas rare qu'un vendeur annule ensuite l'inscription et reçoive un remboursement ad hoc des mois restants, valant également des centaines de dollars. Alternativement, le conducteur du véhicule pourrait bien être le criminel que nous soupçonnons qu'il est.

Ainsi, bien que j'ai nommé en plaisantant le projet plate-snitch lorsque je l'ai configuré sur mon ordinateur, je suis maintenant confronté à l'énigme de savoir s'il faut signaler ce que j'ai vu. En fin de compte, le conducteur a été détecté à l'aide d'un prototype d'un appareil réservé à la police. Mais conduire sur une immatriculation 2016 (annulée, non expirée) est une décision très délibérée.

Hmm. Retour aux résultats Parmi les nombreuses réactions à mon article, une quantité importante était assez littérale et douteuse. Depuis que j'ai dit que j'avais reproduit le logiciel, ils ont affirmé que je devais avoir un centre de support, des garanties et des manuels de formation.

L'un d'entre eux a même tenté de reproduire mes résultats et de se heurter aux obstacles inévitables de la qualité de l'image et du matériel source. Pour cette raison, certains ont laissé entendre que j'avais choisi mes images sources. À cela, je ne peux que dire, Eh bien, duh.

Lorsque j'ai construit ma preuve de concept initiale (encore une fois, en me concentrant sur la validation d'une idée, pas sur la reproduction de BlueNet), j'ai utilisé un petit échantillon de moins de dix images. Étant donné que la configuration de la caméra est l'un des facteurs les plus importants de la RAPI, sinon le plus important, je les ai sélectionnés pour leurs caractéristiques idéales qui améliorent la reconnaissance. En fin de compte, il est très simple de prendre une preuve de concept fragile et de la casser.

La véritable innovation et le véritable défi consistent à prendre une preuve de concept et à la faire fonctionner. Tout au long de ma carrière professionnelle, de nombreux développeurs seniors m'ont dit que les choses ne peuvent pas être faites ou du moins ne peuvent pas être faites en temps opportun. Parfois, ils avaient raison.

Souvent, ils étaient simplement averses au risque. Rien n'est impossible tant que cela n'est pas prouvé. Beaucoup de gens bâtardent cette citation, et vous avez peut-être déjà vu ou entendu l'une de ses incarnations.

Pour moi, cela résume parfaitement un état d'esprit de développement sain, dans lequel il est presque obligatoire de doter et de valider des idées pour les comprendre. Cela ne peut se produire qu'avec une combinaison de solutions matérielles, logicielles et réseau.

Après avoir publié mon article original, les vendeurs de caméras RAPI ont rapidement proposé des conseils. Zoom optique La solution la plus évidente avec le recul est l'utilisation d'un zoom optique. Bien que j'explore d'autres facteurs importants ci-dessous, aucun n'a conduit à une telle augmentation de la reconnaissance que celle-ci.

En général, les solutions RAPI professionnelles sont décalées selon un angle, formées sur l'emplacement de la plaque d'immatriculation et zoomées dans la zone pour maximiser la clarté. Cela signifie que plus il y a de zoom, plus il y a de pixels avec lesquels jouer. Toutes les caméras que j'avais à ma disposition étaient d'une lentille fixe.

Ils comprenaient : Une caméra d'action Contour HD. Ceux-ci sont sortis en 2009, et j'utilise le mien pour enregistrer mon trajet à vélo et pour rejouer chaque semaine une expérience de mort imminente.

Ma seule méthode pour reproduire un zoom optique consistait à utiliser une application pour enregistrer à 3K au lieu de 1080p, puis à zoomer et recadrer numériquement. Encore une fois, plus de pixels pour jouer avec.Angle & PositionnementL'angle de vision de 30 est souvent référencé comme la norme pour une reconnaissance idéale des plaques.

Ceci est extrêmement important lorsque vous apprenez que BlueNet utilise une gamme de caméras. Cela a également du sens lorsque vous considérez ce qu'une caméra frontale ne verrait généralement pas beaucoup. Si je devais deviner, je dirais qu'un tableau principalement orienté vers l'avant serait la configuration idéale.

Il se composerait d'une seule caméra pointée au point mort comme ci-dessus, de deux décentrées à 30 de chaque côté et d'une seule caméra orientée vers l'arrière. L'intérêt d'avoir la plupart des caméras pointées vers l'avant proviendrait du temps de réaction accru si le véhicule se déplace dans la direction opposée. Cela permettrait un balayage, un processus et un demi-tour plus rapides que si les caméras orientées vers l'arrière captaient un véhicule suspect déjà dix mètres après le véhicule de police.

A GymbalLors de la composition de la vidéo, j'ai pensé à stabiliser le métrage. Au lieu de cela, j'ai choisi de montrer le trajet cahoteux pour ce qu'il était. Ce que vous avez vu, c'est que je tenais mon téléphone près du pare-brise pendant que ma femme conduisait.

Découvrez cette méthode scientifique rigoureuse. Autres facteurs importantsFrame RateLa tentative de répliquer mon projet et mes enregistrements depuis lors ont exploré la même idée fausse selon laquelle la fréquence d'images d'échantillonnage RAPI peut être liée au succès. D'après mon expérience, cela n'a fait que gaspiller des cycles.

Au lieu de cela, ce qui est extrêmement important, c'est la vitesse d'obturation qui crée des images nettes et nettes qui alimentent bien l'algorithme. Mais je testais aussi des séquences assez lentes. Au maximum, deux véhicules se croisant dans une zone de 60 km/h créent un différentiel de 120 km/h.

BlueNet, d'autre part, peut fonctionner jusqu'à 200 km/h. Pour résoudre ce problème, un collègue a suggéré la détection d'objets et le traitement hors bande. Identifiez un véhicule et dessinez une boîte englobante.

Attendez qu'il atteigne l'angle de reconnaissance idéal et zoomez. Ensuite, prenez une rafale de photos pour un traitement asynchrone. J'ai envisagé d'utiliser OpenCV (node-opencv) pour la reconnaissance d'objets, mais j'ai trouvé quelque chose de plus simple comme la détection de visage, allant de 600 à 800 ms.

Non seulement moins qu'idéal pour mon utilisation, mais assez médiocre en général. Hype-train TensorFlow vient à la rescousse. Capable de fonctionner sur l'appareil, il existe des exemples de projets identifiant plusieurs véhicules par image à un nombre incroyable de 27.

7fps. Cette version pourrait même exposer des estimations de vitesse. Juridiquement sans valeur, mais peut-être utile dans la police de tous les jours (pas de référence fps dans le fichier readme).

Pour mieux expliquer comment la reconnaissance de véhicule haute performance pourrait être associée à des techniques RAPI plus lentes, j'ai créé une autre vidéo dans After Effects. J'imagine que les deux travaillant main dans la main ressembleraient à ceci : fréquence d'images par rapport à la vitesse d'obturation. Une manifestation différente de la fréquence d'images est largement influencée par la vitesse d'obturation, et plus précisément, les problèmes d'obturateur roulant qui affligent les films numériques précoces ou bas de gamme. enregistreurs. Ce qui suit est un instantané de certaines séquences Contour HD.

Vous pouvez voir qu'à seulement 60 km/h, le problème de l'obturateur roulant rend les images plus ou moins inutilisables d'un point de vue RAPI. Le réglage de la fréquence d'images à la fois sur le Contour HD et sur mon iPhone n'a pas entraîné une distorsion sensiblement moindre. En théorie, une vitesse d'obturation plus élevée devrait produire des images plus claires et plus nettes.

Ils deviendraient de plus en plus importants si vous deviez poursuivre la référence BlueNet de 200 km/h. Moins de flou et moins de distorsion de l'obturateur roulant conduiraient idéalement à une meilleure lecture. Open ALPR VersionL'une des découvertes les plus intéressantes est que la version node-openalpr que j'utilisais est à la fois obsolète et pas aussi puissante que leur solution propriétaire.

Bien qu'une exigence open source ait certainement été un facteur, il était étonnant de voir avec quelle précision la version cloud pouvait lire avec succès des cadres sur lesquels je ne pouvais même pas identifier une plaque. aucun moyen de passer outre. Vous devez dérouler le fork de quelqu'un d'autre, ce qui vous permet ensuite de fournir un paramètre de pays supplémentaire.

Mais cela ne vous aide pas toujours. En utilisant l'algorithme américain par défaut, j'ai pu produire le plus de résultats. La spécification de l'ensemble de données australien a en fait réduit de moitié le nombre de lectures de plaques réussies, et il n'a réussi à en trouver qu'une ou deux que l'algorithme américain ne pouvait pas.

Fournir l'ensemble de plaques larges australiennes séparé a de nouveau réduit de moitié le nombre et introduit une seule plaque supplémentaire. Victoria est un facteur contributif. Planar Warps Open ALPR est livré avec un outil particulier pour réduire l'impact de la distorsion à la fois de l'angle de la caméra et des problèmes d'obturateur roulant.

La déformation planaire fait référence à une méthode dans laquelle les coordonnées sont transmises à la bibliothèque pour incliner, traduire et faire pivoter une image jusqu'à ce qu'elle ressemble étroitement à une plaque droite. Dans mon expérience de test limitée, je n'ai pas pu trouver une déformation plane qui fonctionnait à toutes les vitesses. Lorsque vous considérez le volet roulant, il est logique que la distorsion augmente par rapport à la vitesse du véhicule.

J'imagine que l'alimentation des données de vitesse de l'accéléromètre ou du GPS comme un coefficient pourrait fonctionner. Ou, vous savez, procurez-vous un appareil photo qui n'est pas complètement nul. Ce que font les autres dans l'industrie De nombreux lecteurs ont contacté après le dernier message pour partager leurs propres expériences et idées.

L'une des solutions les plus intéressantes partagées avec moi a peut-être été celle d'Auror en Nouvelle-Zélande. Ils utilisent des caméras RAPI fixes dans les stations-service pour signaler les personnes qui volent de l'essence. Cela en soi n'est pas particulièrement nouveau et révolutionnaire.

Mais lorsqu'ils sont couplés à leur réseau, ils peuvent automatiquement déclencher une alerte lorsque des délinquants connus sont revenus ou ciblent des stations-service dans la région. Des développeurs indépendants en Israël, en Afrique du Sud et en Argentine ont manifesté leur intérêt pour la création de leurs propres versions piratées de Bluenet. Certains s'en tireront probablement mieux que d'autres, car des endroits comme Israël utilisent des plaques d'immatriculation à sept chiffres sans caractères alphabétiques.

Il y a tout simplement trop de choses que j'ai apprises au cours des dernières semaines de barbotage pour tenir dans un seul article. Bien qu'il y ait eu de nombreux détracteurs, j'apprécie vraiment le soutien et les connaissances qui m'ont été envoyés. .

Pour mettre les choses en perspective, je suis designer et développeur front-end. J'ai passé environ dix heures maintenant sur les images et le code, huit autres sur la production vidéo et au moins dix autres sur les seuls articles. J'ai réalisé ce que j'ai en me tenant sur les épaules de géants.

J'installe des bibliothèques construites par des personnes intelligentes et j'ai tiré parti des conseils de personnes qui vendent ces caméras pour gagner leur vie. beaucoup plus d'argent devriez-vous verser pour faire un très très bon travail ? Ma solution n'est même pas dans le même système solaire que le 99.

Scanner précis à 999% auquel certains commentateurs Internet semblent s'attendre. Mais encore une fois, BlueNet n'a qu'à atteindre un objectif de précision de 95 %. Donc, si 1 million de dollars vous permettent d'atteindre une précision de 80 %, et peut-être que 10 millions de dollars vous permettent d'atteindre une précision de 90 %, quand arrêtez-vous de dépenser ?

De plus, étant donné que la technologie a des applications commerciales éprouvées ici en Océanie, combien d'argent supplémentaire des contribuables devrait être versé dans une solution propriétaire de proximité lorsque les startups locales pourraient en bénéficier ? L'Australie est censée être une nation d'innovation après tout