Ricordi lo scanner targa da 86 milioni di dollari che ho replicato?

Poche settimane fa, ho pubblicato quello che all'epoca pensavo fosse un articolo abbastanza innocuo: come ho replicato un progetto da 86 milioni di dollari in 57 righe di codice. Ammetto che si trattava di una pretesa piuttosto esca. Stavo essenzialmente dicendo che Id riproduceva la stessa tecnologia di scansione e convalida delle targhe per la quale la polizia di Victoria, in Australia, aveva appena pagato 86 milioni di dollari.

Da allora, le reazioni sono state travolgenti. Il mio articolo ha ricevuto oltre 100.000 visite nel primo giorno e, a prima vista, si trova a circa 450.000. Sono stato invitato a parlare in talk show radiofonici locali e in una conferenza in California.

Penso che qualcuno potrebbe aver interpretato male Victoria, AU come Victoria, BC. Anche se ho gentilmente rifiutato queste offerte, mi sono incontrato per un caffè con vari sviluppatori locali e grandi aziende allo stesso modo. È stato incredibilmente eccitante.

La maggior parte dei lettori l'ha vista per quello che era: un proof of concept per avviare una discussione sull'uso della tecnologia open source, sulla spesa pubblica e sul desiderio di un uomo di costruire cose interessanti dal suo divano. Pedants ha sottolineato la mancanza di formazione, supporto e normali costi IT aziendali, ma non vale la pena di esplorarli. Preferirei spendere questo post guardando i miei risultati e come gli altri possono fare per rafforzare la propria precisione.

Prima di approfondire i risultati, vorrei approfondire una cosa che ritengo sia andata persa nel post originale. Il concetto per questo progetto è iniziato completamente separato dal progetto BlueNet da 86 milioni di dollari. Non era affatto un tentativo di eliminarlo.

È iniziato con il pensiero fastidioso che, poiché esiste OpenCV e il sito Web di VicRoads ha controlli delle targhe, ci deve essere un modo per combinare i due o utilizzare qualcosa di meglio. È stato solo quando ho iniziato a scrivere che mi sono imbattuto in BlueNet. Scoprire BlueNet e il suo cartellino del prezzo mi ha dato un ottimo punto di vista editoriale, con il codice già scritto.

C'erano sicuramente alcune incongruenze tra i progetti. Credo anche che parte del motivo per cui questo è esploso sia stato il tempismo conveniente di un rapporto sulla spesa IT dispendiosa del governo in Australia. La bolletta IT del governo federale è aumentata da $ 5.

Da 9 a 10 miliardi di dollari, e ha fornito un valore dubbio per quell'esplosione. I ricercatori dei media che mi hanno contattato si sono affrettati a collegare i due, ma questo non è qualcosa che sono pronto a incoraggiare. Un disclaimer Nello spirito di trasparenza, devo dichiarare qualcosa che mancava anche nel post originale.

Il mio precedente datore di lavoro ha realizzato progetti IT più piccoli (meno di 1 milione di dollari) per la polizia del Victoria e altri enti statali. Di conseguenza, sono stato sottoposto a controlli di polizia e ho compilato i moduli necessari per diventare un appaltatore VicPol. Ciò potrebbe implicare che ho un'ascia da macinare o che ho una conoscenza specifica da parte di esperti, ma invece sono orgoglioso dei progetti che abbiamo realizzato.

Erano sia in tempo che nel budget. Visualizzazione dei risultatiQuello che segue è una rappresentazione video dei miei risultati, compositi in After Effects per un po' di divertimento. Ho registrato vari filmati di prova e questa è stata la clip di maggior successo.

Entrerò nei dettagli sulle impostazioni ideali della fotocamera, sulle regioni di rilevamento e altro dopo il video. Ti aiuterà a capire meglio cosa ha reso questo video dell'iPhone che ho ripreso dal parabrezza un video migliore di un Contour HD inclinato verso il finestrino laterale. Un dilemma etico Se hai visto la grafica dell'eroe di questo articolo o hai guardato il video qui sopra, potresti aver notato uno sviluppo molto interessante: ho catturato qualcuno.

In particolare, ho beccato qualcuno alla guida di un veicolo con una registrazione annullata dal 2016. Ciò potrebbe essere accaduto per molte ragioni, la più innocente delle quali è una pratica di rivendita losca. Occasionalmente, quando la vendita privata di un veicolo non viene effettuata in base al libro, l'acquirente e il venditore potrebbero non completare un trasferimento ufficiale di immatricolazione.

Ciò consente all'acquirente di risparmiare centinaia di dollari, ma il veicolo è ancora registrato presso il venditore. Non è raro che un venditore annulli la registrazione e riceva un rimborso ad hoc dei mesi rimanenti, del valore anche di centinaia di dollari. In alternativa, il conducente del veicolo potrebbe essere il criminale che sospettiamo sia.

Quindi, anche se ho chiamato scherzosamente la spia del progetto quando l'ho impostato sul mio computer, ora mi trovo di fronte all'enigma se segnalare ciò che ho visto. Alla fine, l'autista è stato rilevato utilizzando un prototipo di un dispositivo solo per la polizia. Ma guidare con una targa del 2016 (annullata, non scaduta) è una mossa molto deliberata.

Hmm.Torna ai risultati Delle molte reazioni al mio articolo, una quantità significativa è stata piuttosto letterale e dubbia. Dal momento che ho detto che avevo replicato il software, hanno affermato che dovevo avere un centro di supporto, garanzie e manuali di formazione.

Uno ha persino tentato di replicare i miei risultati e di colpire gli inevitabili blocchi stradali della qualità dell'immagine e del materiale sorgente. Per questo motivo, alcuni hanno insinuato che avessi scelto le mie immagini sorgente. A questo posso solo dire, beh, duh.

Quando ho costruito la mia prova iniziale del concetto (di nuovo, concentrandomi sulla convalida di un'idea, non sulla replica di BlueNet), ho utilizzato un piccolo set di campioni di meno di dieci immagini. Poiché l'impostazione della fotocamera è uno dei fattori, se non il più importante, in ALPR, li ho selezionati per le caratteristiche ideali che migliorano il riconoscimento. Alla fine, è molto semplice prendere un fragile proof of concept e romperlo.

La vera innovazione e sfida deriva dal prendere un proof of concept e farlo funzionare. Durante la mia carriera professionale, molti sviluppatori senior mi hanno detto che le cose non possono essere fatte o almeno non possono essere fatte in modo tempestivo. A volte avevano ragione.

Spesso erano solo avversi al rischio. Niente è impossibile finché non viene dimostrato che lo è. Molte persone imbastardiscono questa citazione e potresti aver già visto o sentito una delle sue incarnazioni.

Per me, riassume perfettamente una sana mentalità di sviluppo, in cui è quasi obbligatorio aggiungere e convalidare le idee per comprenderle. Impostazioni ottimali della fotocamera ALPR Questo progetto è così eccitante e diverso per me perché ha una chiara metrica di successo se il software riconosce la lastra. Questo può accadere solo con una combinazione di soluzioni hardware, software e di rete.

Dopo aver pubblicato il mio articolo originale, le persone che vendono fotocamere ALPR hanno subito offerto consigli. Zoom ottico La soluzione più ovvia con il senno di poi è l'uso di uno zoom ottico. Sebbene esplori altri fattori importanti di seguito, nessuno porta a un così grande aumento del riconoscimento come questo.

In generale, le soluzioni ALPR professionali sono sfalsate ad angolo, addestrate su dove sarà la targa e ingrandite nell'area per massimizzare la nitidezza. Ciò significa più zoom, più pixel con cui giocare. Tutte le fotocamere che avevo a mia disposizione erano di una lente fissa.

Includevano: una action cam Contour HD. Questi sono usciti nel 2009 e io uso il mio per registrare i miei spostamenti in bicicletta e per riprodurre ogni settimana l'esperienza vicino alla morte. Una Fujifilm X100S (notoriamente un obiettivo a focale fissa fissa) Il mio iPhone 6 Il test in primo piano è stato registrato sul mio telefono.

Il mio unico metodo per replicare uno zoom ottico era utilizzare un'app per registrare a 3K anziché a 1080p, quindi eseguire lo zoom e il ritaglio digitalmente. Ancora una volta, più pixel con cui giocare.Angle & Posizionamento L'angolo di visione di 30 è spesso indicato come standard per il riconoscimento ideale delle lastre.

Questo è incredibilmente importante quando scopri che BlueNet utilizza una serie di telecamere. Ha anche senso se si considera ciò che una fotocamera frontale generalmente vedrebbe non molto. Se dovessi indovinare, direi che un array principalmente rivolto in avanti sarebbe la configurazione ideale.

Consisterebbe in una singola fotocamera puntata al punto morto come sopra, due fuori centro a 30 per lato e una singola fotocamera posteriore. Il vantaggio di avere la maggior parte delle telecamere puntata in avanti deriverebbe dall'aumento del tempo di reazione se il veicolo viaggia nella direzione opposta. Ciò consentirebbe una scansione, un'elaborazione e un'inversione a U più rapide rispetto a se le telecamere posteriori rilevassero un veicolo sospetto già a dieci metri dal veicolo della polizia.

A Gymbal Durante la composizione del video, ho pensato di stabilizzare il filmato. Invece ho deciso di mostrare la corsa accidentata per quello che era. Quello che hai visto ero io che tenevo il telefono vicino al parabrezza mentre mia moglie guidava.

Dai un'occhiata a quel rigoroso metodo scientifico. Altri fattori importanti Frequenza fotogrammi Sia il tentativo di replicare il mio progetto che le mie registrazioni da allora hanno esplorato lo stesso malinteso secondo cui la frequenza fotogrammi di campionamento ALPR potrebbe essere collegata al successo. Nella mia esperienza, questo non ha fatto altro che sprecare cicli.

Invece, ciò che è incredibilmente importante è la velocità dell'otturatore che crea filmati puliti e nitidi che alimentano bene l'algoritmo. Ma stavo anche testando filmati a velocità abbastanza bassa. Al massimo, due veicoli che si incrociavano in una zona di 60 km/h creavano un differenziale di 120 km/h.

BlueNet, d'altra parte, può lavorare fino a una presunta velocità di 200 km/h. Per risolvere questo problema, un collega ha suggerito il rilevamento di oggetti e l'elaborazione fuori banda. Identifica un veicolo e disegna un riquadro di delimitazione.

Attendi che raggiunga l'angolo di riconoscimento e lo zoom ideali. Quindi scatta una serie di foto per l'elaborazione asincrona. Ho esaminato l'utilizzo di OpenCV (node-opencv) per il riconoscimento degli oggetti, ma ho trovato qualcosa di più semplice come il rilevamento dei volti, che richiedeva da 600800 ms.

Non solo meno che ideale per il mio uso, ma in generale piuttosto scadente. Hype-train TensorFlow viene in soccorso. In grado di funzionare sul dispositivo, ci sono esempi di progetti che identificano più veicoli per telaio a un numero sbalorditivo di 27.

7fps. Questa versione potrebbe anche esporre le stime di velocità. Legalmente inutile, ma forse utile nella polizia di tutti i giorni (nessun benchmark fps in readme).

Per spiegare meglio come il riconoscimento di veicoli ad alte prestazioni potrebbe accoppiarsi con tecniche ALPR più lente, ho creato un altro video in After Effects. Immagino che i due che lavorano mano nella mano assomiglierebbero a qualcosa del genere: frame rate vs velocità dell'otturatore Una diversa manifestazione della frequenza dei fotogrammi è ampiamente influenzata dalla velocità dell'otturatore e, più specificamente, dai problemi della tapparella che affliggono i film digitali di fascia bassa o iniziale registratori. Quello che segue è un'istantanea di alcuni filmati Contour HD.

Puoi vedere a soli 60 km/h il problema della tapparella rende il filmato più o meno inutilizzabile dal punto di vista ALPR. La regolazione del frame rate sia su Contour HD che sul mio iPhone non ha comportato una distorsione notevolmente inferiore. In teoria, una velocità dell'otturatore più elevata dovrebbe produrre immagini più chiare e nitide.

Diventeranno sempre più importanti se dovessi inseguire il benchmark BlueNet di 200 km/h. Una minore sfocatura e una minore distorsione della tapparella porterebbero idealmente a una lettura migliore. Versione Open ALPRUna delle scoperte più interessanti è stata che la versione node-openalpr che stavo usando è obsoleta e non così potente come la loro soluzione proprietaria.

Sebbene un requisito di open source fosse certamente un fattore, è stato sorprendente quanto accuratamente la versione cloud potesse leggere con successo frame su cui non riuscivo nemmeno a identificare una targa. Dati di formazione per paese ALPR Ho anche scoperto che il pacchetto principale node-openalpr è predefinito per l'elaborazione del paese degli Stati Uniti con nessun modo per scavalcarlo. Devi abbattere il fork di qualcun altro che ti consente quindi di fornire un parametro paese aggiuntivo.

Ma questo non aiuta sempre. Usando l'algoritmo predefinito degli Stati Uniti sono stato in grado di produrre la maggior parte dei risultati. Specificare il set di dati australiano ha effettivamente dimezzato il numero di letture di targa riuscite ed è riuscito a trovarne solo una o due che l'algoritmo statunitense non è riuscito.

Fornire di nuovo il set di lastre larghe australiane separato ha dimezzato il conteggio e ha introdotto una singola lastra aggiuntiva. C'è chiaramente molto da desiderare quando si tratta di set di dati con sede in Australia per ALPR e penso che l'enorme numero di stili di lastre disponibili in Victoria è un fattore che contribuisce. Planar WarpsOpen ALPR viene fornito con uno strumento particolare per ridurre l'impatto della distorsione sia dall'angolazione della fotocamera che dai problemi dell'otturatore.

La curvatura planare si riferisce a un metodo in cui le coordinate vengono passate alla libreria per inclinare, tradurre e ruotare un'immagine finché non assomiglia molto a una lastra dritta. Nella mia limitata esperienza di test, non sono stato in grado di trovare una curvatura planare che funzionasse a tutte le velocità. Quando si considera la tapparella, ha senso che la distorsione cresca rispetto alla velocità del veicolo.

Immagino di alimentare i dati dell'accelerometro o della velocità GPS poiché un coefficiente potrebbe funzionare. Oppure, sai, procurati una fotocamera che non sia completamente spazzatura. Cosa stanno facendo gli altri nel settore Numerosi lettori hanno contattato dopo l'ultimo post per condividere le proprie esperienze e idee.

Forse una delle soluzioni più interessanti condivise con me è stata da Auror in Nuova Zelanda. Impiegano telecamere ALPR fisse nelle stazioni di servizio per segnalare persone che rubano benzina. Questo di per sé non è particolarmente nuovo e rivoluzionario.

Ma se associati alla loro rete, possono inviare automaticamente un avviso quando sono tornati noti delinquenti o stanno prendendo di mira le stazioni di servizio nell'area. Sviluppatori indipendenti in Israele, Sud Africa e Argentina hanno mostrato interesse a costruire le proprie versioni hackerate di Rete Blu. Alcuni probabilmente andranno meglio di altri, poiché luoghi come Israele utilizzano targhe a sette cifre senza caratteri alfabetici.

Key TakeawaysC'è semplicemente troppo che ho imparato nelle ultime settimane di dilettarsi per stare in un post. Sebbene ci siano stati molti detrattori, apprezzo davvero il supporto e la conoscenza che mi sono stati inviati. Ci sono molte sfide che dovrai affrontare nel tentativo di creare la tua soluzione ALPR, ma per fortuna molte di esse sono problemi risolti .

Per mettere le cose in prospettiva, sono un designer e uno sviluppatore front-end. Ho trascorso circa dieci ore ora su filmati e codice, altre otto sulla produzione di video e almeno altre dieci solo sulle annotazioni. Ho ottenuto quello che ho stando sulle spalle dei giganti.

Sto installando biblioteche costruite da persone intelligenti e ho sfruttato i consigli di persone che vendono queste telecamere per vivere. La domanda da 86 milioni di dollari rimane ancora se puoi costruire una soluzione a metà che faccia un buon lavoro stando sulle spalle dei giganti, come molti più soldi dovresti versare per fare un ottimo lavoro? La mia soluzione non è nemmeno nello stesso sistema solare del 99.

Scanner accurato al 999% che alcuni commentatori di Internet sembrano aspettarsi. Ma poi di nuovo, BlueNet deve raggiungere solo un obiettivo di precisione del 95%. Quindi, se $ 1 milione ti porta all'80% di precisione e forse $ 10 milioni ti porta al 90% di precisione quando smetti di spendere?

Inoltre, considerando che la tecnologia ha dimostrato applicazioni commerciali qui in Oceania, quanto più denaro dei contribuenti dovrebbe essere versato in una soluzione proprietaria e di prossimità quando le startup locali potrebbero trarne vantaggio? Dopotutto, l'Australia dovrebbe essere una nazione innovativa