Lembre-se do scanner de placas de US $ 86 milhões que eu repliquei?

Algumas semanas atrás, publiquei o que eu achava na época um artigo bastante inócuo: Como eu repliquei um projeto de US$ 86 milhões em 57 linhas de código. Eu estava essencialmente dizendo que eu tinha reproduzido a mesma tecnologia de digitalização de placas e validação pela qual a polícia de Victoria, Austrália, tinha acabado de pagar US$ 86 milhões.

Desde então, as reações têm sido avassaladoras. Meu artigo recebeu mais de 100.000 acessos no primeiro dia e, à última vista, fica em torno de 450.000. Fui convidado para falar em programas de rádio locais e em uma conferência na Califórnia.

Eu acho que alguém pode ter interpretado mal Victoria, AU como Victoria, BC. Embora eu educadamente tenha recusado essas ofertas, eu me encontrei para tomar um café com vários desenvolvedores locais e empresas de grande nome. Tem sido incrivelmente emocionante.

A maioria dos leitores viu o que era: uma prova de conceito para estimular a discussão sobre o uso de tecnologia de código aberto, gastos do governo e o desejo de um homem de construir coisas legais de seu sofá. Os pedantes apontaram a falta de treinamento, suporte e padders de custos de TI corporativos usuais, mas não vale a pena explorá-los. Prefiro passar este post analisando meus resultados e como os outros podem reforçar sua própria precisão.

Antes de nos aprofundarmos muito nos resultados, gostaria de repassar uma coisa que sinto que foi perdida no post original. O conceito para este projeto começou completamente separado do projeto BlueNet de US$ 86 milhões. Não foi de forma alguma uma tentativa de derrubá-lo.

Tudo começou com o pensamento irritante de que, como o OpenCV existe e o site VicRoads tem verificações de placas, deve haver uma maneira de combinar os dois ou usar algo melhor. Foi só quando comecei a escrever que me deparei com o BlueNet. Descobrir o BlueNet e seu preço me deu um ótimo ângulo editorial, com o código já escrito.

Era provável que houvesse algumas inconsistências entre os projetos. Também acredito que parte da razão pela qual isso explodiu foi o momento conveniente de um relatório sobre gastos desnecessários do governo em TI na Austrália. A conta de TI do Governo Federal disparou de US$ 5.

9 bilhões a US$ 10 bilhões, e entregou um valor duvidoso para essa explosão. Os pesquisadores de mídia que me contataram foram rápidos em vincular os dois, mas isso não é algo que eu sou rápido em encorajar. Um aviso de isenção de responsabilidade No espírito de transparência, devo declarar algo que também estava faltando no post original.

Meu empregador anterior entregou projetos de TI menores (menos de US$ 1 milhão) para a Polícia de Victoria e outros órgãos estaduais. Como resultado, passei por verificações policiais e preenchi os formulários necessários para me tornar um contratado da VicPol. Isso pode significar que tenho um machado para moer ou que tenho algum conhecimento interno específico, mas, em vez disso, estou orgulhoso dos projetos que entregamos.

Eles estavam dentro do prazo e do orçamento.Visualizando os resultados A seguir está uma representação em vídeo dos meus resultados, compostos no After Effects para um pouco de diversão. Gravei várias imagens de teste, e este foi o clipe de maior sucesso.

Entrarei em detalhes sobre configurações de câmera ideais, regiões de detecção e muito mais após o vídeo. Isso ajudará você a entender melhor o que fez deste vídeo do iPhone que tirei do para-brisa um vídeo melhor do que um Contour HD inclinado para fora da janela lateral. Um dilema éticoSe você viu o gráfico do herói deste artigo ou assistiu ao vídeo acima, deve ter notado um desenvolvimento muito interessante: eu peguei alguém.

Especificamente, peguei alguém dirigindo um veículo com registro cancelado de 2016. Isso pode ter acontecido por muitas razões, a mais inocente das quais é uma prática de revenda desonesta. Ocasionalmente, quando a venda particular de um veículo não é feita pelo livro, o comprador e o vendedor podem não realizar uma transferência oficial de registro.

Isso economiza centenas de dólares para o comprador, mas o veículo ainda está registrado para o vendedor. Não é inédito para um vendedor cancelar o registro e receber um reembolso ad hoc dos meses restantes, também no valor de centenas de dólares. Alternativamente, o motorista do veículo pode ser o criminoso que suspeitamos que seja.

Então, embora eu tenha chamado o projeto de dedo-duro de brincadeira quando o configurei no meu computador, agora estou enfrentando o dilema de relatar o que vi. Por fim, o motorista foi detectado usando um protótipo de um dispositivo exclusivo da polícia. Mas dirigir com um registro de 2016 (cancelado, não vencido) é um movimento muito deliberado.

Hmm. De volta aos resultados Das muitas reações ao meu artigo, uma quantidade significativa foi bastante literal e duvidosa. Como eu disse que replicava o software, eles afirmaram que eu deveria ter um centro de suporte, garantias e manuais de treinamento.

Um até tentou replicar meus resultados e atingiu os inevitáveis ​​obstáculos de qualidade de imagem e material de origem. Por causa disso, alguns sugeriram que eu escolhi minhas imagens de origem. A isso só posso dizer: Bem, duh.

Quando construí minha prova de conceito inicial (novamente, focando na validação de uma ideia, não na replicação do BlueNet), usei um pequeno conjunto de amostras com menos de dez imagens. Como a configuração da câmera é um dos fatores, se não o mais importante, no ALPR, eu os selecionei por características ideais que melhoram o reconhecimento. No final das contas, é muito simples pegar uma frágil prova de conceito e quebrá-la.

A verdadeira inovação e desafio vem de fazer uma prova de conceito e fazê-la funcionar. Ao longo da minha carreira profissional, muitos desenvolvedores seniores me disseram que as coisas não podem ser feitas ou pelo menos não podem ser feitas em tempo hábil. Às vezes eles estavam certos.

Muitas vezes, eles eram apenas avessos ao risco. Nada é impossível até que seja provado. Muitas pessoas degradam essa citação, e você pode ter visto ou ouvido uma de suas encarnações antes.

Para mim, ele resume perfeitamente uma mentalidade de desenvolvimento saudável, na qual estimular e validar ideias é quase obrigatório para entendê-las. Configurações ideais de câmera ALPR Este projeto é tão empolgante e diferente para mim porque tem uma métrica de sucesso clara se o software reconhece a placa. Isso só pode acontecer com uma combinação de hardware, software e soluções de rede.

Depois de postar meu artigo original, as pessoas que vendem câmeras ALPR rapidamente ofereceram conselhos. Zoom Óptico A solução mais óbvia em retrospectiva é o uso de um zoom óptico. Embora eu explore outros fatores importantes abaixo, nenhum leva a um aumento tão grande no reconhecimento como este.

Em geral, as soluções profissionais de ALPR são deslocadas em um ângulo, treinadas sobre onde a placa estará e ampliadas na área para maximizar a clareza. Isso significa que quanto mais zoom, mais pixels para brincar. Todas as câmeras que eu tinha à minha disposição eram de uma lente fixa.

Eles incluíram: Uma câmera de ação Contour HD. Estes foram lançados em 2009, e eu uso o meu para gravar meu trajeto de bicicleta e para reproduzir cada semana de experiência de quase morte. Uma Fujifilm X100S (famosa uma lente fixa fixa) Meu iPhone 6 O teste em destaque foi gravado no meu telefone.

Meu único método de replicar um zoom óptico era usar um aplicativo para gravar em 3K em vez de 1080p e, em seguida, fazer zoom e recorte digital. Mais uma vez, mais pixels para brincar.Angle & PosicionamentoO ângulo de visão de 30 é frequentemente referenciado como padrão para reconhecimento de placa ideal.

Isso é incrivelmente importante quando você descobre que o BlueNet usa uma série de câmeras. Também faz sentido quando você considera o que uma câmera frontal geralmente não veria muito. Se eu tivesse que adivinhar, diria que uma matriz principalmente voltada para a frente seria a configuração ideal.

Ele consistiria em uma única câmera apontada no centro como acima, duas fora do centro a 30 de cada lado e uma única câmera voltada para trás. O valor de ter a maioria das câmeras apontadas para frente viria do aumento do tempo de reação se o veículo estiver trafegando na direção oposta. Isso permitiria uma varredura, um processo e uma inversão de marcha mais rápidos do que se as câmeras traseiras captassem um veículo suspeito a dez metros do veículo da polícia.

A GymbalAo compor o vídeo, pensei em estabilizar a filmagem. Em vez disso, optei por mostrar o passeio acidentado pelo que era. O que você viu foi eu segurando meu telefone perto do para-brisa enquanto minha esposa dirigia.

Confira esse método científico rigoroso. Outros Fatores Importantes Taxa de Quadros Tanto a tentativa de replicar meu projeto quanto minhas gravações desde então exploraram o mesmo equívoco de que a taxa de quadros de amostragem ALPR pode estar ligada ao sucesso. Na minha experiência, isso não fez nada além de ciclos de desperdício.

Em vez disso, o que é incrivelmente importante é a velocidade do obturador, criando imagens limpas e nítidas que alimentam bem o algoritmo. Mas eu também estava testando imagens de velocidade bastante baixa. No máximo, dois veículos se cruzando em uma zona de 60km/h criavam um diferencial de 120km/h.

O BlueNet, por outro lado, pode trabalhar até supostos 200 km/h. Como forma de resolver isso, um colega sugeriu a detecção de objetos e o processamento fora de banda. Identifique um veículo e desenhe uma caixa delimitadora.

Aguarde até que ele entre no ângulo de reconhecimento ideal e amplie. Em seguida, tire uma série de fotos para processamento assíncrono. Procurei usar o OpenCV (node-opencv) para reconhecimento de objetos, mas encontrei algo mais simples como detecção de rosto, levando algo entre 600800ms.

Não apenas menos do que o ideal para o meu uso, mas muito ruim em geral. O Hype-train TensorFlow vem em socorro. Capaz de rodar no dispositivo, há exemplos de projetos que identificam vários veículos por quadro em surpreendentes 27.

7fps. Esta versão pode até expor estimativas de velocidade. Legalmente inútil, mas talvez útil no policiamento diário (sem referência de fps no readme).

Para explicar melhor como o reconhecimento de veículos de alto desempenho pode ser combinado com técnicas ALPR mais lentas, criei outro vídeo no After Effects. Imagino que os dois trabalhando de mãos dadas seriam mais ou menos assim: Taxa de quadros x velocidade do obturador Uma manifestação diferente da taxa de quadros é amplamente influenciada pela velocidade do obturador e, mais especificamente, pelos problemas do obturador rotativo que afetam o filme digital inicial ou de baixo custo gravadores. O seguinte é um instantâneo de algumas imagens do Contour HD.

Você pode ver a apenas 60km/h que o problema do obturador de rolamento torna a filmagem mais ou menos inutilizável do ponto de vista do ALPR. Ajustar a taxa de quadros tanto no Contour HD quanto no meu iPhone não resultou em uma distorção perceptivelmente menor. Em teoria, uma velocidade de obturador mais alta deve produzir imagens mais claras e nítidas.

Eles se tornariam cada vez mais importantes se você perseguisse o benchmark BlueNet de 200 km/h. Menos desfoque e menos distorção do obturador de rolamento levariam idealmente a uma melhor leitura. Versão Open ALPR Uma das descobertas mais interessantes foi que a versão node-openalpr que eu estava usando está desatualizada e não é tão poderosa quanto sua solução proprietária.

Embora um requisito de código aberto fosse certamente um fator, era incrível a precisão com que a versão em nuvem podia ler com sucesso quadros nos quais eu nem conseguia identificar uma placa. Dados de treinamento do país ALPRTambém descobri que o pacote principal node-openalpr é padronizado para o processamento do país dos EUA com não há como superá-lo. Você precisa puxar o fork de outra pessoa, o que permite fornecer um parâmetro extra de país.

Mas isso nem sempre ajuda. Usando o algoritmo padrão dos EUA, consegui produzir a maioria dos resultados. Especificar o conjunto de dados australiano na verdade reduziu pela metade o número de leituras de placas bem-sucedidas e só conseguiu encontrar uma ou duas que o algoritmo dos EUA não conseguiu.

Fornecer o conjunto de placas largas australianas separado novamente reduziu pela metade a contagem e introduziu uma única placa extra. Há claramente muito a desejar quando se trata de conjuntos de dados australianos para ALPR, e acho que o grande número de estilos de placas disponíveis em Victoria é um fator contribuinte. Planar WarpsOpen ALPR vem com uma ferramenta específica para reduzir o impacto da distorção tanto do ângulo da câmera quanto dos problemas do obturador.

Planar warp refere-se a um método no qual as coordenadas são passadas para a biblioteca para inclinar, traduzir e girar uma imagem até que ela se assemelhe a uma placa reta. todas as velocidades. Quando você considera o obturador de rolamento, faz sentido que a distorção cresça em relação à velocidade do veículo.

Eu imagino alimentar dados de velocidade do acelerômetro ou GPS como um coeficiente pode funcionar. Ou, você sabe, compre uma câmera que não seja completamente lixo. O que os outros estão fazendo na indústria Vários leitores entraram em contato após a última postagem para compartilhar suas próprias experiências e ideias.

Talvez uma das soluções mais interessantes compartilhadas comigo tenha sido por Auror na Nova Zelândia. Eles empregam câmeras ALPR fixas em postos de gasolina para relatar pessoas roubando gasolina. Isso em si não é particularmente novo e revolucionário.

Mas quando acoplados à sua rede, eles podem emitir automaticamente um alerta quando criminosos conhecidos retornarem ou estiverem atacando postos de gasolina na área. Desenvolvedores independentes em Israel, África do Sul e Argentina mostraram interesse em construir suas próprias versões hackeadas de BlueNet. Alguns provavelmente se sairão melhor do que outros, já que lugares como Israel usam placas de sete dígitos sem caracteres do alfabeto.

Principais conclusões Há simplesmente muito que aprendi nas últimas semanas de incursão para caber em um post. Embora tenha havido muitos detratores, eu realmente aprecio o apoio e o conhecimento que me foram enviados. Há muitos desafios que você enfrentará ao tentar construir sua própria solução ALPR, mas felizmente muitos deles são problemas resolvidos .

Para colocar as coisas em perspectiva, sou designer e desenvolvedor front-end. Passei cerca de dez horas agora em filmagem e código, outras oito na produção de vídeo e pelo menos outras dez apenas em redações. Alcancei o que conquistei apoiando-me nos ombros de gigantes.

Estou instalando bibliotecas construídas por pessoas inteligentes e aproveitei os conselhos de pessoas que vendem essas câmeras para ganhar a vida. A questão de US$ 86 milhões ainda permanece se você pode construir uma solução meio idiota que faça um bom trabalho apoiando-se nos ombros de gigantes, como muito mais dinheiro você deve investir para fazer um trabalho realmente muito bom? Minha solução não está nem no mesmo sistema solar que o 99.

Scanner 999% preciso que alguns comentaristas da Internet parecem esperar. Mas, novamente, a BlueNet só precisa atingir uma meta de precisão de 95%. Então, se US$ 1 milhão leva a uma precisão de 80%, e talvez US$ 10 milhões a uma precisão de 90%, quando você para de gastar?

Além disso, considerando que a tecnologia tem aplicações comerciais comprovadas aqui na Oceania, quanto mais dinheiro do contribuinte deve ser investido em uma solução proprietária e de fonte próxima quando as startups locais podem se beneficiar? Afinal, a Austrália deve ser uma nação inovadora