Detección de vehículos en tiempo real usando YOLO

Este es un proyecto para el programa Nanodegree de vehículos autónomos de Udacity. El objetivo de este proyecto es detectar los vehículos en un video de cámara de tablero. Usamos You Only Look Once (YOLO) para detectar los vehículos a partir de una transmisión de video de la cámara del tablero, y es capaz de lograr un procesamiento casi en tiempo real (35FPS).

El código para el proyecto es La salida de video final está aquí. Introducción a la detección de objetos La detección de vehículos en una transmisión de video es un problema de detección de objetos. Un problema de detección de objetos puede abordarse como un problema de clasificación o como un problema de regresión.

En el enfoque de clasificación, la imagen se divide en pequeños parches, cada uno de los cuales pasará por un clasificador para determinar si hay objetos en el parche. Los cuadros delimitadores se asignarán a parches con resultados de clasificación positivos. En el enfoque de regresión, toda la imagen se ejecutará directamente a través de una red neuronal convolucional para generar uno o más cuadros delimitadores para los objetos de las imágenes.

En este proyecto, implementaremos la versión 1 de tiny-YOLO en Keras, ya que es fácil de implementar y es razonablemente rápido. El tiny-YOLO v1El enfoque de YOLO para la detección de objetos consta de dos partes: la parte de la red neuronal que predice un vector de una imagen y la parte de posprocesamiento que interpola el vector como coordenadas de cajas y probabilidades de clase. Para la red neuronal, el pequeño YOLO v1 consta de 9 capas de convolución y 3 capas completamente conectadas.

Cada capa de convolución consta de operaciones de convolución, relu fuga y agrupación máxima. Las primeras 9 capas de convolución pueden entenderse como el extractor de características, mientras que las últimas tres capas completamente conectadas pueden entenderse como el cabezal de regresión que predice los cuadros delimitadores. Hay un total de 45.089.374 parámetros en el modelo.

La salida de esta red es un vector 1470, que contiene la información de los cuadros delimitadores previstos. La información está organizada de la siguiente manera. La salida del vector 1470 está dividida en tres partes, dando las coordenadas de probabilidad, confianza y caja. Cada una de estas tres partes también se divide en 49 regiones pequeñas, correspondientes a las predicciones en las 49 celdas que forman la imagen original.

En los pasos de posprocesamiento, tomamos esta salida de vector 1470 de la red para generar las cajas que tienen una probabilidad superior a cierto umbral. El entrenamiento de la red YOLO lleva mucho tiempo. Usamos los pesos preentrenados de aquí (172M) y los cargamos en nuestro modelo Keras.

ResultadosA continuación se muestran los resultados de varias imágenes de prueba. Podemos ver que los autos se detectan correctamente: Aquí está el resultado de aplicar la misma canalización a un video. Para ver el verdadero rendimiento del modelo, cada fotograma se procesa de forma independiente y no se aplica ningún suavizado temporal.

Vemos que la detección es bastante precisa, con solo un falso positivo. Se sabe que el YOLO es rápido. En este proyecto, el video se procesa en una GPU Nvidia 1080Ti y puede alcanzar 35FPS sin procesamiento por lotes.

ReconocimientoGracias a allanzelener y Trieu por su útil discusión sobre YOLO. Gracias a Calvenn Tsuu por las pruebas de rendimiento.ReferenciaJ.

¡Redmon... S! ¡Divvala... R! ¡Girshick y A!

Farhadi, solo se mira una vez: detección unificada de objetos en tiempo real, arXiv:1506. 02640 (2015). J.

¡Redmon y A! Farhadi, YOLO9000: Mejor, Más Rápido, Más Fuerte, arXiv:1612.08242 (2016).

darkflow, PREGUNTA RELACIONADA ¿Hay alguna carrera o alcance para la ingeniería biomédica en el norte de la India? Como el OP no especificó nada en particular y como OP aparece de India.nAsumí y edité la pregunta para decir que es el norte de India, y también corregí la ortografía de Carrera.

Carrera o ámbito de la ingeniería biomédica en el norte de la India. Soy del norte y he experimentado ingeniería biomédica allí. Entonces, ¿cuáles son sus opciones para lo mismo? En cuanto a la carrera: los trabajos de ingeniería biomédica están disponibles en hospitales en Delhi NCR, Chandigarh y otras ciudades importantes de nivel 2 del norte. Aparte de eso, hay un número n de empresas en Delhi NCR para ingeniería biomédica.

Delhi posee una de las mayores empresas de instrumentos quirúrgicos de la India. Estas empresas fabrican y comercializan equipos médicos. Aparte de eso, hay muchas empresas que emplean ingenieros para diferentes perfiles, como especialistas en aplicaciones, ingenieros de servicio y ventas.

La mayoría de mis amigos en Delhi-NCR están bien ubicados y están creciendo decentemente en sus carreras. En cuanto a la investigación: el Centro de Ingeniería Biomédica, AIIMS e IIT Delhi es uno de los centros de investigación más avanzados en Ingeniería Biomédica del país. También colaboran con Stanford para Stanford India BiodesignnAparte de esto, tenemos el Centro Nacional de Investigación del Cerebro en Gurgaon, que realiza una investigación increíble en BiomedicinanDRDO lab en delhi hace mucho trabajo en Ingeniería BiomédicanDTU también tiene investigadores que trabajan en Ingeniería BiomédicanEn Chandigarh tenemos CSIO, CSIR laboratorios que tienen instalaciones de primer nivel para la investigación biomédicanIIT Ropar también ofrece investigación biomédica junto con NIT Jalandhar, que tiene una fortaleza en investigaciónnIngeniería biomédica como curso de nivel de maestría ofrecido en ITBHU también ofrece buenas oportunidades de investigación, IIIT alahabad también tiene buenas oportunidades junto con NIT AllahabadnnHay una mucho alcance en ingeniería biomédica en los próximos años, no solo en el norte de la India, sino en toda la India.

Las inversiones extranjeras en la investigación de dispositivos médicos están aumentando como cualquier cosa, así que no pierda la esperanza, concéntrese en lo básico, estamos en ROLLO. ¿Hay alguna carrera o alcance para la ingeniería biomédica en el norte de la India?

¿Hay alguna carrera o alcance para la ingeniería biomédica en el norte de la India?