Fahrzeugerkennung in Echtzeit mit YOLO

Dies ist ein Projekt für das Nanodegree-Programm von Udacity für selbstfahrende Autos. Ziel dieses Projekts ist es, die Fahrzeuge in einem Dashcam-Video zu erkennen. Wir verwenden You Only Look Once (YOLO), um die Fahrzeuge aus einem Dashcam-Videostream zu erkennen, und können eine Verarbeitung nahezu in Echtzeit (35 FPS) erreichen.

Der Code für das Projekt lautet Die endgültige Videoausgabe ist hier.Einführung in die ObjekterkennungDas Erkennen von Fahrzeugen in einem Videostream ist ein Objekterkennungsproblem. Ein Objekterkennungsproblem kann entweder als Klassifikationsproblem oder als Regressionsproblem angegangen werden.

Beim Klassifizierungsansatz wird das Bild in kleine Patches unterteilt, von denen jeder einen Klassifizierer durchläuft, um zu bestimmen, ob Objekte in dem Patch vorhanden sind. Die Begrenzungsrahmen werden Patches mit positiven Klassifizierungsergebnissen zugewiesen. Beim Regressionsansatz wird das gesamte Bild direkt durch ein konvolutionelles neuronales Netzwerk geleitet, um einen oder mehrere Begrenzungsrahmen für Objekte in den Bildern zu erzeugen.

In diesem Projekt werden wir die Version 1 von tiny-YOLO in Keras implementieren, da sie einfach zu implementieren und relativ schnell ist. Die tiny-YOLO v1 Der YOLO-Ansatz zur Objekterkennung besteht aus zwei Teilen: dem neuronalen Netzwerkteil, der Vorhersagen macht ein Vektor aus einem Bild, und der Nachverarbeitungsteil, der den Vektor als Boxkoordinaten und Klassenwahrscheinlichkeiten interpoliert. Für das neuronale Netzwerk besteht das winzige YOLO v1 aus 9 Faltungsschichten und 3 vollständig verbundenen Schichten.

Jede Faltungsschicht besteht aus Faltungs-, Leaky-Relu- und Max-Pooling-Operationen. Die ersten 9 Faltungsschichten können als Merkmalsextrahierer verstanden werden, während die letzten drei vollständig verbundenen Schichten als Regressionskopf verstanden werden können, der die Begrenzungsboxen vorhersagt. Das Modell enthält insgesamt 45.089.374 Parameter.

Die Ausgabe dieses Netzwerks ist ein 1470-Vektor, der die Informationen für die vorhergesagten Begrenzungsboxen enthält. Die Informationen sind folgendermaßen organisiert: Die 1470-Vektorausgabe ist in drei Teile unterteilt, die die Wahrscheinlichkeit, das Vertrauen und die Boxkoordinaten angeben. Jeder dieser drei Teile ist außerdem weiter in 49 kleine Regionen unterteilt, die den Vorhersagen an den 49 Zellen entsprechen, die das ursprüngliche Bild bilden.

In Nachbearbeitungsschritten nehmen wir diese 1470-Vektorausgabe aus dem Netzwerk, um die Boxen zu erzeugen, die mit einer Wahrscheinlichkeit höher als ein bestimmter Schwellenwert sind. Das Trainieren des YOLO-Netzwerks ist sehr zeitaufwändig. Wir verwenden die vortrainierten Gewichte von hier (172M) und laden sie in unser Keras-Modell.

Ergebnisse Im Folgenden werden die Ergebnisse für mehrere Testbilder gezeigt. Wir können sehen, dass die Autos korrekt erkannt werden: Hier ist das Ergebnis der Anwendung derselben Pipeline auf ein Video. Um die wahre Leistung des Modells zu sehen, wird jeder Frame unabhängig verarbeitet und es wird keine zeitliche Glättung angewendet.

Wir sehen, dass die Erkennung ziemlich genau ist, mit nur einem Fehlalarm. Der YOLO ist dafür bekannt, schnell zu sein. In diesem Projekt wird das Video auf einer Nvidia 1080Ti GPU verarbeitet und kann ohne Stapelverarbeitung 35 FPS erreichen.

DanksagungDank an allanzelener und Trieu für ihre hilfreiche Diskussion über YOLO. Danke an Calvenn Tsuu für Leistungstests.ReferenzJ.

Redmon, S. Divvala, R. Girshick und A.

Farhadi, Sie sehen nur einmal hin: Einheitliche Objekterkennung in Echtzeit, arXiv:1506. 02640 (2015). J.

Redmon und A. Farhadi, YOLO9000: Besser, schneller, stärker, arXiv:1612.08242 (2016).

Darkflow, VERWANDTE FRAGE Gibt es in Nordindien eine Karriere oder einen Bereich für Biomedizintechnik? Da das OP nichts Bestimmtes angegeben hat und das OP aus Indien stammt, habe ich die Frage angenommen und bearbeitet, um zu sagen, dass es sich um Nordindien handelt, und auch die Schreibweise von Karriere korrigiert.

Karriere oder Anwendungsbereich für Biomedical Engineering in Nordindien. n Ich komme aus dem Norden und habe dort Erfahrungen mit Biomedizintechnik gemacht. Welche Möglichkeiten haben Sie also für die gleiche Karriere? Jobs für Biomedizintechnik sind in Krankenhäusern in Delhi NCR, Chandigarh sowie anderen wichtigen Tier-2-Städten im Norden verfügbar. Abgesehen davon gibt es in Delhi NCR für Biomedical Engineering eine Reihe von Unternehmen.

Delhi besitzt eines der größten Unternehmen für chirurgische Instrumente in Indien. Diese Unternehmen betreiben sowohl die Herstellung als auch den Handel mit medizinischen Geräten. Abgesehen davon gibt es viele Unternehmen, die Ingenieure für unterschiedliche Profile wie Anwendungsspezialisten, Service- und Vertriebsingenieure beschäftigen.

Die meisten meiner Freunde in Delhi-NCR sind gut aufgestellt und wachsen anständig in ihrer Karriere. In Bezug auf die Forschung: Das Zentrum für Biomedizintechnik, AIIMS und IIT Delhi ist eines der fortschrittlichsten Forschungszentren für Biomedizintechnik im Land. Sie haben auch mit Stanford für Stanford India Biodesign zusammennAußerdem haben wir das National Brain Research Center in Gurgaon, das erstaunliche Forschung in der Biomedizin leistetnDRDO-Labor in Delhi leistet viel Arbeit in der BiomedizintechniknDTU hat auch Forscher, die in der Biomedizintechnik arbeitennIn Chandigarh haben wir CSIO, CSIR Labore, die über erstklassige Einrichtungen für biomedizinische Forschung verfügen. IIT Ropar bietet zusammen mit NIT Jalandhar, das eine Hochburg in der Forschung hat, auch biomedizinische Forschung an Viel Spielraum in der Biomedizinischen Technik in den kommenden Jahren, nicht nur in NORDINDIEN, sondern in ganz Indien.

Die ausländischen Investitionen in die Medizingeräteforschung steigen wie alles andere. Verlieren Sie also nicht die Hoffnung, konzentrieren Sie sich auf Ihre Grundlagen. .Gibt es in Nordindien eine Karriere oder Möglichkeiten für Bio-Medizintechnik?

Gibt es eine Karriere oder einen Bereich für Bio-Medizintechnik in Nordindien?