Обнаружение транспортных средств в реальном времени с использованием YOLO

Это проект программы Udacity по разработке беспилотных автомобилей Nanodegree. Целью этого проекта является обнаружение транспортных средств на видео с видеорегистратора. Мы используем You Only Look Once (YOLO) для обнаружения транспортных средств из видеопотока с видеорегистратора и можем обеспечить обработку почти в реальном времени (35 кадров в секунду).

Код для проекта: Окончательный видеовыход здесь. Введение в обнаружение объектов Обнаружение транспортных средств в видеопотоке — это проблема обнаружения объектов. К проблеме обнаружения объектов можно подойти либо как к проблеме классификации, либо как к проблеме регрессии.

При классификационном подходе изображение делится на небольшие фрагменты, каждый из которых будет проходить через классификатор, чтобы определить, есть ли в фрагменте объекты. Ограничительные рамки будут назначены участкам с положительными результатами классификации. В регрессионном подходе все изображение будет пропущено через сверточную нейронную сеть напрямую для создания одной или нескольких ограничивающих рамок для объектов на изображениях.

В этом проекте мы реализуем версию 1 tiny-YOLO в Keras, поскольку ее легко реализовать и она достаточно быстра. вектор из изображения и часть постобработки, которая интерполирует вектор как координаты блоков и вероятности классов. Для нейронной сети крошечный YOLO v1 состоит из 9 слоев свертки и 3 полносвязных слоев.

Каждый слой свертки состоит из операций свертки, дырявого relu и максимального объединения. Первые 9 слоев свертки можно понимать как экстрактор признаков, тогда как последние три полносвязных слоя можно понимать как начало регрессии, которое предсказывает ограничивающие рамки. Всего в модели 45 089 374 параметра.

Выходом этой сети является вектор 1470, который содержит информацию для предсказанных ограничивающих рамок. Информация организована следующим образом. Выходной вектор 1470 разделен на три части, дающие вероятность, достоверность и координаты ящика. Каждая из этих трех частей также дополнительно делится на 49 небольших областей, соответствующих предсказаниям в 49 ячейках, формирующих исходное изображение.

На этапах постобработки мы берем эти 1470 выходных векторов из сети для создания блоков, вероятность которых выше определенного порога. Обучение сети YOLO занимает очень много времени. Мы используем предварительно обученные веса отсюда (172M) и загружаем их в нашу модель Keras.

Результаты. Ниже показаны результаты для нескольких тестовых изображений. Мы видим, что автомобили распознаются правильно: Вот результат применения того же пайплайна к видео. Чтобы увидеть реальную производительность модели, каждый кадр обрабатывается независимо, и временное сглаживание не применяется.

Мы видим, что обнаружение довольно точное, всего с одним ложным срабатыванием. Известно, что YOLO работает быстро. В этом проекте видео обрабатывается на графическом процессоре Nvidia 1080Ti и может достигать 35 кадров в секунду без пакетной обработки.

Благодарность Спасибо allanzelener и Trieu за полезное обсуждение YOLO. Спасибо Calvenn Tsuu за тестирование производительности.ReferenceJ.

Редмон, С. Диввала, Р. Гиршик, а А.

Фархади, Вы смотрите только один раз: унифицированное обнаружение объектов в реальном времени, arXiv:1506. 02640 (2015). J.

Редмон и А. Фархади, YOLO9000: лучше, быстрее, сильнее, arXiv: 1612.08242 (2016).

darkflow, СВЯЗАННЫЙ ВОПРОС Есть ли карьера или возможности для биомедицинской инженерии в Северной Индии? Поскольку в ОП не было указано ничего конкретного, и поскольку ОП появляется из Индии. Я предположил и отредактировал вопрос, сказав, что это Северная Индия, а также исправил написание Карьеры.

Карьера или возможности для биомедицинской инженерии в Северной Индии. Я родом из Севера и имею там опыт работы в области биомедицинской инженерии. Итак, каковы ваши варианты для той же карьеры: Работа в области биомедицинской инженерии доступна в больницах в Дели, НКР, Чандигархе, а также в других важных городах второго уровня на севере. Кроме того, в Дели NCR есть n компаний, занимающихся биомедицинской инженерией.

Дели владеет одной из крупнейших компаний по производству хирургических инструментов в Индии. Эти компании занимаются производством, а также продажей медицинского оборудования. Кроме того, существует множество компаний, в которых работают инженеры различных профилей, такие как специалисты по приложениям, инженеры по обслуживанию и продажам.

Большинство моих друзей в Дели — NCR занимают хорошие позиции и неплохо продвигаются по карьерной лестнице. С точки зрения исследований: Центр биомедицинской инженерии, AIIMS и IIT Delhi является одним из самых передовых исследовательских центров в области биомедицинской инженерии в стране. Они также сотрудничают со Стэнфордом для Стэнфордского индийского биодизайна. Помимо этого, у нас есть Национальный центр исследований мозга в Гургаоне, который проводит потрясающие исследования в области биомедицины. Лаборатория DRDO в Дели проводит большую работу в области биомедицинской инженерии. В DTU также есть исследователи, работающие в области биомедицинской инженерии. В Чандигархе у нас есть CSIO, CSIR. Лаборатории с лучшими возможностями для биомедицинских исследований. IIT Ropar также предлагает биомедицинские исследования вместе с NIT Jalandhar, который имеет сильные позиции в области исследований. в ближайшие годы в области биомедицинской инженерии будет много возможностей не только в СЕВЕРНОЙ ИНДИИ, но и по всей Индии.

Иностранные инвестиции в исследования в области медицинских устройств растут, как и все остальное. Так что не теряйте надежды, сосредоточьтесь на своих основах, мы на подъеме. .Есть ли карьера или возможности для биомедицинской инженерии в Северной Индии?

Есть ли у них карьера или возможности для биомедицинской инженерии в Северной Индии?