การตรวจจับยานพาหนะแบบเรียลไทม์โดยใช้ YOLO

เป็นโครงการสำหรับโปรแกรม Nanodegree รถยนต์ไร้คนขับของ Udacity จุดมุ่งหมายของโครงการนี้คือการตรวจจับยานพาหนะในวิดีโอกล้องติดรถยนต์ เราใช้ You Only Look Once (YOLO) เพื่อตรวจจับยานพาหนะจากสตรีมวิดีโอจากกล้องติดรถยนต์ และสามารถประมวลผลได้เกือบตามเวลาจริง (35FPS)

รหัสสำหรับโครงการคือ เอาต์พุตวิดีโอสุดท้ายอยู่ที่นี่ ข้อมูลเบื้องต้นเกี่ยวกับการตรวจจับวัตถุ การตรวจจับยานพาหนะในสตรีมวิดีโอเป็นปัญหาในการตรวจจับวัตถุ ปัญหาการตรวจหาวัตถุสามารถเข้าถึงได้ทั้งปัญหาการจำแนกประเภทหรือปัญหาการถดถอย

ในแนวทางการจัดหมวดหมู่ รูปภาพจะถูกแบ่งออกเป็นแพตช์เล็กๆ ซึ่งแต่ละอันจะถูกเรียกใช้ผ่านตัวแยกประเภทเพื่อตรวจสอบว่ามีอ็อบเจ็กต์ในแพตช์หรือไม่ กล่องขอบเขตจะถูกกำหนดให้กับแพตช์ที่มีผลการจัดหมวดหมู่ในเชิงบวก ในแนวทางการถดถอย ภาพทั้งหมดจะถูกเรียกใช้ผ่านโครงข่ายประสาทเทียมโดยตรงเพื่อสร้างกล่องขอบเขตหนึ่งกล่องหรือมากกว่าสำหรับวัตถุในภาพ

ในโครงการนี้ เราจะใช้เวอร์ชัน 1 ของ tiny-YOLO ใน Keras เนื่องจากใช้งานได้ง่ายและรวดเร็วพอสมควร YOLO v1 แบบจิ๋วนั้นวิธีการ YOLO ของการตรวจจับวัตถุประกอบด้วยสองส่วน: ส่วนโครงข่ายประสาทเทียมที่คาดการณ์ เวกเตอร์จากรูปภาพ และส่วนหลังการประมวลผลที่สอดแทรกเวกเตอร์เป็นพิกัดกล่องและความน่าจะเป็นของคลาส สำหรับโครงข่ายประสาทเทียม YOLO v1 ขนาดเล็กประกอบด้วย 9 ชั้นบิดและ 3 ชั้นที่เชื่อมต่อทั้งหมด

เลเยอร์การบิดแต่ละชั้นประกอบด้วยการบิด รีลูที่รั่ว และการดำเนินการรวมสูงสุด เลเยอร์การบิด 9 ชั้นแรกสามารถเข้าใจได้ว่าเป็นตัวแยกคุณลักษณะ ในขณะที่เลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์สามชั้นสุดท้ายสามารถเข้าใจได้ว่าเป็นหัวการถดถอยที่คาดการณ์กล่องขอบเขต มีพารามิเตอร์ทั้งหมด 45,089,374 ตัวในแบบจำลอง

ผลลัพธ์ของเครือข่ายนี้คือเวกเตอร์ 1470 ซึ่งมีข้อมูลสำหรับกรอบขอบเขตที่คาดการณ์ไว้ ข้อมูลถูกจัดระเบียบด้วยวิธีต่อไปนี้ เอาต์พุตเวกเตอร์ 1470 ถูกแบ่งออกเป็นสามส่วน โดยให้ความน่าจะเป็น ความมั่นใจ และพิกัดของกล่อง ทั้งสามส่วนนี้แบ่งออกเป็นส่วนย่อยอีก 49 ส่วน ซึ่งสอดคล้องกับการคาดการณ์ที่เซลล์ 49 เซลล์ที่สร้างภาพต้นฉบับ

ในขั้นตอนหลังการประมวลผล เราใช้เอาต์พุตเวกเตอร์ 1470 จากเครือข่ายเพื่อสร้างกล่องที่มีความเป็นไปได้สูงกว่าเกณฑ์ที่กำหนด การฝึกอบรมเครือข่าย YOLO ใช้เวลานานมาก เราใช้ตุ้มน้ำหนักที่ฝึกไว้ล่วงหน้าจากที่นี่ (172M) และโหลดลงในโมเดล Keras ของเรา

ผลลัพธ์ ต่อไปนี้แสดงผลสำหรับภาพทดสอบหลายภาพ เราจะเห็นได้ว่ารถยนต์ถูกตรวจพบอย่างถูกต้อง:นี่คือผลลัพธ์ของการใช้ไปป์ไลน์เดียวกันกับวิดีโอ เพื่อดูประสิทธิภาพที่แท้จริงของโมเดล แต่ละเฟรมจะได้รับการประมวลผลอย่างอิสระและไม่มีการปรับใช้ชั่วคราว

เราเห็นว่าการตรวจจับนั้นค่อนข้างแม่นยำ โดยมีผลบวกปลอมเพียงตัวเดียว YOLO เป็นที่ทราบกันดีอยู่แล้วว่ารวดเร็ว ในโครงการนี้ วิดีโอได้รับการประมวลผลบน GPU Nvidia 1080Ti และสามารถบรรลุ 35FPS โดยไม่ต้องประมวลผลเป็นชุด

รับทราบขอขอบคุณ allanzelener และ Trieu สำหรับการสนทนาที่เป็นประโยชน์เกี่ยวกับ YOLO ขอบคุณ Calvenn Tsuu สำหรับการทดสอบประสิทธิภาพอ้างอิงJ.

Redmon, S. Divvala, R. Girshick และ A.

Farhadi คุณดูเพียงครั้งเดียว: Unified, Real-Time Object Detection, arXiv:1506 02640 (2015). J.

Redmon และ A. Farhadi, YOLO9000: ดีกว่า เร็วกว่า แข็งแกร่งกว่า arXiv:1612.08242 (2016)

darkflow, คำถามที่เกี่ยวข้อง มีอาชีพหรือขอบเขตสำหรับวิศวกรรมชีวการแพทย์ในอินเดียตอนเหนือหรือไม่? เนื่องจาก OP ไม่ได้ระบุสิ่งใดเป็นพิเศษ และเมื่อ OP ปรากฏขึ้นจาก India.n ฉันจึงสันนิษฐานและแก้ไขคำถามเพื่อบอกว่าอินเดียเหนือของตน และแก้ไขการสะกดของอาชีพด้วย

อาชีพหรือขอบเขตของวิศวกรรมชีวการแพทย์ในอินเดียตอนเหนือ ฉันมาจากทางเหนือและมีประสบการณ์ด้านวิศวกรรมชีวการแพทย์ที่นั่น ดังนั้นตัวเลือกของคุณสำหรับอาชีพเดียวกันมีอะไรบ้าง: งานวิศวกรรมชีวการแพทย์มีให้บริการในโรงพยาบาลในนิวเดลี NCR จัณฑีครห์ ตลอดจนเมืองระดับ 2 ที่สำคัญอื่น ๆ ของภาคเหนือ นอกจากนั้น ยังมีบริษัทจำนวน n ใน Delhi NCR สำหรับวิศวกรรมชีวการแพทย์

เดลีถือหนึ่งในบริษัทเครื่องมือผ่าตัดที่ใหญ่ที่สุดในอินเดีย บริษัทเหล่านี้ผลิตและซื้อขายอุปกรณ์ทางการแพทย์ นอกจากนั้น ยังมีบริษัทหลายแห่งที่จ้างวิศวกรสำหรับโปรไฟล์ต่างๆ เช่น ผู้เชี่ยวชาญด้านแอปพลิเคชัน วิศวกรบริการและการขาย

เพื่อนของฉันส่วนใหญ่ในเดลี- NCR อยู่ในตำแหน่งที่ดีและเติบโตอย่างเหมาะสมในอาชีพการงาน การวิจัยอย่างชาญฉลาด: Center for Biomedical Engineering, AIIMS และ IIT Delhi เป็นหนึ่งในศูนย์วิจัยที่ก้าวหน้าที่สุดด้านวิศวกรรมชีวการแพทย์ในประเทศ พวกเขายังมีความร่วมมือกับ Stanford สำหรับ Stanford India Biodesignn นอกเหนือจากนี้เรามีศูนย์วิจัยสมองแห่งชาติใน Gurgaon การทำวิจัยที่น่าตื่นตาตื่นใจใน Biomedicaln ห้องปฏิบัติการ DRDO ในเดลี ทำงานเป็นจำนวนมากใน Biomedical EngineeringnDTU ยังมีนักวิจัยที่ทำงานใน Biomedical EngineeringnIn Chandigarh เรามี CSIO, CSIR ห้องปฏิบัติการที่มีสิ่งอำนวยความสะดวกชั้นนำสำหรับการวิจัยทางชีวการแพทย์nIIT Ropar ยังมีการวิจัยทางชีวการแพทย์พร้อมกับ NIT Jalandhar ซึ่งมีฐานที่มั่นในการวิจัยวิศวกรรมชีวการแพทย์เป็นหลักสูตรระดับปริญญาโทที่เปิดสอนใน ITBHU ยังมีโอกาสการวิจัยที่ดี IIIT alahabad ยังมีโอกาสที่ดีพร้อมกับ NIT Allahabadnnมี ขอบเขตมากมายในด้านวิศวกรรมชีวการแพทย์ในปีต่อๆ ไป ไม่ใช่แค่ในอินเดียเหนือ แต่ทั่วทั้งอินเดีย

การลงทุนจากต่างประเทศในการวิจัยอุปกรณ์การแพทย์กำลังเพิ่มขึ้นอย่างอื่นๆ ดังนั้นอย่าสิ้นหวัง มุ่งเน้นที่พื้นฐานของคุณ เราอยู่ใน ROLL .มีอาชีพหรือขอบเขตสำหรับวิศวกรรมชีวการแพทย์ในอินเดียตอนเหนือหรือไม่?

มีอาชีพหรือขอบเขตสำหรับวิศวกรรมชีวการแพทย์ในอินเดียตอนเหนือหรือไม่?