Wir haben das größte Netzwerk von Parksensoren des Landes aufgebaut, um Parksensoren in die Hölle zu schicken

Im vergangenen September haben wir optische Parksensoren installiert, um die Belegung von mehr als 500 Straßenparkplätzen im Universitätsviertel der Stadt Braunschweig zu messen. Das ist die größte Installation von Parksensoren, die jemals in Deutschland im öffentlichen Raum ausgerollt wurde und eines ist sicher: Wir werden es die letzte schaffen. Dies ist die Geschichte der großen Anstrengungen, die ein KI-Unternehmen auf der Suche nach der Wahrheit gemacht hat Daten, um seine Algorithmen zu befeuern.

Dies ist auch die Geschichte hinter einem wunderschönen Stück Technik, das zufällig das Nebenprodukt einer größeren Mission war und schließlich nie wieder in Produktion gehen wird. All dies zugunsten einer disruptiveren, datengesteuerten Technologie. Da wir bei Bliq an prädiktiven Algorithmen arbeiten, um die Parkplatzverfügbarkeit auf der Grundlage von Verkehrsdaten zu modellieren, haben wir den natürlichen Bedarf an Ground-Truth-Daten der realen Parkplatzbelegung in einem Referenzgebiet.

Um diese Art von Daten zu erhalten, haben wir uns entschieden, unseren eigenen realen Versuchsaufbau von Parksensoren zu bauen, die die Belegung von mehr als 500 Straßenparkplätzen rund um die Uhr in Echtzeit messen. Mit diesem Artikel möchten wir möchte einige Einblicke in die technischen Bemühungen geben, die in dieses Projekt geflossen sind. Sprechen Sie insbesondere über den von uns gewählten Teststandort, die Systemarchitektur und den eigentlichen Sensor, den wir zum Sammeln von Daten entworfen und gebaut haben.

Das TestgeländeManchmal müssen KI-Unternehmen kreativ werden, wenn es darum geht, Ground Truth für ihre Modelle zu sammeln. In unserem Fall bedeutete dies für die Modellierung der Parkplatzverfügbarkeit, einen Stadtteil zu finden, der bestimmte Kriterien in Bezug auf Verkehrsfluss, Nutzung und Demografie erfüllt. Wir haben uns für das Universitätsviertel in Braunschweig wegen seiner großen Vielfalt an Einflüssen auf vergleichsweise kleinem Raum entschieden: Im Süden, Wir haben den Hauptcampus der Universität, der jeden Tag Tausende von Studenten und Hunderte von Mitarbeitern anzieht.

Noch weiter südlich ist die Innenstadt mit ihren Geschäften und Sehenswürdigkeiten in wenigen Minuten zu Fuß erreichbar (in obiger Karte nicht eingezeichnet). Der nördliche Teil des Quartiers bildet ein Wohngebiet mit öffentlichen, unbeschränkten Straßenparkplätzen. Die meisten Menschen, die in diesem Gebiet leben, sind entweder Studenten oder Angestellte der lokalen Automobilindustrie.

Die überwiegende Mehrheit der Einwohner pendelt mit dem Privatauto zur Arbeit. Getrennt wird der Stadtteil durch eine Ausfallstraße, die den Innenstadtbezirk umschließt. So funktioniert das System Die grundlegende Systemarchitektur der Sensorinstallation ist ziemlich einfach und im Grunde so, wie man es von den meisten IoT-Anwendungen erwarten würde: Irgendwo wird ein kleines Stück Hardware eingesetzt in der realen Welt und übermittelt Daten an ein Cloud-Backend.

Das Backend speichert die Daten und macht sie für die weitere Verarbeitung zugänglich, um als Ground Truth für Machine-Learning-Bemühungen zu dienen oder einfach nur zur einfachen Visualisierung in einer App oder Web-App. Harte Anforderung: Privacy by Design Das Besondere an der Sensorarchitektur ist die ziemlich starke Rechenleistung Leistung, die wir am Rand eingesetzt haben: Aufgrund regulatorischer Anforderungen im deutschen öffentlichen Raum, die zusätzlich durch aktuelle und anhaltende DSGVO-Diskussionen befeuert werden, konnten wir Bilder nicht mit vielen Rechenressourcen in einer Remote-Cloud verarbeiten. Deshalb mussten wir alles tun das schwere Heben, um offene Stellen direkt am Sensorgerät und nicht woanders zu bestimmen.

Der Vorteil dabei ist, dass dieser Ansatz keine großen Datenmengen für das Hin- und Hersenden von Bildern verbraucht. Stattdessen können wir die laufenden Kosten der Sensoren für die Konnektivität auch in einem relativ niedrigen Bereich halten. Auf der anderen Seite erfordert die Ausstattung des Geräts mit genügend Rechenleistung zur Durchführung der Bildanalyse viel zusätzlichen Aufwand in der Hardwareentwicklung.

Warum nicht einen anderen Parksensor verwenden?Warum haben wir uns entschieden, uns die Mühe zu machen, unseren eigenen Parksensor zu entwerfen und zu bauen, anstatt nur eines der vielen fertigen Sensormodelle zu kaufen, die es bereits gibt?Darauf gibt es drei Antworten:Wir wusste nicht, wie aufwändig der Bau eines neuen Geräts werden würde ;) Die vorhandenen Parksensoren hatten alle einige Mängel: Die regulatorische Situation verbietet uns, jede verfügbare, optische Lösung zu verwenden, da diese Art von Systemen die Privatsphäre verletzen würde.

Oberflächenmontierte Sensoren würden der Schneeräumung im Winter nicht standhalten. Und schließlich waren Bodensensoren selbst ziemlich kostspielig und noch teurer in der Installation. Als wir mit diesem Projekt begannen, hatten wir ein ziemlich knappes Budget.

Wir haben das Unternehmen zu diesem Zeitpunkt vollständig gebootstrapt: Unsere Mittel bestanden aus einigen staatlichen Fördergeldern, ersten Einnahmen und einigen Preisen, die wir hier und da gewonnen haben. Die anderen Sensormodelle mit einem Preis zwischen 75 und 250 EUR pro Spot waren uns damals einfach zu teuer. Der neue optische ParksensorDie Idee für das Funktionsprinzip unseres Sensors war einfach: Denselben Algorithmus, den wir bereits in unserem vorherigen Forschungsprojekt auf verkleinerter Hardware entwickelt hatten, einsetzen, mit dem Internet verbinden, alles in eine wasserdichte Box packen und montieren zu einem Lichtmast.

Der Algorithmus selbst ist im Grunde ein Bildklassifizierer, der vordefinierte interessierende Bereiche zum Betrachten erfordert. Der ursprüngliche Zweck des Modells bestand darin, die Analyse der Parkplatzbelegung in einigen riesigen Bildserien zu automatisieren, die wir in einem früheren Projekt mit Offline-Kameras gesammelt haben. Die Herausforderung bestand nun nur noch darin, ein geeignetes Hardware-Rig mit genügend Rechenleistung zu entwerfen, das Modell so zu verkleinern, dass es auf diesem Setup ausgeführt werden kann, und eine kontinuierliche Stromversorgung sicherzustellen.

Das war unsere Spezifikations-Wunschliste: Niedrige Kosten pro Spot: Standardkomponenten Messfrequenz von bis zu 3 min bis zu 30 sek. Erkennung robust gegen Wetter, Lichtänderungen und ungenau parkende Autos (z. G.

ein Auto belegt zwei Plätze)Überwachung des Gesundheitszustands des GerätsOption für Software-Updates aus der FerneGeringer Energieverbrauch25 Jahre NutzungsdauerSoftwareDie Sensorsoftware besteht aus drei Schichten: Dem Betriebssystem, das eigens für dieses Projekt entwickelt wurde, der Kernroutine, die alle Sensorfunktionen steuert und der aktuelles maschinelles Lernmodell für die Erkennung offener Stellen. BetriebssystemUm ein vollwertiges Vision-Modell am Edge auszuführen, stellten wir schnell fest, dass wir ein viel größeres Software-Setup benötigen würden als in anderen IoT-Hardwareprojekten. Die Entscheidung wurde getroffen, eine benutzerdefinierte Linux-Distribution mit Yocto zu erstellen.

Auf diese Weise könnten wir die volle Kontrolle über alles haben, was das Betriebssystem tut. Die Kernfunktionen waren zwei separate Partitionen, um Dateisystemaktualisierungen und Swap-Partitionen durchführen zu können, eine Reihe von Bibliotheken, die von der Kernroutine benötigt werden, und ein Watchdog-Reset. Der Hardware-Watchdog unseres SBC startet das Gerät neu, falls etwas nicht wie erwartet funktioniert.

Smart Bricks Meter über dem Boden an Lichtmasten wegen eines Fehlers in der Software zu haben, wäre buchstäblich der Worst Case Backend (Abrufen von Konfigurationsdaten und Senden von Updates). Die Kernroutine ist in Python implementiert.

Dies gab uns große Flexibilität und vereinfachte die Bildverarbeitung erheblich, da wir auf die große vorhandene Python-Codebasis zurückgreifen konnten, die wir bereits im Unternehmen hatten. Eine großartige Sache am Softwaredesign ist die Fähigkeit zur unabhängigen Fernaktualisierung jeder einzelnen Komponente: Vom Erkennungsmodell über den Quellcode für die Kernroutine bis hin zum Kernel oder sogar dem gesamten Dateisystem kann jeder Teil aus der Ferne ersetzt werden. Angesichts der schnellen Entwicklungen im Bereich CV und maschinelles Lernen im Allgemeinen wollten wir sicherstellen, dass der Code, der die Sensoren ausführt, über die gesamte Lebensdauer auf dem neuesten Stand der Technik ist.

Maschinelles LernenUm die Erkennungsaufgabe auszuführen, haben wir eine Version von TensorFlow genommen und nach einigen Optimierungen schließlich dazu gebracht, dass sie an unserem Setup funktioniert. Sobald dies erledigt war, konnten wir so ziemlich jeden vortrainierten Tensorflow einsetzen, der in den GPU-Speicher passen würde. Wir entschieden uns für MobileNet, da es das beste Verhältnis zwischen Genauigkeit und Leistung bei unserem Setup zeigte.

Wir haben uns auch mehrere andere Ansätze angesehen, die auf traditionellen Computer-Vision-Funktionen wie HOG-Funktionen, Histogrammen usw. basieren. in Kombination mit herkömmlichen Klassifikatoren für maschinelles Lernen wie SVMs. Obwohl diese Tests aufgrund des viel einfacheren Modelldesigns im Vergleich zu MobileNet zu einer recht hohen Rechenleistung führten, war die Modellgenauigkeit geringer, was durch die üblichen Nachteile von Standard-CV-Merkmalsbeschreibungen (leichte Invarianz, Skaleninvarianz) erklärt werden kann.

HardwareDie Arbeit mit Hardware war für uns als bis dahin reines Softwareunternehmen eine ganz neue Erfahrung. Obwohl Mathias, unser CTO, in seiner früheren Tätigkeit bei Volkswagen R &D, unser Unternehmen war noch nicht ganz bereit für eine Hardware-Entwicklungsaufgabe und ehrlich gesagt, ist es das auch heute noch nicht. Trotzdem brauchten wir ein funktionales Design, das einfach herzustellen und mit den Ressourcen, die wir zu diesem Zeitpunkt als Bootstrap-Unternehmen hatten, zu iterieren war.

Unsere Anforderungsliste sah also schnell so aus: Das Gehäuse muss wasserdicht und 3D-druckbar sein Der Sensor sollte mindestens 12 Stunden im Akku laufen können Die Kamera sollte vor Regen und Spritzwasser geschützt sein und auch im Dunkeln funktionieren Das Design muss die Kamera, einen Temperatur-/Feuchtigkeitssensor, das LTE-Modul, den Einplatinencomputer und etwas Leistungselektronik zum Umwandeln der Spannung auf das entsprechende Niveau halten. Eine Batterie wird benötigt, um den Betrieb fortzusetzen, wenn der Lichtmast ausgeschaltet ist (während des Betriebs). des Tages) Der gesamte Aufbau muss modular aufgebaut sein, um die Installation zu erleichtern und im Fehlerfall einzelne Komponenten austauschen zu können. Es muss auch zu klein und grau lackiert sein, um in seiner Betriebsumgebung unauffällig zu wirken. Betriebsbedingungen von -20 C bis 70 C (da das Setup im Sommer ziemlich warm werden kann, wenn es vollständig der Sonne ausgesetzt ist). LEDs (wie viele Außenkameras sie haben), um bei Nachtbedingungen arbeiten zu können.

Allerdings stellte sich heraus, dass diese Designentscheidung mit einigen Mängeln behaftet war: Diese LEDs verbrauchten (im Vergleich zur restlichen Elektronik) ziemlich viel Strom, was eine nicht standardmäßige und damit eine Stromversorgung erforderlich machte. Trotz des großen Stromverbrauchs waren sie nicht wirklich in der Lage, das gesamte Sichtfeld auszuleuchten. Wir hätten wahrscheinlich einen externen IR-Scheinwerfer gebraucht, was wiederum keine ernsthafte Alternative war.

Und schließlich war das LED-gewürzte Design auch nicht sehr hübsch. Um das Problem des Nachtbetriebs zu lösen, haben wir uns entschieden, die statische Kameraeinstellung zu verwenden: Da die Kameraposition statisch ist und die Objekte, die wir zu erkennen versuchen, normalerweise auch still sind, Wir können die Belichtung und die Lichtempfindlichkeit der Sensoren erhöhen, um nur mit Restlicht zu arbeiten. Also haben wir die interne Belichtung und ISO-Steuerung der Kamera überschrieben und eine einfache Rückkopplungsschleife geschrieben, die die Beleuchtungseinstellungen basierend auf der Luminanz des zuletzt aufgenommenen Frames anpasst.

Dieser Ansatz hat sich als recht gut erwiesen, da in den meisten Straßen genügend Restlicht von den Straßenlaternen vorhanden ist. Nach mehreren weiteren Iterationen landeten wir schließlich bei dem oben gezeigten Design: Die Kamera sitzt in einem Kegel, um vor Spritzwasser geschützt zu sein und Sonnenreflexe so weit wie möglich. Die Elektronik ist auf einer Buchse im Inneren montiert und ein Flachbandkabel verbindet die Kamera mit der Hauptplatine.

Der Boden ist abnehmbar und mit vier Standardschrauben am Gehäuse befestigt. Da das Gehäuse in ABS gedruckt ist, sitzen quadratische Muttern in Aussparungen, um sicherzustellen, dass die Schrauben richtig angezogen werden können. Ein GoPro-ähnliches Gelenk verbindet das Gehäuse mit der Halterung, die mit Standard-Stahlband am Lichtmast befestigt wird.

Alle Teile sind für die 3D-Druckbarkeit optimiert, was bedeutet, dass keine starken Überhänge vorhanden sind, dass die Oberflächen parallel importiert werden, um eine hohe Oberflächenqualität zu erzielen. Schließlich ist der Batteriekasten für eine bessere Wartungsfreundlichkeit vom Sensor getrennt. Es ist eine Standard-ABS-Spritzgussbox und enthält eine 4.

5 Ah 12 V Bleiakku und ein Ladegerät, das 230 V Eingang benötigt (das ist die Spannung der meisten Straßenlaternen in Deutschland). Was kommt als Nächstes? Die Daten, die wir während dieses Projekts sammeln, helfen uns sehr, unser Verständnis (und auch unser Algorithmen) darüber, wie das Parken in verschiedenen Verkehrssituationen und verschiedenen Kontexten von Faktoren, die die Parkplatzverfügbarkeit beeinflussen, funktioniert. Wir werden in Kürze mehr über die tatsächlichen Ergebnisse aus datenwissenschaftlicher Sicht veröffentlichen.

Wir werden uns auch etwas Zeit nehmen und mehr auf die Details des Softwareteils eingehen und werden schließlich sogar die Software sowie die Hardwaredesigns als Open Source veröffentlichen. Danksagungen An dieser Stelle möchten wir der Stadt unsere Dankbarkeit aussprechen Braunschweig für die Bereitstellung der Verkehrsinfrastruktur zur Unterstützung dieses Projekts. Sie besorgten nicht nur alle notwendigen Genehmigungen, sondern übernahmen auch einen Teil der Kosten.

Ein großes Dankeschön geht auch an den lokalen Verkehrsbetrieb Bellis und den Energieversorger BS Energy für die Unterstützung bei der Installation und Stromversorgung der Sensoren. Über den Autor Julian ist CEO und Co-Founder von Bliq, a Berlin -basiertes Technologieunternehmen. Bliq bietet Live-Parkkarten für Entwickler im Bereich Mobilität.

VERWANDTE FRAGE Ich habe Google Glass Explorer Edition nicht erhalten. Ist der Versuch, Glass dev ohne Hardware zu lernen, eine vergebliche Anstrengung? Nein, Sie können immer noch die Grundlagen der Glasent wicklung ohne die Hardware lernen.

Es gibt drei Haupt ansätze, um dies zu erreichen: 1) Besuchen Sie die Mirror-API-Dokumentation, gehen Sie auf den Spielplatz und beginnen Sie, Code zu erstellen. Laden Sie die PHP-, Java-und Python-Bibliothek herunter, je nachdem, was Sie sich am wohlsten fühlen. Machen Sie sich mit dem Jargon und den Konvertitionen (Timeline, Bundles, Menüs usw.) vertraut.

Lesen Sie die Support-Dokumentation (zweiter Link unten), um zu sehen, wie die Glass-Hardware tatsächlich funktioniert. Erstellen Sie einige Apps nach dieser Spezifikation. Schon bald finden Sie einen Freund mit Hardware zu t