Fallan alyse der Deep-Learning-Technologie basierend auf Spark und Bigdl

Dieses Papier teilt haupt sächlich die praktischen Erfahrungen von Intel und JD beim Aufbau eines groß angelegten Frameworks zur Extraktion von Bild merkmals, das auf Funken-und Bigdl-Deep-Learning-Technologie basiert. background Die Extraktion von Image-Funktionen wird häufig beim Abrufen von Bildern, De-Duplizieren usw. verwendet. Bevor wir das Bigdl-Framework (das später erwähnt wird) verwenden, haben wir versucht, Feature-Extraktion anwendungen auf mehreren Maschinen, mehreren GPU-Karten bzw. GPU-Clustern zu entwickeln und bereit zustellen. Die obigen Frameworks haben jedoch offen sichtliche Nachteile:

Im GPU-Cluster ist die auf der GPU-Karte basierende Ressourcen zuweisung strategie sehr komplex, und die Ressourcen zuweisung ist problema tisch, z. B. unzureichender verbleibender Videosp eicher, was zu einem Absturz von Oom und Anwendungen führt. Im Falle einer einzelnen Maschine müssen Entwickler im Vergleich zum Cluster modus die Daten fragment ierung manuell durchführen. Last-und Fehler toleranz. Die Anwendung des GPU-Modus am Beispiel von Caffe weist viele Abhängigkeiten auf, einschl ießlich CUDA, was die Schwierigkeit der Bereitstellung und Wartung erhöht. Wenn beispiels weise Probleme mit verschiedenen Betriebs system versionen und GCC-Versionen auftreten, müssen diese neu kompiliert und verpackt werden.

Die oben genannten Probleme führen dazu, dass das auf GPU basierende Vorwärts programm vielen technischen Anwendungs herausforderungen in der Architektur gegenüber steht.

Schauen wir uns die Szene selbst an. Da der Hintergrund vieler Bilder komplex ist und der Anteil der Subjekt objekte normaler weise gering ist, muss das Motiv vom Bild getrennt werden, um die Interferenz des Hintergrunds auf die Genauigkeit der Merkmals extraktion zu verringern. Natürlich ist der Rahmen der Bild merkmal extraktion in zwei Schritte unterteilt. Zuerst wird das Ziel vom Zieler kennung algorithmus erkannt, und dann wird das Ziel merkmal durch den Merkmals extraktion algorithmus extrahiert. Hier verwenden wir SSD [1] (Single-Shot-Multibox-Detektor) zur Zieler kennung und Deepbit [2]-Netzwerk zur Feature-Extraktion.

Jingdong hat eine große Anzahl von (mehr als Hunderte von Millionen) Produkt bildern in der Mainstream-verteilten Open-Source-Datenbank. Daher ist das effiziente Abrufen und Verarbeiten von Daten in einer verteilten Umgebung in großem Maßstab ein Hauptproblem der Pipeline für die Extraktion von Bild merkmals. Die vorhandenen GPU-basierten Lösungen stehen vor anderen Herausforderungen bei der Lösung der Anforderungen der oben genannten Szenarien: Der Download von Daten dauert lange, und das auf GPU basierende Schema kann ihn nicht gut optimieren. Für die Bilddaten in der verteilten Open-Source-Datenbank ist der frühe Datenverarbeitung prozess des GPU-Schemas sehr komplex. Und es gibt kein ausgereiftes Software-Framework für Ressourcen management, verteilte Datenverarbeitung und Fehler toleranz management.

Aufgrund der Einschränkungen von GPU-Software und Hardware-Framework ist es sehr schwierig, das GPU-Schema zu erweitern, um mit großen Bildern umzugehen. Bigdl-Integrations schema In der Produktions umgebung wird die Verwendung der vorhandenen Software-und Hardware einrichtungen die Produktions effizienz erheblich verbessern (wie z. B. die Reduzierung der R & D Zeit der neuen Produkte) und reduzieren die Kosten. In diesem Fall werden die Daten in der Mainstream-verteilten Open-Source-Datenbank im Big-Data-Cluster gespeichert. Wenn die Deep-Learning-Anwendung den vorhandenen Big-Data-Cluster (wie Hadoop oder Spark-Cluster) zum Rechnen verwenden kann, kann sie die oben genannten Herausforderungen leicht lösen.

Intels Open-Source-Bigdl-Projekt [3] ist ein verteiltes Deep-Learning-Framework auf Spark, das umfassende Unterstützung für Deep-Learning-Algorithmus bietet. Bigdl kann mit der verteilten Skalierbar keit der Spark-Plattform leicht auf Hunderte oder Tausende von Knoten erweitert werden. Gleichzeitig verwendet bigdl die mathematische Computer bibliothek von Intel MKL und die Parallel-Computing-Technologie, um eine hohe Leistung auf dem Intel Xeon-Server zu erzielen (die Rechen leistung kann mit der Leistung der Mainstream-GPU vergleichbar sein).In unserem Szenario wird bigdl angepasst, um verschiedene Modelle zu unterstützen (Erkennung und Klassifizierung). Das Modell wird transplant iert, da es nur für eine bestimmte Umgebung auf eine Bigdl-Big-Data-Umgebung anwendbar ist, die ein allgemeines Modell unterstützt (Cafe, Fackel, Tensor flow). Der gesamte Pipeline-Prozess wurde optimiert und beschleunigt. Die Pipeline für die Feature-Extraktion in der Funken umgebung durch Bigdl ist in Abbildung 1 dargestellt:

Verwenden Sie Spark, um Hunderte von Millionen von Originalbildern aus der verteilten Open-Source-Datenbank zu lesen und RDDUse-Funke zu erstellen, um Bilder vor verarbeiten, einschl ießlich Größen änderung, Subtrahieren des Mittelwerts und Verfassen der Daten in einen Batch Mit Bigdl zum Laden des SSD-Modells wird eine groß angelegte und verteilte Zieler kennung auf dem Bild durch Funken durchgeführt und eine Reihe von Erkennungs koordinaten und entsprechenden Bewertungen erhalten

Das Erkennungs ergebnis mit der höchsten Punktzahl wird als Subjekt ziel beibehalten, und das Zielbild wird erhalten, indem das Originalbild gemäß den Erkennungs koordinaten geschnitten wird. Verarbeiten Sie die RDD des Ziels Bild, einschl ießlich Größen änderung, um eine Batch Bigdl zu bilden, wird verwendet, um das Deepbit-Modell zu laden, und Funke wird verwendet, um die verteilten Merkmale des erkannten Zielbildes zu extrahieren, um das entsprechende zu erhalten Merkmale

Die Erkennungs ergebnisse (extrahierte Zielmerkmals-RDD) werden auf HDFS gespeichert. Die gesamte Datenanalyse-Pipeline, einschl ießlich Daten lesen, Daten partition ierung, Vor verarbeitung, Vorhersage und Ergebnis speicherung, kann problemlos in Funken durch Bigdl implementiert werden. Auf dem vorhandenen Big Data-Cluster (Hadoop / spark) können Benutzer Deep-Learning-Anwendungen mit Bigdl ausführen, ohne die Cluster konfiguration zu ändern. Darüber hinaus kann bigdl mithilfe der hohen Skalierbar keit der Funken plattform leicht auf eine große Anzahl von Knoten und Aufgaben erweitert werden, wodurch der Datenanalyse prozess erheblich beschleunigt wird. Neben der Unterstützung des verteilten Deep Learning bietet bigdl auch viele benutzer freundliche Tools, wie z. B. Bild vor verarbeitung bibliothek, Modell lade werkzeuge (Einschl ießlich Laden von Modellen des Deep Learning Frameworks von Dritt anbietern), was für Benutzer bequemer ist, um die gesamte Pipeline zu erstellen.

Bild vor verarbeitung Bigdl bietet eine Bild vor verarbeitung bibliothek [4] Basierend auf OpenCV [5], die verschiedene gängige Bildkonvertierungs-und Bild verbesserung funktionen unterstützt. Benutzer können diese Grund funktionen problemlos verwenden, um eine Bild vor verarbeitung pipeline zu erstellen. Darüber hinaus können Benutzer auch die von der Bibliothek bereit gestellte Opencv-Funktion aufrufen, um eine benutzer definierte Bild konvertierung durch zuführen. Die Vor verarbeitung pipeline dieses Beispiels wandelt eine ursprüngliche RDD durch eine Reihe von Transformationen in eine Batch-RDD um. Unter ihnen konvertiert Bytetomat das Byte bild in das Matten speicherformat von OpenCV, ändert die Größe des Bildes auf 300x300 und Matto floats speichert die Pixel in der Matte in das Format des Float-Arrays und subtrahiert den Durchschnitts wert des entsprechenden Kanals. Schließlich bildet roi image tobatch die Daten zu einem Stapel, der als Eingabe des Modells für die Vorhersage oder das Training verwendet wird.

Lade modell Benutzer können das vor trainierte Modell problemlos mit bigdl laden und direkt im Spark-Programm verwenden. Angesichts der bigdl-Modell datei können Sie module.load aufrufen, um das Modell zu erhalten. Darüber hinaus unterstützt bigdl auch den Import von Deep Learning Framework-Modellen von Dritt anbietern wie Caffe, Fackel und Tensor flow.

Benutzer können das geschulte Modell problemlos für Daten vorhersage, Feature-Extraction, Modell-Feinabstimmung usw. laden. Am Beispiel von Caffe besteht das Modell von Caffe aus zwei Dateien, der Modell-Prototext-Definitions datei und der Modell parameter datei. Wie unten gezeigt, können Benutzer das vor trainierte Caffe-Modell problemlos in Spark-und Bigdl-Programme laden. performance Wir bewerten die Leistung der GPU-Cluster lösung basierend auf Caffe und der Xeon-Cluster lösung auf Bigdl-Basis. Die Tests werden in der internen Cluster umgebung von JD ausgeführt.

Tests tandard End zur Beendigung der Bild verarbeitungs-und Analyse pipeline, einschl ießlich: Lesen Sie Bilder aus der verteilten Open-Source-Datenbank (Bilder von der Bild quelle in den Speicher herunter laden)

Eingabe in das Zieler kennung modell und das Feature-Extraktion modell für die Feature-Extraktion Speichern Sie die Ergebnisse (Bild pfade und Features) im Datei system Hinweis: Der Download-Faktor ist zu einem wichtigen Faktor geworden, der den gesamten End-to-End-Durchsatz beeinflusst. In diesem Fall macht dieser Teil der Verarbeitung szeit etwa die Hälfte der gesamten Verarbeitung szeit aus (Download-Erkennungs funktionen). Der GPU-Server kann keine GPU verwenden, um die Verarbeitung des Herunter ladens zu beschleunigen.

Umwelt prüfung GPU: NVIDIA Tesla K40, 20 Karten gleichzeitig ausgeführt CPU: Intel (R) Xeon (R) CPU e5-2650 V4 @ 2,20 GHz, insgesamt 1200 logische Kerne (jeder Server hat 24 physische Kerne, ermöglicht Hyper threading und ist als 50 logische Kerne konfiguriert Garn)

Testergebnis Abbildung 2 zeigt, dass der Durchsatz von 20 K40-Bildern zur gleichzeitigen Verarbeitung von Caffe etwa 540 Bildern/s beträgt, während der Durchsatz von Bigdl auf dem Garn cluster (Xeon) mit 1200 logischen Kernen etwa 2070 Bilder/s beträgt. Der Durchsatz von Bigdl auf dem Xeon-Cluster beträgt etwa das 3,83-fache des GPU-Clusters, was die Verarbeitung szeit von Bildern in großem Maßstab erheblich verkürzt. Die Testergebnisse zeigen, dass Bigdl eine bessere Unterstützung bei groß angelegten Bildfeature-Extraktion anwendungen bietet. Die hohe Skalierbar keit, die hohe Leistung und die Benutzer freundlich keit von Bigdl helfen JD, das massive und explosive Wachstum der Bilds kala leichter zu bewältigen. Basierend auf solchen Testergebnis sen aktualisiert JD die Implementierung der Caffe-Bildfeature-Extraktion basierend auf dem GPU-Cluster auf ein Bigdl-Schema basierend auf dem Xeon-Cluster und stellt es in der Funken-Cluster-Produktions umgebung bereit.

Abbildung 2 vergleicht den Durchsatz von K40 und Xeon in der Bildfeature-Extraktion. Die hohe Skalierbar keit, hohe Leistung und Benutzer freundlich keit von Pipeline Bigdl helfen JD dabei, Deep-Learning-Technologie einfacher zur Verarbeitung massiver Bilder zu verwenden. JD wird Bigdl weiterhin auf eine breitere Palette von detaillierten Lern anwendungen anwenden, z. B. verteiltes Modell training. Zitat

[1]. Liu, Wei, et al. SSD: Single Shot MulTIbox Detektor. Europäische Konferenz über Computer Vision. Springer, Cham, 2016.[2]. Lin, Kevin, et al. Lernen Sie kompakte binäre Deskriptoren mit unbe aufsicht igten tiefen neuronalen Netzen. Proceedings der IEEE-Konferenz über Computer Vision und Muster erkennung, 2016.[3]. Https://github.com/intel-analyTIcs/BigDL

[4]. Https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision[5].