تحليل حالة تقنية التعلم العميق بناءً على Spark و Bigdl

تشترك هذه الورقة بشكل أساسي في التجربة العملية لـ Intel و JD في بناء إطار واسع لاستخراج ميزة الصور على نطاق واسع يعتمد على تقنية التعلم العميق الشرارة و bigdl. يستخدم استخراج ميزة backgroundImage على نطاق واسع في استرجاع الصور المماثل ، دي التكرار وما إلى ذلك. قبل استخدام إطار bigdl (الذي سيتم ذكره لاحقًا) ، حاولنا تطوير ونشر تطبيقات استخراج الميزات على أجهزة متعددة ، وبطاقة GPU متعددة ومجمع GPU على التوالي. ومع ذلك ، فإن الأطر المذكورة أعلاه لها عيوب واضحة:

في مجموعة GPU ، تعد استراتيجية تخصيص الموارد القائمة على بطاقة GPU معقدة للغاية ، وتخصيص الموارد عرضة لمشاكل ، مثل عدم كفاية ذاكرة الفيديو المتبقية ، مما يؤدي إلى تعطل التطبيق. في حالة جهاز واحد ، مقارنة مع وضع الكتلة ، يحتاج المطورون إلى القيام بتجزئة البيانات يدويًا ، الحمل والتسامح مع الخطأ. يحتوي تطبيق وضع GPU ، مع أخذ الكافيين كمثال ، على العديد من التبعيات ، بما في ذلك CUDA ، مما يزيد من صعوبة النشر والصيانة. على سبيل المثال ، عندما تكون هناك مشاكل في إصدارات نظام التشغيل المختلفة وإصدارات دول مجلس التعاون الخليجي ، فإنها تحتاج إلى إعادة تجميعها وتعبئتها.

المشاكل المذكورة أعلاه تجعل البرنامج إلى الأمام على أساس GPU تواجه العديد من تحديات التطبيقات التقنية في الهندسة المعمارية.

دعونا ننظر إلى المشهد نفسه. نظرًا لأن خلفية العديد من الصور معقدة ونسبة كائنات الموضوع عادة ما تكون صغيرة ، من أجل تقليل تداخل الخلفية على دقة استخراج الميزة ، يجب فصل الموضوع عن الصورة. بطبيعة الحال ، ينقسم إطار استخراج ميزة الصورة إلى خطوتين. أولاً ، يتم الكشف عن الهدف بواسطة خوارزمية الكشف عن الهدف ، ثم يتم استخراج الميزة المستهدفة بواسطة خوارزمية استخراج الميزة. هنا ، نستخدم SSD [1] (كاشف متعدد box multibox) للكشف عن الهدف وشبكة deepbit [2] لاستخراج الميزات.

لدى Jingdong عدد كبير من صور المنتجات (أكثر من مئات الملايين) في قاعدة بيانات المصدر المفتوح الموزعة الرئيسية. لذلك ، فإن كيفية استرداد البيانات ومعالجتها بكفاءة في البيئة الموزعة على نطاق واسع هي مشكلة رئيسية في خط أنابيب استخراج ميزة الصورة. تواجه الحلول الحالية القائمة على GPU تحديات أخرى في حل متطلبات السيناريوهات المذكورة أعلاه: يستغرق تنزيل البيانات وقتًا طويلاً ، ولا يمكن للمخطط المستند إلى GPU تحسينه جيدًا. بالنسبة لبيانات الصورة في قاعدة البيانات مفتوحة المصدر الموزعة ، فإن عملية معالجة البيانات المبكرة لنظام GPU معقدة للغاية ، وليس هناك إطار البرمجيات ناضجة لإدارة الموارد ، ومعالجة البيانات الموزعة وإدارة التسامح مع الأخطاء.

نظرًا لقيود برنامج GPU وإطار الأجهزة ، من الصعب للغاية توسيع مخطط GPU للتعامل مع الصور واسعة النطاق. مخطط تكامل Bigdl في بيئة الإنتاج ، سيؤدي استخدام مرافق البرامج والأجهزة الحالية إلى تحسين كفاءة الإنتاج بشكل كبير (مثل تقليل R & د وقت المنتجات الجديدة) وتقليل التكلفة. في هذه الحالة ، يتم تخزين البيانات على قاعدة بيانات المصدر المفتوح الموزع الرئيسي في مجموعة البيانات الكبيرة. إذا كان بإمكان تطبيق التعلم العميق استخدام مجموعة البيانات الضخمة الحالية (مثل مجموعة Hadoop أو spark cluster) للحوسبة ، فيمكنه حل التحديات المذكورة أعلاه بسهولة.

مشروع Bigdl مفتوح المصدر المفتوح [3] هو إطار عمل تعليمي عميق موزع على الشرارة ، والذي يوفر دعمًا شاملاً لخوارزمية التعلم العميق. يمكن تمديد Bigdl بسهولة إلى مئات أو آلاف العقد مع قابلية التوسع الموزعة لمنصة الشرارة. في الوقت نفسه ، يستخدم bigdl مكتبة الحوسبة الرياضية Intel MKL وتكنولوجيا الحوسبة المتوازية لتحقيق أداء عالٍ على خادم Intel Xeon (يمكن أن تكون قوة الحوسبة قابلة للمقارنة بأداء وحدة معالجة الرسومات السائدة). في سيناريو لدينا ، يتم تخصيص bigdl لدعم النماذج المختلفة (الكشف والتصنيف) ؛ يتم زرع النموذج من كونه قابلاً للتطبيق فقط على بيئة محددة إلى بيئة بيانات كبيرة كبيرة تدعم النموذج العام (مقهى ، شعلة ، tensorflow) ؛ تم تحسين وتسريع عملية خط الأنابيب بالكامل. يظهر في الشكل 1 خط أنابيب لاستخراج الميزات في بيئة الشرارة من خلال bigdl في الشكل 1:

استخدم شرارة لقراءة مئات الملايين من الصور الأصلية من قاعدة البيانات المفتوحة المصدر الموزعة وبناء شرارة RDDUse لمعالجة الصور مسبقًا ، بما في ذلك تغيير الحجم وطرح القيمة المتوسطة وتأليف البيانات في batchباستخدام bigdl لتحميل نموذج SSD ، يتم الكشف عن الهدف واسع النطاق والموزع على الصورة من خلال الشرارة ، ويتم الحصول على سلسلة من إحداثيات الكشف والعشرات المقابلة

يتم الاحتفاظ بنتيجة الكشف ذات الدرجات الأعلى كهدف للموضوع ، ويتم الحصول على الصورة المستهدفة عن طريق قطع الصورة الأصلية وفقًا للمنسقين للكشف عن معالجة RDD للهدف يتم استخدام الصورة ، بما في ذلك تغيير الحجم ، لتشكيل batchBigdl لتحميل نموذج deepbit ، ويتم استخدام الشرارة لاستخراج الميزات الموزعة للصورة المستهدفة المكتشفة للحصول على المقابلة ميزات

يتم تخزين نتائج الكشف (ميزة الهدف المستخرجة RDD) على HDFSيمكن تنفيذ خط أنابيب تحليل البيانات بالكامل ، بما في ذلك قراءة البيانات وتقسيم البيانات والمعالجة المسبقة والتنبؤ وتخزين النتائج ، بسهولة في شرارة من خلال bigdl. في مجموعة البيانات الكبيرة الحالية (Hadoop / spark) ، يمكن للمستخدمين تشغيل تطبيقات التعلم العميق باستخدام bigdl دون تعديل أي تكوين عنقودي. علاوة على ذلك ، يمكن بسهولة تمديد bigdl إلى عدد كبير من العقد والمهام باستخدام قابلية التوسع العالية لمنصة الشرارة ، لذلك فهي تسرع بشكل كبير من عملية تحليل البيانات. بالإضافة إلى دعم التعلم العميق الموزع ، يوفر bigdl أيضًا العديد من الأدوات سهلة الاستخدام ، مثل مكتبة معالجة الصور ، وأدوات تحميل النماذج (بما في ذلك نماذج التحميل من إطار التعلم العميق من طرف ثالث) ، وهو أكثر ملاءمة للمستخدمين لبناء خط الأنابيب بأكمله.

يوفر Image preprocessingBigdl مكتبة معالجة الصور [4] استنادًا إلى OpenCV [5] ، والذي يدعم العديد من وظائف تحويل الصور الشائعة وتحسين الصورة. يمكن للمستخدمين بسهولة استخدام هذه الوظائف الأساسية لبناء خط أنابيب المعالجة المسبقة للصور. بالإضافة إلى ذلك ، يمكن للمستخدمين أيضًا استدعاء وظيفة opencv التي توفرها المكتبة لتشغيل تحويل الصور المخصص. يقوم خط أنابيب المعالجة المسبقة لهذه العينة بتحويل RDD الأصلي إلى دفعة RDD من خلال سلسلة من التحولات. من بينها ، يحول bytomat صورة البايت إلى تنسيق تخزين حصيرة OpenCV ، ويضبط حجم الصورة إلى 300 × 300 ، ويحفظ matofloats البكسل في حصيرة في شكل مصفوفة تعويم ويطرح متوسط قيمة القناة المقابلة. أخيرًا ، يشكل roiimagetobatch البيانات في دفعة ، والتي يتم استخدامها كمدخل للنموذج للتنبؤ أو التدريب.

يمكن لموديل التحميل للمستخدمين بسهولة استخدام bigdl لتحميل النموذج المدرب مسبقًا واستخدامه مباشرة في Spark Program. بالنظر إلى ملف نموذج bigdl ، يمكنك استدعاء الوحدة. load للحصول على النموذج. بالإضافة إلى ذلك ، يدعم bigdl أيضًا استيراد نماذج إطار التعلم العميق من طرف ثالث ، مثل الكافي والشعلة و tensorflow.

يمكن للمستخدمين تحميل النموذج المدرب بسهولة للتنبؤ بالبيانات واستخراج الميزات وضبط النموذج وما إلى ذلك. مع أخذ الكافيين كمثال ، يتكون نموذج كافي من ملفين ، ملف تعريف نموذج prototext وملف معلمة النموذج. كما هو موضح أدناه ، يمكن للمستخدمين بسهولة تحميل نموذج كافي المدرّب مسبقًا في برامج شرارة و bigdl. performance We cluster أداء حل مجموعة GPU استنادًا إلى Case وحل مجموعة Xeon استنادًا إلى bigdl. يتم تشغيل الاختبارات في بيئة الكتلة الداخلية لـ JD.

Test standardEnd لإنهاء معالجة الصور وتحليلها ، بما في ذلك: قراءة الصور من قاعدة البيانات مفتوحة المصدر الموزعة (تنزيل الصور من مصدر الصورة إلى الذاكرة)

المدخلات في نموذج الكشف عن الهدف ونموذج استخراج الميزات لاستخراج الميزة حفظ النتائج (مسارات الصورة والميزات) إلى نظام الملف ملاحظة: أصبح عامل التنزيل عاملاً مهمًا يؤثر على الإنتاجية الشاملة من النهاية إلى النهاية. في هذه الحالة ، يمثل هذا الجزء من وقت المعالجة حوالي نصف إجمالي وقت المعالجة (ميزات الكشف عن التنزيل). لا يمكن لخادم GPU استخدام GPU لتسريع معالجة التنزيل.

اختبار GPU البيئي: NVIDIA Tesla K40 ، تم تنفيذ 20 بطاقة وحدة المعالجة المركزية المتوافق: Intel (R) Xeon (R) e5-2650 وحدة المعالجة المركزية V4 @ 2.20GHz ، 1200 النوى المنطقية في المجموع (يحتوي كل خادم على 24 نوى فيزيائية ، ويمكّن من إجراء خيوط فائقة ، ويتم تهيئتها على أنها 50 نوى منطقية من الغزل)

تظهر نتيجة الاختبار الشكل 2 أن إنتاجية كافي لـ 20 K40 صورة معالجة متزامنة تبلغ حوالي 540 صورة/ثانية ، في حين أن إنتاجية bigdl على مجموعة الغزل (Xeon) مع 1200 نوى منطقية حوالي 2070 صورة/ثانية. يبلغ معدل إنتاجية bigdl على مجموعة Xeon حوالي 3.83 مرة من مجموعة GPU ، مما يقصر إلى حد كبير وقت معالجة الصور واسعة النطاق. تظهر نتائج الاختبار أن bigdl يوفر دعمًا أفضل في تطبيقات استخراج ميزات الصور على نطاق واسع. تساعد قابلية التوسع العالية في Bigdl والأداء العالي وسهولة الاستخدام JD على التعامل بسهولة أكبر مع النمو الهائل والمتفجر لمقياس الصورة. استنادًا إلى نتائج الاختبار هذه ، تقوم JD بترقية تنفيذ استخراج ميزة صورة كافي استنادًا إلى مجموعة GPU إلى مخطط bigdl استنادًا إلى مجموعة Xeon ونشرها لإشعال بيئة إنتاج الكتلة.

يقارن الشكل 2 إنتاجية K40 و Xeon في ميزة استخراج ميزة الصورة pipelineBigdl العالية والأداء العالي وسهولة الاستخدام تساعد JD على استخدام تقنية التعلم العميق بسهولة أكبر لمعالجة الصور الضخمة. سيستمر JD في تطبيق bigdl على مجموعة واسعة من تطبيقات التعلم المتعمق ، مثل التدريب النموذجي الموزع. اقتباس

[1]. Liu ، Wei ، وآخرون. SSD: كاشف MulTIbox طلقة واحدة. المؤتمر الأوروبي حول رؤية الكمبيوتر. سبرينغر ، شام ، 2016.[2]. لين ، كيفن ، وآخرون. تعلم الواصفات الثنائية المدمجة مع شبكات عصبية عميقة غير خاضعة للإشراف. وقائع مؤتمر IEEE حول رؤية الكمبيوتر والتعرف على الأنماط ، 2016.[3]. Https://github.com/intel-analyTIcs/BigDL

[4]. Https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision[5].