Spark اور Bigdl پر مبنی گہری سیکھنے والی ٹیکنالوجی کا کیس تجزیہ

یہ مقالہ بنیادی طور پر چنگاری اور بگ ڈی ایل ڈیپ لرننگ ٹکنالوجی پر مبنی بڑے پیمانے پر تصویری خصوصیت نکالنے کے فریم ورک کی تعمیر میں Intel اور JD کے عملی تجربے کا اشتراک کرتا ہے۔ بیک گراؤنڈ امیج فیچر نکالنے کو اسی طرح کی تصویروں کی بازیافت، ڈی ڈپلیکیشن وغیرہ میں بڑے پیمانے پر استعمال کیا جاتا ہے۔ بگ ڈی ایل فریم ورک (جس کا ذکر بعد میں کیا جائے گا) استعمال کرنے سے پہلے، ہم نے بالترتیب ملٹی مشین، ملٹی جی پی یو کارڈ اور جی پی یو کلسٹر پر فیچر ایکسٹرکشن ایپلی کیشنز تیار کرنے اور ان کو تعینات کرنے کی کوشش کی۔ تاہم، مندرجہ بالا فریم ورک کے واضح نقصانات ہیں۔:

GPU کلسٹر میں، GPU کارڈ پر مبنی وسائل کی تقسیم کی حکمت عملی بہت پیچیدہ ہے، اور وسائل کی تقسیم میں مسائل کا سامنا ہے، جیسے کہ ویڈیو میموری کی ناکافی باقی رہنا، جس کے نتیجے میں اوم اور ایپلیکیشن کریش ہو جاتی ہے۔ سنگل مشین کی صورت میں، مقابلے میں کلسٹر موڈ، ڈویلپرز کو دستی طور پر ڈیٹا فریگمنٹیشن، لوڈ اور فالٹ ٹولرنس کرنے کی ضرورت ہوتی ہے۔ GPU موڈ کا اطلاق، Caffe کو ایک مثال کے طور پر لیتے ہوئے، CUDA سمیت بہت سے انحصارات ہیں، جو تعیناتی اور دیکھ بھال کی دشواری کو بڑھاتا ہے۔ مثال کے طور پر، جب آپریٹنگ سسٹم کے مختلف ورژنز اور جی سی سی ورژنز میں مسائل ہوتے ہیں، تو انہیں دوبارہ کمپائل اور پیک کرنے کی ضرورت ہوتی ہے۔

مندرجہ بالا مسائل GPU پر مبنی فارورڈ پروگرام کو فن تعمیر میں بہت سے تکنیکی ایپلی کیشن چیلنجوں کا سامنا کرتے ہیں۔

آئیے خود منظر کا جائزہ لیتے ہیں۔ چونکہ بہت سی تصویروں کا پس منظر پیچیدہ ہوتا ہے اور موضوعی اشیاء کا تناسب عموماً چھوٹا ہوتا ہے، فیچر نکالنے کی درستگی پر پس منظر کی مداخلت کو کم کرنے کے لیے، موضوع کو تصویر سے الگ کرنے کی ضرورت ہے۔ قدرتی طور پر، تصویر کی خصوصیت نکالنے کے فریم ورک کو دو مراحل میں تقسیم کیا گیا ہے۔ سب سے پہلے، ہدف کا پتہ لگانے والے الگورتھم کے ذریعہ ہدف کا پتہ لگایا جاتا ہے، اور پھر ہدف کی خصوصیت کو خصوصیت نکالنے والے الگورتھم کے ذریعہ نکالا جاتا ہے۔ یہاں، ہم ہدف کا پتہ لگانے کے لیے SSD [1] (سنگل شاٹ ملٹی باکس ڈیٹیکٹر) اور ڈیپ بٹ [2] نیٹ ورک فیچر نکالنے کے لیے استعمال کرتے ہیں۔

Jingdong کے پاس مین اسٹریم میں تقسیم شدہ اوپن سورس ڈیٹا بیس میں پروڈکٹ کی بڑی تعداد میں (لاکھوں سے زیادہ) پروڈکٹ کی تصاویر ہیں۔ لہذا، بڑے پیمانے پر تقسیم شدہ ماحول میں ڈیٹا کو مؤثر طریقے سے بازیافت اور اس پر کارروائی کرنے کا طریقہ تصویری خصوصیت نکالنے والی پائپ لائن کا ایک اہم مسئلہ ہے۔ موجودہ GPU پر مبنی حل کو مندرجہ بالا حالات کی ضروریات کو حل کرنے میں دیگر چیلنجوں کا سامنا ہے: ڈیٹا ڈاؤن لوڈ کرنے میں کافی وقت لگتا ہے، اور GPU پر مبنی اسکیم اسے بہتر نہیں بنا سکتی۔ تقسیم شدہ اوپن سورس ڈیٹا بیس میں تصویری ڈیٹا کے لیے، ابتدائی ڈیٹا GPU اسکیم کی پروسیسنگ کا عمل بہت پیچیدہ ہے، اور وسائل کے انتظام، تقسیم شدہ ڈیٹا پروسیسنگ اور فالٹ ٹولرنس مینجمنٹ کے لیے کوئی پختہ سافٹ ویئر فریم ورک نہیں ہے۔

GPU سافٹ ویئر اور ہارڈویئر فریم ورک کی حدود کی وجہ سے، بڑے پیمانے پر تصاویر سے نمٹنے کے لیے GPU سکیم کو بڑھانا بہت مشکل ہے۔Bigdl انٹیگریشن سکیم پیداواری ماحول میں، موجودہ سافٹ ویئر اور ہارڈ ویئر کی سہولیات کا استعمال پیداواری کارکردگی کو بہت بہتر بنائے گا (جیسے آر کو کم کرنا & نئی مصنوعات کا وقت) اور لاگت کو کم کریں۔ اس صورت میں، ڈیٹا کو بڑے ڈیٹا کلسٹر میں مین اسٹریم ڈسٹری بیوٹڈ اوپن سورس ڈیٹا بیس پر اسٹور کیا جاتا ہے۔ اگر ڈیپ لرننگ ایپلی کیشن موجودہ بگ ڈیٹا کلسٹر (جیسے ہڈوپ یا اسپارک کلسٹر) کو کمپیوٹنگ کے لیے استعمال کر سکتی ہے، تو یہ مندرجہ بالا چیلنجز کو آسانی سے حل کر سکتی ہے۔

انٹیل کا اوپن سورس bigdl پروجیکٹ [3] چنگاری پر ایک تقسیم شدہ ڈیپ لرننگ فریم ورک ہے، جو جامع ڈیپ لرننگ الگورتھم سپورٹ فراہم کرتا ہے۔ بگ ڈی ایل کو اسپارک پلیٹ فارم کی تقسیم شدہ اسکیل ایبلٹی کے ساتھ آسانی سے سینکڑوں یا ہزاروں نوڈس تک بڑھایا جا سکتا ہے۔ ایک ہی وقت میں، Bigdl Intel Xeon سرور پر اعلیٰ کارکردگی حاصل کرنے کے لیے Intel MKL ریاضیاتی کمپیوٹنگ لائبریری اور متوازی کمپیوٹنگ ٹیکنالوجی کا استعمال کرتا ہے (کمپیوٹنگ پاور کا موازنہ مین اسٹریم GPU کی کارکردگی سے کیا جا سکتا ہے)۔ ہمارے منظر نامے میں، bigdl کو مختلف ماڈلز کو سپورٹ کرنے کے لیے اپنی مرضی کے مطابق بنایا گیا ہے۔ (پشن اور درجہ بندی)؛ ماڈل کو صرف مخصوص ماحول پر لاگو ہونے سے لے کر عام ماڈل (کیفے، ٹارچ، ٹینسر فلو) کی حمایت کرنے والے بگ ڈی ایل بگ ڈیٹا ماحول میں ٹرانسپلانٹ کیا جاتا ہے۔ پائپ لائن کے پورے عمل کو بہتر اور تیز کر دیا گیا ہے۔ بگ ڈی ایل کے ذریعے چنگاری ماحول میں فیچر نکالنے کے لیے پائپ لائن کو تصویر میں دکھایا گیا ہے۔ 1:

تقسیم شدہ اوپن سورس ڈیٹا بیس سے لاکھوں اصل تصاویر کو پڑھنے کے لیے چنگاری کا استعمال کریں اور تصویروں کو پہلے سے پروسیس کرنے کے لیے RDDUse چنگاری بنائیں، بشمول سائز تبدیل کرنا، اوسط قدر کو گھٹانا، اور ڈیٹا کو بیچ میں کمپوز کرنا، SSD ماڈل لوڈ کرنے کے لیے bigdl کا استعمال کرتے ہوئے، بڑے پیمانے پر اور تقسیم چنگاری کے ذریعے تصویر پر ہدف کا پتہ لگایا جاتا ہے، اور پتہ لگانے کے نقاط کی ایک سیریز اور اس سے متعلقہ اسکور حاصل کیے جاتے ہیں۔

سب سے زیادہ اسکور کے ساتھ پتہ لگانے کے نتیجے کو موضوع کے ہدف کے طور پر برقرار رکھا جاتا ہے، اور ٹارگٹ امیج اصل تصویر کو کھوج کے نقاط کے مطابق کاٹ کر حاصل کی جاتی ہے ماڈل، اور چنگاری کا استعمال متعلقہ خصوصیات کو حاصل کرنے کے لیے شناخت شدہ ہدف کی تصویر کی تقسیم شدہ خصوصیات کو نکالنے کے لیے کیا جاتا ہے۔

پتہ لگانے کے نتائج (ایکسٹریکٹڈ ٹارگٹ فیچر RDD) HDFS پر محفوظ کیے جاتے ہیں پوری ڈیٹا اینالیسس پائپ لائن، بشمول ڈیٹا ریڈنگ، ڈیٹا پارٹیشننگ، پری پروسیسنگ، پیشین گوئی اور رزلٹ سٹوریج کو آسانی سے بگ ڈی ایل کے ذریعے چنگاری میں لاگو کیا جا سکتا ہے۔ موجودہ بگ ڈیٹا کلسٹر (ہڈوپ/چنگاری) پر، صارفین بغیر کسی کلسٹر کنفیگریشن میں ترمیم کیے بگ ڈی ایل کا استعمال کرتے ہوئے ڈیپ لرننگ ایپلی کیشنز چلا سکتے ہیں۔ مزید برآں، بگ ڈی ایل کو چنگاری پلیٹ فارم کی اعلی اسکیل ایبلٹی کا استعمال کرتے ہوئے بڑی تعداد میں نوڈس اور کاموں تک آسانی سے بڑھایا جا سکتا ہے، اس لیے یہ ڈیٹا کے تجزیہ کے عمل کو بہت تیز کرتا ہے۔ استعمال کرنے کے لیے ٹولز، جیسے امیج پری پروسیسنگ لائبریری، ماڈل لوڈنگ ٹولز (بشمول تھرڈ پارٹی ڈیپ لرننگ فریم ورک کے لوڈنگ ماڈل)، جو صارفین کے لیے پوری پائپ لائن بنانے میں زیادہ آسان ہے۔

Image preprocessingBigdl ایک امیج پری پروسیسنگ لائبریری فراہم کرتا ہے [4] OpenCV کی بنیاد پر [5]، جو مختلف عام امیج کنورژن اور امیج اینہانسمنٹ فنکشنز کو سپورٹ کرتا ہے۔ صارف ان بنیادی افعال کو آسانی سے امیج پری پروسیسنگ پائپ لائن بنانے کے لیے استعمال کر سکتے ہیں۔ اس کے علاوہ، صارف اپنی مرضی کے مطابق تصویری تبدیلی کو چلانے کے لیے لائبریری کی طرف سے فراہم کردہ اوپن سی وی فنکشن کو بھی کال کر سکتے ہیں۔ اس نمونے کی پری پروسیسنگ پائپ لائن تبدیلیوں کی ایک سیریز کے ذریعے اصل RDD کو بیچ RDD میں تبدیل کرتی ہے۔ ان میں سے، بائٹ پکچر کو بائٹ پکچر کو OpenCV کے میٹ اسٹوریج فارمیٹ میں تبدیل کرتا ہے، سائز تبدیل کرکے تصویر کے سائز کو 300x300 میں ایڈجسٹ کرتا ہے، اور میٹوفلوٹس میٹ میں پکسلز کو فلوٹ اری کی شکل میں محفوظ کرتا ہے اور متعلقہ چینل کی اوسط قدر کو گھٹا دیتا ہے۔ آخر میں، roiimagetobatch ڈیٹا کو ایک بیچ میں بناتا ہے، جو پیشین گوئی یا تربیت کے لیے ماڈل کے ان پٹ کے طور پر استعمال ہوتا ہے۔

ماڈل لوڈ ہو رہا ہے صارفین پہلے سے تربیت یافتہ ماڈل کو لوڈ کرنے اور اسے براہ راست اسپارک پروگرام میں استعمال کرنے کے لیے آسانی سے bigdl کا استعمال کر سکتے ہیں۔ bigdl ماڈل فائل کو دیکھتے ہوئے، آپ ماڈل حاصل کرنے کے لیے module.load پر کال کر سکتے ہیں۔ اس کے علاوہ، bigdl تھرڈ پارٹی ڈیپ لرننگ فریم ورک ماڈلز، جیسے کیفے، ٹارچ اور ٹینسر فلو کی درآمد کو بھی سپورٹ کرتا ہے۔

صارفین ڈیٹا کی پیشن گوئی، فیچر نکالنے، ماڈل فائن ٹیوننگ وغیرہ کے لیے تربیت یافتہ ماڈل کو آسانی سے لوڈ کر سکتے ہیں۔ Caffe کو مثال کے طور پر لیتے ہوئے، Caffe کا ماڈل دو فائلوں پر مشتمل ہے، ماڈل پروٹو ٹیکسٹ ڈیفینیشن فائل اور ماڈل پیرامیٹر فائل۔ جیسا کہ ذیل میں دکھایا گیا ہے، صارفین پہلے سے تربیت یافتہ کیفے ماڈل کو آسانی سے اسپارک اور بگ ڈی ایل پروگراموں میں لوڈ کر سکتے ہیں۔ کارکردگی ہم کیفے پر مبنی GPU کلسٹر حل اور bigdl پر مبنی Xeon کلسٹر حل کی کارکردگی کو بینچ مارک کرتے ہیں۔ ٹیسٹ JD کے اندرونی کلسٹر ماحول میں چل رہے ہیں۔

ٹیسٹ سٹینڈرڈ اینڈ ٹو اینڈ پکچر پروسیسنگ اور تجزیہ پائپ لائن، بشمول: ڈسٹری بیوٹڈ اوپن سورس ڈیٹا بیس سے تصویریں پڑھیں (تصاویر کے ماخذ سے میموری میں تصویریں ڈاؤن لوڈ کریں)

ٹارگٹ ڈیٹیکشن ماڈل میں ان پٹ اور فیچر نکالنے کے لیے فیچر ایکسٹرکشن ماڈل نتائج (تصویر کے راستے اور خصوصیات) کو فائل سسٹم میں محفوظ کریں نوٹ: ڈاؤن لوڈ فیکٹر ایک اہم عنصر بن گیا ہے جو مجموعی طور پر اینڈ ٹو اینڈ تھرو پٹ کو متاثر کرتا ہے۔ اس صورت میں، پروسیسنگ ٹائم کا یہ حصہ کل پروسیسنگ وقت کا تقریباً نصف ہے (ڈاؤن لوڈ ڈیٹیکشن فیچرز)۔ GPU سرور GPU کو ڈاؤن لوڈ کرنے کی کارروائی کو تیز کرنے کے لیے استعمال نہیں کر سکتا۔

ٹیسٹنگ ماحول جی پی یو: NVIDIA Tesla K40، 20 کارڈز ایک ساتھ چلائے گئے CPU: Intel (R) Xeon (R) CPU e5-2650 V4 @ 2.20GHz، کل 1200 منطقی کور (ہر سرور میں 24 فزیکل کور ہیں، اسے قابل بناتا ہے اور ہائپر تھریڈنگ کو کنفیگر کیا جاتا ہے۔ سوت کے 50 منطقی کور)

ٹیسٹ کا نتیجہ شکل 2 سے پتہ چلتا ہے کہ 20 K40 کنکرنٹ پروسیسنگ پکچرز کا Caffe کا تھرو پٹ تقریباً 540 تصاویر/s ہے، جب کہ 1200 منطقی کور کے ساتھ یارن (Xeon) کلسٹر پر bigdl کا تھرو پٹ تقریباً 2070 تصاویر/s ہے۔ Xeon کلسٹر پر bigdl کا تھرو پٹ GPU کلسٹر کے مقابلے میں تقریباً 3.83 گنا ہے، جو بڑے پیمانے پر امیجز کے پروسیسنگ کے وقت کو بہت کم کر دیتا ہے۔ ٹیسٹ کے نتائج بتاتے ہیں کہ bigdl بڑے پیمانے پر امیج فیچر نکالنے والی ایپلی کیشنز میں بہتر مدد فراہم کرتا ہے۔ Bigdl کی اعلیٰ اسکیل ایبلٹی، اعلیٰ کارکردگی اور استعمال میں آسانی JD کو تصویری پیمانے کی بڑے پیمانے پر اور دھماکہ خیز نمو سے آسانی سے نمٹنے میں مدد کرتی ہے۔ اس طرح کے ٹیسٹ کے نتائج کی بنیاد پر، JD GPU کلسٹر پر مبنی Caffe امیج فیچر ایکسٹرکشن کے نفاذ کو Xeon کلسٹر کی بنیاد پر bigdl اسکیم میں اپ گریڈ کر رہا ہے اور اسے کلسٹر پروڈکشن ماحول کو چمکانے کے لیے تعینات کر رہا ہے۔

تصویر 2 تصویری خصوصیت نکالنے والی پائپ لائن میں K40 اور Xeon کے تھرو پٹ کا موازنہ کریںBigdl کی اعلیٰ اسکیل ایبلٹی، اعلی کارکردگی اور استعمال میں آسانی JD کو بڑی تصاویر پر کارروائی کرنے کے لیے گہری سیکھنے کی ٹیکنالوجی کو آسانی سے استعمال کرنے میں مدد کرتی ہے۔ JD گہرائی سے سیکھنے کی ایپلی کیشنز کی وسیع رینج پر bigdl کا اطلاق جاری رکھے گا، جیسے کہ تقسیم شدہ ماڈل ٹریننگ۔ quote

[1]. ▁ لی کو ، ▁ ہ ل SSD: سنگل شاٹ ملٹی باکس ڈیٹیکٹر۔ کمپیوٹر وژن پر یورپی کانفرنس۔ ▁اس کو ر ، ▁شر ک م ، ▁... [2]. ▁ لی ن ، ▁کی فی ن ، ▁ای ٹ ل. غیر زیر نگرانی گہرے نیورل نیٹ ورکس کے ساتھ کمپیکٹ بائنری ڈسکرپٹرز سیکھنا۔ کمپیوٹر ویژن اور پیٹرن ریکگنیشن، 2016 پر آئی ای ای ای کانفرنس کی کارروائی۔[3]۔ https://github.com/intel-analyTIcs/BigDL

[4]. https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision[5]۔