ការ វិភាគ ករណី នៃ ទូរស័ព្ទ សិក្សា កម្រិត ដែល មាន មូលដ្ឋាន លើ Spark និង Bigdl

ក្រដាស នេះ ជា ឧទាហរណ៍ ចែក រំលែក បទ ពិសោធន៍ របស់ Intel និង JD ក្នុង ការ ស្ថាបនា គ្រោងការណ៍ លក្ខណៈ ពិសេស ស្រង់ រូបភាព មាត្រដ្ឋាន ធំ ដែល មាន មូលដ្ឋាន លើ បាត k និង bigdl បណ្ដាញ សិក្សា កម្រិត ។ backgroundImage លក្ខណៈ ពិសេស ស្រង់ ចេញ ត្រូវ បាន ប្រើ ទូទៅ ក្នុង ការ ទៅ យក រូបភាព ស្រដៀង គ្នា, de duplication and tra ។ មុន ពេល ប្រើ គ្រោងការណ៍ bigdl បាន កាត GPU ច្រើន និង គំរូ របស់ GPU ។ ទោះ ជា យ៉ាង ណា ក៏ ដោយ គ្រោងការណ៍ ខាង លើ មាន ភាព ត្រឹមត្រូវ ៖

នៅ ក្នុង GPU ក្បៀស គ្រោងការណ៍ ការ បម្រុង ទុក ធនធាន ដែល មាន មូលដ្ឋាន លើ កាត GPU គឺ សំខាន់ បំផុត ។ និង ការ បម្រុង ទុក ធនធាន គឺ មាន លទ្ធផល ចំពោះ បញ្ហា ដូចជា សតិ វីដេអូ ដែល មិន គ្រប់គ្រាន់ ដោយ លទ្ធផល របស់ oom និង គាំង កម្មវិធី ។ ក្នុង ករណី របស់ ម៉ាស៊ីន តែ មួយ ដែល ប្រៀបធៀប ជាមួយ របៀប ក្បឿង អ្នក អភិវឌ្ឍន៍ ត្រូវការ ធ្វើ ការ បំបែក ទិន្នន័យ ដោយ ដៃ ។ ផ្ទុក និង ភាព ត្រឹមត្រូវ កំហុស ។ កម្មវិធី របស់ របៀប GPU ដែល យក Caffe ជា ឧទាហរណ៍ មាន ភាព អាស្រ័យ ច្រើន រួម បញ្ចូល CUDA ដែល បង្កើន ភាព ពិបាក នៃ ការ វាយ និង ថែទាំ ។ ឧទាហរណ៍ ពេល មាន បញ្ហា ជាមួយ កំណែ ប្រព័ន្ធ ប្រតិបត្តិការ ផ្សេងៗ និង កំណែ GCC ពួក វា ត្រូវ បាន ចែក ឡើងវិញ និង កញ្ចប់ ។

បញ្ហា ខាង លើ បង្កើត កម្មវិធី បញ្ជូន បន្ត ដែល មាន មូលដ្ឋាន លើ GPU ជួសជុល បញ្ហា របស់ កម្មវិធី ទូរស័ព្ទ ច្រើន ក្នុង ប័ណ្ណសារ ។

សូម មើល ទិដ្ឋភាព ខ្លួន ។ ពីព្រោះ ផ្ទៃ ខាងក្រោយ របស់ រូបភាព ច្រើន គឺ ជា សមុទ្រ និង សមាសភាគ នៃ វត្ថុ ប្រធានបទ ជា ធម្មតា តូច ។ ដើម្បី បន្ថយ ការ បិទ ផ្ទៃ ខាងក្រោយ លើ ភាព ត្រឹមត្រូវ នៃ ការ ស្រង់ លក្ខណៈ ពិសេស ប្រធាន បទ ត្រូវ តែ បំបែក ពី រូបភាព ។ ជា ធម្មតា គ្រោងការណ៍ នៃ ការ ស្រង់ លក្ខណៈ ពិសេស រូបភាព ត្រូវ បាន ចែក ទៅ ក្នុង ជំហាន ពីរ ។ ដំបូង គោលដៅ ត្រូវ បាន រក ឃើញ តាម ក្បួន រក គោលដៅ ។ ហើយ បន្ទាប់ មក លក្ខណៈ ពិសេស គោលដៅ ត្រូវ បាន ស្រង់ ចេញ ដោយ ក្បួន ដោះស្រាយ លក្ខណៈ ពិសេស ។ នៅ ទីនេះ យើង ប្រើ SSD [1] (កម្មវិធី រកឃើញ ប្រអប់ ច្រើន Shot) សម្រាប់ ការ រក គោលដៅ និង បណ្ដាញ deepbit [2] សម្រាប់ ការ ស្រង់ លក្ខណៈ ពិសេស ។

Jingdong មាន ចំនួន ចំនួន ធំ (ច្រើន ជាង ច្រើន ចម្រៀក) ក្នុង មូលដ្ឋាន ទិន្នន័យ ប្រភព បណ្ដាញ ដែល បាន ចែកចាយ មេ ។ ដូច្នេះ ៖ របៀប ទៅ យក និង ដំណើរការ ទិន្នន័យ ដោយ ប្រយោជន៍ ក្នុង បរិស្ថាន ដែល បាន ចែកចាយ ធំ គឺ ជា បញ្ហា គន្លឹះ នៃ លក្ខណៈ ពិសេស រូបភាព ។ ការ ផ្អែក លើ GPU ដែល មាន ដំណោះស្រាយ បញ្ហា ផ្ទាល់ ខ្លួន ក្នុង ការ ដោះស្រាយ ការ ទាមទារ ខាង លើ ៖ ការ ទាញយក ទិន្នន័យ ត្រូវការ ពេលវេលា ច្រើន ។ និង គ្រោងការណ៍ ដែល មាន មូលដ្ឋាន លើ GPU មិន អាច ធ្វើ ឲ្យ វា ងាយស្រួល ល្អ ។ សម្រាប់ ទិន្នន័យ រូបភាព នៅ ក្នុង មូលដ្ឋាន ទិន្នន័យ ប្រភព បើក ដែល បាន ចែកចាយ ដំណើរការ ទិន្នន័យ ដំបូង នៃ គ្រោងការណ៍ GPU គឺ ជា សមុទ្រ បំផុត ។ ហើយ គ្មាន គ្រោងការណ៍ កម្មវិធី ប៉ះពាល់ សម្រាប់ ការ គ្រប់គ្រង ធនធាន ដែល ចែកចាយ ដំណើរការ ទិន្នន័យ និង ការ គ្រប់គ្រង ភាព កំហុស ។

ដោយ ដែន កំណត់ របស់ កម្មវិធី GPU និង គ្រោងការណ៍ ផ្នែក រឹង ។ វា ជា ការ ពិបាក ពង្រីក គ្រោងការណ៍ GPU ដើម្បី ចែក ជាមួយ រូបភាព មាត្រ ធំ ។ គ្រោងការណ៍ រួម បញ្ចូល BigdlIn the production environment, ដោយ ប្រើ កម្មវិធី ដែល មាន ស្រាប់ និង សម័យ ផ្នែក រឹង នឹង ធ្វើ ឲ្យ ប្រសើរ ភាព បង្កើត ផលិត ល្អ & ពេលវេលា D នៃ លទ្ធផល ថ្មី) និង បន្ថយ តម្លៃ ។ នៅ ក្នុង ករណី នេះ ទិន្នន័យ ត្រូវ បាន ទុក នៅ លើ មូលដ្ឋាន ទិន្នន័យ ប្រភព ដែល បាន ចែកចាយ មេ ជាន់ នៅ ក្នុង ក្រុម ទិន្នន័យ ធំ ។ ប្រសិន បើ កម្មវិធី សិក្សា កម្រិត អាច ប្រើ ភ្នែក ទិន្នន័យ ធំ ដែល មាន ស្រាប់ ( ដូចជា Hadoop ឬ គំនូស់ វា អាច ដោះស្រាយ បញ្ហា ខាង លើ ដោយ ងាយស្រួល ។

គម្រោង របស់ Intel source bigdl open [3] គឺ ជា គ្រោងការណ៍ សិក្សា កម្រិត ដែល បាន ចែកចាយ លើ spark ដែល ផ្ដល់ នូវ ការ គាំទ្រ ក្បឿន សិក្សា ជម្រៅ ។ Bigdl អាច ត្រូវ បាន ពង្រីក ងាយស្រួល ទៅ កាន់ ថ្នាក់ កណ្ដាល ឬ ចំណុច ប្រែ ជា មួយ នឹង មាត្រដ្ឋាន មាត្រដ្ឋាន ដែល បាន ចែកចាយ នៃ វេទិកា ។ នៅពេល តែ មួយ ។ bigdl ប្រើ បណ្ណាល័យ គណនី Intel MKL និង បណ្ណាល័យ កុំព្យូទ័រ កុំព្យូទ័រ ប៉ារ៉ាម៉ែល ដើម្បី ទទួល ការ ដំណើរការ ខ្ពស់ លើ ម៉ាស៊ីន បម្រើ Intel Xeon (comp) ថាមពល អាច ប្រៀបធៀប ជាមួយ នឹង ការ ប្រតិបត្តិការ GPU មេ ។ នៅ ក្នុង វិធីសាស្ត្រ របស់ យើង , bigdl ត្រូវ បាន ប្ដូរ តាម បំណង ដើម្បី គាំទ្រ ម៉ូដែល ផ្សេងៗ (ការ រក ឃើញ និង កា រកំណត់) ម៉ូឌុល ត្រូវ បាន បញ្ជូន ពី ការ អនុវត្ត តែ ទៅកាន់ បរិស្ថាន ជាក់លាក់ ទៅកាន់ បរិស្ថាន ទិន្នន័យ Bigdl ធំ ដែល គាំទ្រ ម៉ូឌុល ទូទៅ (កេស បណ្ដាញ , tensorflow) ដំណើរការ គូស បំណង ទាំងអស់ ត្រូវ បាន ធ្វើ ឲ្យ បង្កើន និង បង្កើន ល្បឿន ។ ភីលីព សម្រាប់ ការ ស្រង់ លក្ខណៈ ពិសេស ក្នុង បរិស្ថាន spark តាមរយៈ bigdl ត្រូវ បាន បង្ហាញ នៅ ក្នុង រូបតំណាង 1

ប្រើ spark ដើម្បី អាន រូបភាព ចម្រៀក ចម្រៀក ពី មូលដ្ឋាន ទិន្នន័យ ប្រភព ដែល បាន ចែកចាយ ហើយ សង់ RDDUse spark រូបភាព ដំណើរការ មុន រួម បញ្ចូល ការ ប្ដូរ ទំហំ ដក តម្លៃ មេរៀន និង ការ តែង ទិន្នន័យ ទៅ ក្នុង batchUsing bigdl ដើម្បី ផ្ទុក ម៉ូដែល SSD , ការ រក ឃើញ គោលដៅ ធំ និង ចែកចាយ ត្រូវ បាន បង្ហាញ លើ រូបភាព តាម រយៈ ផ្ទៃតង និង សៀវភៅ កូអរដោណេ និង ពិន្ទុ ដែល ទាក់ទង

លទ្ធផល រក ឃើញ ជាមួយ ពិន្ទុ ខ្ពស់ បំផុត ត្រូវ បាន ទុក ជា គោលដៅ ប្រធានបទ ។ និង រូបភាព គោលដៅ ត្រូវ បាន ទទួល ដោយ កាត់ រូបភាព ដើម យោង ទៅ តាម កូអរដោណេ ការ រក ឃើញPreprocess the RDD of the គោល បំណង រូបភាព រួម បញ្ចូល ការ ផ្លាស់ប្ដូរ ទំហំ ដើម្បី បង្កើត BatchBigdl ត្រូវ បាន ប្រើ ដើម្បី ផ្ទុក ម៉ូឌុល deepbit ។ និង spark ត្រូវ បាន ប្រើ ដើម្បី ចេញ លក្ខណៈ ពិសេស ដែល បាន ចែកចាយ របស់ រូបភាព គោលដៅ ដែល បាន រក ឃើញ ដើម្បី ទទួល យក ការ ទាក់ទង លក្ខណៈ ពិសេស

លទ្ធផល ការ រក ឃើញ (លក្ខណៈ ពិសេស គោលដៅ ដែល បាន ចេញ) ត្រូវ បាន ទុក នៅ លើ ភីលីន ទិន្នន័យ HDFSThe ទាំងមូល ។ រួម បញ្ចូល ការ អាន ទិន្នន័យ ការ ចែកចាយ ទិន្នន័យ ដំណើរការ មុន ការ ទិន្នន័យ និង ការ ផ្ទុក លទ្ធផល ។ អាច ត្រូវ បាន អនុវត្ត ដោយ ងាយស្រួល ក្នុង spark តាម រយៈ bigdl ។ នៅ លើ ភ្នែក ទិន្នន័យ ធំ (Hadoop / spark) អ្នក ប្រើ អាច រត់ កម្មវិធី សិក្សា ជម្រៅ ដោយ ប្រើ bigdl ដោយ គ្មាន mode កំពុង កំណត់ រចនា សម្ព័ន្ធ គំរូ ណាមួយ ។ បន្ថែម bigdl អាច ត្រូវ បាន ពង្រីក ងាយស្រួល ទៅកាន់ ចំនួន ថ្នាក់ និង ភារកិច្ច ធំ ដោយ ប្រើ មាត្រដ្ឋាន ខ្ពស់ នៃ វេទិកា spark ដូច្នេះ វា ល្បឿន ដំណើរការ ការ វិភាគ ទិន្នន័យ ច្រើន ។ បន្ថែម ទៅកាន់ ការ គាំទ្រ នៃ ការ សិក្សា កម្រិត ដែល បាន ចែកចាយ Bigdl ក៏ ផ្ដល់ ឧបករណ៍ ងាយស្រួល ដែល ត្រូវ ប្រើ ច្រើន ។ ដូចជា បណ្ណាល័យ មុន រូបភាព ឧបករណ៍ ផ្ទុក ម៉ូឌុល (រួម បញ្ចូល ការ ផ្ទុក ម៉ូដែល នៃ គ្រោងការណ៍ សិក្សា កម្រិត កម្រិត ខ្ពស់) ដែល មាន ងាយស្រួល សម្រាប់ អ្នក ប្រើ ដើម្បី ស្ថាបនា ទាំងអស់ pipeline ។

ដំណើរការ រូបភាព មុនBigdl ផ្ដល់ បណ្ណាល័យ ដំណើរការ រូបភាព មុន [4] មូលដ្ឋាន លើ OpenCV [5], ដែល គាំទ្រ ការ បម្លែង រូបភាព ទូទៅ ផ្សេងៗ អនុគមន៍ បង្កើន ។ អ្នក ប្រើ អាច ប្រើ មុខងារ មូលដ្ឋាន ទាំងនេះ យ៉ាង ងាយស្រួល ដើម្បី ស្ថាបនា ភ្ញៀវ ដំណើរការ រូបភាព មុន ។ បន្ថែម អ្នក ប្រើ អាច ហៅ អនុគមន៍ Opencv ដែល ផ្ដល់ ដោយ បណ្ណាល័យ ដើម្បី ប្រតិបត្តិ ការ បម្លែង រូបភាព ផ្ទាល់ខ្លួន ។ បំណង ដំណើរការ មុន នៃ គំរូ នេះ បម្លែង RDD ដើម ទៅ ជា ប៊ូតុង RDD តាមរយៈ ការ បម្លែង ។ ខ្ពស់ ពួក វា Bytetomat បម្លែង រូបភាព បៃ ទៅ ជា ទ្រង់ទ្រាយ ផ្ទុក របស់ OpenCV ។ ផ្លាស់ប្ដូរ ទំហំ លៃ តម្រូវ ទំហំ របស់ រូបភាព ទៅ កាន់ 300x300 ។ និង Mattofloats រក្សាទុក ភីកសែល នៅ ក្នុង ទ្រង់ទ្រាយ ទសភាគ និង ដក តម្លៃ មធ្យម របស់ ឆានែល ដែល ទាក់ទង ។ ចុង ចុង ក្រោយ roiimagetobatch បង្កើត ទិន្នន័យ ទៅ ក្នុង ថត ដែល ត្រូវ បាន ប្រើ ជា បញ្ចូល របស់ ម៉ូដែល សម្រាប់ ការ មើល ឬ បង្ហាត់ ។

ការ ផ្ទុក ModelUsers អាច ប្រើ bigdl ងាយស្រួល ដើម្បី ផ្ទុក ម៉ូដែល បាន បង្ហាត់ មុន និង ប្រើ វា ដោយ ផ្ទាល់ ក្នុង កម្មវិធី Spark ។ ដោយ ផ្ដល់ ឯកសារ ម៉ូឌុល bigdl អ្នក អាច ហៅ ម៉ូឌុល ។ ផ្ទុក ដើម្បី យក ម៉ូដែល ។ បន្ថែម, bigdl ក៏ គាំទ្រ ការ នាំចូល នៃ ម៉ូដែល គ្រោងការណ៍ សិក្សា កម្រិត ទីបី ដូចជា Caffe, បណ្ដុះ និង tensorflow ។

អ្នក ប្រើ អាច ផ្ទុក គំរូ ដែល បាន បង្ហាត់ ងាយស្រួល សម្រាប់ ការ ទិន្នន័យ ទិន្នន័យ ស្រង់ លក្ខណៈ ពិសេស, គំនូរ ម៉ូដែល ល្អ ដាក់ Caffe ជា ឧទាហរណ៍ ម៉ូឌុល របស់ Caffe មាន ឯកសារ ពីរ, ឯកសារ កំណត់ ហេតុ ពិធីក ម៉ូឌុល និង ឯកសារ ប៉ារ៉ាម៉ែត្រ ។ ដូច ដែល បាន បង្ហាញ ខាងក្រោម អ្នក ប្រើ អាច ផ្ទុក គំរូ របស់ Caffe ដែល បាន បង្ហាត់ មុន ដោយ ងាយស្រួល ក្នុង កម្មវិធី spark និង bigdl ។ ការ ប្រតិបត្តិការ បង្ហាញ របស់ ដំណោះស្រាយ GPU ដែល មាន មូលដ្ឋាន លើ Caffe និង Xeon cluster ដំណោះស្រាយ មូលដ្ឋាន លើ bigdl ។ ការ សាកល្បង កំពុង រត់ នៅ ក្នុង បរិស្ថាន ខាង ក្នុង របស់ JD ។

សាកល្បង ស្តង់ដារEnd to end ដំណើរការ រូបភាព និង វិភាគ pipeline រួម បញ្ចូល ៖ អាន រូបភាព ពី មូលដ្ឋាន ទិន្នន័យ ប្រភព បើក ដែល បាន ចែកចាយ (ទាញយក រូបភាព ពី ប្រភព រូបភាព ទៅ សតិ)

បញ្ចូល ទៅ ម៉ូដែល រកឃើញ គោលដៅ និង ម៉ូដែល ស្រង់ លក្ខណៈ ពិសេស សម្រាប់ ស្រង់ លក្ខណៈ ពិសេស ទៅ ប្រព័ន្ធ ឯកសារNote: កត្តា ការ ទាញយក គឺ ជា កត្តា សំខាន់ ដែល ប៉ះពាល់ ឲ្យ ចុងបញ្ចប់ បញ្ចប់ ជាទូទៅ ។ នៅ ក្នុង ករណី នេះ ផ្នែក នេះ នៃ ពេលវេលា ដំណើរការ គណនី សម្រាប់ ពាក់ កណ្ដាល ពេល ដំណើរការ សរុប (លក្ខណៈ ពិសេស ការ រក ទាញយក ។ ម៉ាស៊ីន បម្រើ GPU មិន អាច ប្រើ GPU ដើម្បី បន្ថយ ដំណើរការ ការ ទាញយក ។

បរិស្ថាន សាកល្បងGPU ៖ NVIDIA Tesla K40, ២០ កាត ដែល បាន ប្រតិបត្តិ គ្នាCPU: Intel (R) Xeon (R) ស៊ីភីយូ e5- 2650 V4 @ 2.20 GHz, 1200 cores ឡូក ក្នុង សរុប ( ម៉ាស៊ីន បម្រើ នីមួយៗ មាន ២៤ cores of physicals អនុញ្ញាត ឲ្យ មាន ខ្សែស្រឡាយ អ៊ីពែល និង ត្រូវ បាន កំណត់ រចនា សម្ព័ន្ធ ជា រចនាប័ទ្ម ៥០ ត្បូង ឡូក

លទ្ធផល សាកល្បង ខណៈពេល បណ្ដាញ របស់ bigdl នៅ លើ ក្បឿង (Xeon) ដែល មាន 1200 cores ឡូក គឺ រហូត ដល់ ២០70 រូបភាព / s ។ បណ្ដោះ អាសន្ន របស់ bigdl នៅ លើ ក្បឿង Xeon គឺ រហូត ដល់ ៣. ៣៣៣ ហាក់ ដូច ជា GPU ។ ដែល ខ្លាំង ពេលវេលា ដំណើរការ របស់ រូបភាព មាត្រ ធំ បំផុត ។ លទ្ធផល សាកល្បង បង្ហាញ ថា bigdl ផ្ដល់ គាំទ្រ ល្អ បំផុត ក្នុង កម្មវិធី ស្រង់ លក្ខណៈ ពិសេស រូបភាព មាត្រដ្ឋាន ធំ ។ ភាព ធ្វើ មាត្រដ្ឋាន ខ្ពស់ របស់ Bigdl អនុញ្ញាត ខ្ពស់ និង ងាយស្រួល ប្រើ ជំនួយ JD ងាយស្រួល ជាមួយ នឹង បង្កើន ទំហំ និង បង្កើន មាត្រដ្ឋាន រូបភាព ។ មូលដ្ឋាន លើ លទ្ធផល សាកល្បង នេះ ។ JD កំពុង ធ្វើ ឲ្យ ប្រតិបត្តិការ នៃ លក្ខណៈ ពិសេស ស្រង់ ចេញ រូបភាព Caffe ដែល មាន មូលដ្ឋាន លើ GPU គ្រោងការណ៍ bigdl ដែល មាន មូលដ្ឋាន លើ គ្រាប់ចុច របស់ XeonName និង កំពុង យក វា ដើម្បី ផ្នែក បរិស្ថាន ការ បង្កើត គំរូ ។

រូបតំណាង 2 ប្រៀបធៀប របស់ K40 និង Xeon នៅ ក្នុង លក្ខណៈ ពិសេស ការ ស្រង់ ចេញ រូបភាព PipelineBigdl មាត្រដ្ឋាន ខ្ពស់ ដំណើរការ ខ្ពស់ និង ងាយស្រួល ប្រើ ជំនួយ JD ងាយស្រួល ប្រើ បច្ចេកទេស ដើម្បី ដំណើរការ រូបភាព ធំ ។ JD នឹង បន្ត អនុវត្ត bigdl ទៅ ជួរ កម្រិត ច្រើន នៃ កម្មវិធី សិក្សា កម្រិត ដូចជា ការ បង្ហាត់ ម៉ូដែល បាន ចែកចាយ ។quote

[1]. លីលុ, វ៉េ, et al. SSD ៖ រក ឃើញ ស្វ័យ ប្រវត្តិ MulTIbox សម័យ អឺរ៉ុប លើ មើល កុំព្យូទ័រ ។ Springer, Cham, 2016 [2] លីនេន សិក្សា អ្នក ពិពណ៌នា គោល ពីរ ដែល មាន បណ្ដាញ មធ្យម ។ ដំណើរការ នៃ សម័យ IEEE នៅ លើ មើល កុំព្យូទ័រ និង ការ ទទួល យក លំនាំដើម, 2016 [3] Https://github.com/intel-analyTIcs/BigDLName

[4]. Https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision [5]