Trường hợp Phân Tích của Sâu Học Tập Công Nghệ Dựa trên Tia Lửa và Bigdl

Giấy này chủ yếu là cổ phiếu các kinh nghiệm thực tế của Intel và JD trong xây dựng một lớn quy mô hình ảnh tính năng khai thác khung dựa trên tia lửa và bigdl sâu học tập công nghệ. backgroundImage tính năng khai thác được sử dụng rộng rãi trong tương tự như hình ảnh thu hồi, de trùng lặp và như vậy. Trước khi sử dụng bigdl khung (mà sẽ được đề cập sau này), chúng tôi đã cố gắng để phát triển và triển khai tính năng khai thác các ứng dụng trên nhiều máy, đa GPU thẻ và GPU cụm tương ứng. Tuy nhiên, phía trên khung có rõ ràng Nhược điểm:

Trong các GPU cụm, các phân bổ nguồn lực chiến lược dựa trên GPU thẻ là rất phức tạp, và các phân bổ nguồn lực là dễ bị vấn đề, chẳng hạn như không đủ còn lại bộ nhớ video, dẫn đến oom và ứng dụng vụ tai nạn. Trong trường hợp của máy tính duy nhất, so với các cụm chế độ, các nhà phát triển cần phải tự làm dữ liệu phân mảnh, Tải và khả năng chịu lỗi. Các ứng dụng của GPU chế độ, chụp Caffe là một ví dụ, có nhiều phụ thuộc, bao gồm cả CUDA, làm tăng sự khó khăn của việc triển khai và bảo trì. Ví dụ, khi có vấn đề với khác nhau hoạt động hệ thống phiên bản và GCC phiên bản, họ cần phải được recompiled và đóng gói.

Những Vấn Đề trên làm cho về phía trước chương trình dựa trên GPU mặt nhiều kỹ thuật ứng dụng những thách thức trong kiến trúc.

Chúng ta hãy nhìn vào các cảnh chính nó. Bởi vì các nền của nhiều hình ảnh là phức tạp và các tỷ lệ của tùy thuộc vào đối tượng là thường nhỏ, trong đặt hàng để giảm sự can thiệp của nền trên các Độ chính xác của tính năng khai thác, các chủ đề cần phải được tách ra từ các hình ảnh. Tự nhiên, các khuôn khổ của hình ảnh Tính năng khai thác được chia thành hai bước. Đầu tiên, các mục tiêu được phát hiện bởi các mục tiêu phát hiện thuật toán, và sau đó các mục tiêu tính năng được chiết xuất bởi các tính năng khai thác thuật toán. Ở đây, chúng tôi sử dụng SSD [1] (shot duy nhất multibox DETECTOR) cho mục tiêu phát hiện và deepbit [2] mạng cho tính năng khai thác.

Jingdong có một số lượng lớn của (hơn hàng trăm của hàng triệu của) hình ảnh sản phẩm trong các chính thống phân phối mã nguồn mở cơ sở dữ liệu. Do đó, làm thế nào để hiệu quả lấy và quá trình dữ liệu trong lớn quy mô phân phối môi trường là một chìa khóa vấn đề của hình ảnh tính năng khai thác đường ống. Các hiện tại GPU dựa trên Giải pháp mặt khác những thách thức trong giải quyết các yêu cầu của các bên trên kịch bản: dữ liệu tải về mất một thời gian dài, và các chương trình dựa trên GPU có thể không tối ưu hóa nó tốt. cho các dữ liệu hình ảnh trong các phân phối mã nguồn mở cơ sở dữ liệu, đầu xử lý dữ liệu quá trình của GPU là rất phức tạp, Và không có trưởng thành phần mềm khuôn khổ cho quản lý tài nguyên, phân phối xử lý dữ liệu và khả năng chịu lỗi quản lý.

Bởi vì của những hạn chế của GPU phần mềm và phần cứng khuôn khổ, nó là rất đầy thử thách để mở rộng GPU chương trình để đối phó với lớn quy mô hình ảnh. Bigdl tích hợp schemeIn các sản xuất môi trường, bằng cách sử dụng hiện có phần mềm và phần cứng cơ sở sẽ cải thiện đáng kể hiệu quả sản xuất (chẳng hạn như giảm các R & D thời gian của sản phẩm mới) và giảm chi phí. Trong trường hợp này, các dữ liệu được lưu trữ trên các chính thống phân phối mã nguồn mở Cơ Sở Dữ liệu trong các dữ liệu lớn cụm đồng hồ. Nếu các sâu học tập ứng dụng có thể sử dụng các hiện tại dữ liệu lớn Cluster (chẳng hạn như Hadoop hoặc Spark cụm) cho máy tính, nó có thể dễ dàng giải quyết các trên thách thức.

Intel của mã nguồn mở bigdl dự án [3] là một phân phối sâu HỌC TẬP KHUNG trên tia lửa, mà cung cấp toàn diện sâu học tập hỗ trợ thuật toán. Bigdl có thể được dễ dàng mở rộng đến hàng trăm hoặc hàng ngàn của các nút với các phân phối Khả năng mở rộng của Spark nền tảng. Cùng một lúc thời gian, bigdl sử dụng Intel MKL Toán Học máy tính thư viện và máy tính song song công nghệ để đạt được hiệu suất cao trên máy chủ Intel Xeon (các khả năng tính toán có thể được so sánh với các hiệu suất của chính thống GPU). trong của chúng tôi kịch bản, bigdl là tùy chỉnh để hỗ trợ mô hình khác nhau (phát hiện và phân loại); Các mô hình là cấy ghép từ được chỉ áp dụng đối với môi trường cụ thể để bigdl lớn dữ liệu môi trường hỗ trợ mô hình chung (quán cà phê, torch, tensorflow); toàn bộ đường ống quá trình đã được tối ưu hóa và tăng tốc. các đường ống cho tính năng khai thác trong Spark môi trường thông qua bigdl được thể hiện trong Hình 1:

Sử dụng Spark để đọc hàng trăm của hàng triệu của hình ảnh ban đầu từ các phân phối mã nguồn mở cơ sở dữ liệu và xây dựng RDDUse Spark để preprocess hình ảnh, bao gồm thay đổi kích thước, trừ các giá trị trung bình, và sáng tác các Dữ liệu vào một batchUsing bigdl để tải SSD mô hình, lớn-quy mô và phân phối mục tiêu phát hiện là thực hiện trên các hình ảnh thông qua tia lửa, và một loạt các phát hiện tọa độ và tương ứng với điểm là thu được

Các phát hiện kết quả với các cao nhất điểm số được giữ lại như các đối tượng mục tiêu, và mục tiêu Hình ảnh là thu được bằng cách cắt các hình ảnh ban đầu theo các phát hiện coordinatesPreprocess các RDD của các mục tiêu Hình ảnh, bao gồm cả thay đổi kích thước, để tạo thành một batchBigdl là được sử dụng để tải các deepbit mô hình, và Spark được sử dụng để trích xuất các phân phối các tính năng của các phát hiện mục tiêu hình ảnh để có được các tương ứng Các tính năng

Các kết quả phát hiện (chiết xuất mục tiêu Tính năng RDD) là được lưu trữ trên HDFSThe toàn bộ phân tích dữ liệu đường ống, bao gồm đọc dữ liệu, dữ liệu phân vùng, tiền xử lý, dự đoán và kết quả lưu trữ, có thể được dễ dàng thực hiện trong Spark thông qua bigdl. Trên các hiện tại dữ liệu lớn Cluster (Hadoop/Spark), người sử dụng có thể chạy sâu ứng dụng học tập sử dụng bigdl mà không sửa đổi bất kỳ cụm cấu hình. Hơn nữa, bigdl có thể dễ dàng được mở rộng đến một số lượng lớn của các nút và nhiệm vụ bằng cách sử dụng các khả năng mở rộng cao của Spark nền tảng, vì vậy nó rất nhiều tốc độ lên các phân tích dữ liệu quá trình. trong ngoài ra để các hỗ trợ của phân phối sâu học tập, bigdl cũng cung cấp nhiều dễ dàng-để-Sử dụng công cụ, chẳng hạn như hình ảnh tiền xử lý thư viện, mô hình tải công cụ (Bao gồm cả tải mô hình của bên thứ ba sâu học tập khung), đó là thuận tiện hơn cho người sử dụng để xây dựng toàn bộ đường ống.

Hình ảnh preprocessingBigdl cung cấp một hình ảnh tiền xử lý thư viện [4] Dựa trên OpenCV [5], hỗ trợ khác nhau phổ biến hình ảnh chuyển đổi và nâng cao hình ảnh chức năng. Người sử dụng có thể dễ dàng sử dụng các chức năng cơ bản để xây dựng một hình ảnh tiền xử lý đường ống. Ngoài ra, người sử dụng cũng có thể gọi các opencv chức năng được cung cấp bởi các thư viện để hoạt động tùy chỉnh chuyển đổi hình ảnh. các tiền xử lý đường ống của mẫu này chuyển đổi một gốc RDD vào một hàng loạt RDD thông qua một loạt các biến đổi. Trong số đó, bytetomat chuyển đổi các byte hình ảnh vào các Mat định dạng lưu trữ của OpenCV, thay đổi kích thước điều chỉnh các kích thước của hình ảnh để 300x300, và mattofloats tiết kiệm Các điểm ảnh trong Mat vào các định dạng của Float mảng và subtracts các giá trị trung bình của các kênh tương ứng. Cuối cùng, roiimagetobatch hình thức các dữ liệu vào một hàng loạt, được sử dụng như các đầu vào của các mô hình cho Dự Đoán hoặc đào tạo.

Tải modelUsers có thể dễ dàng sử dụng bigdl để tải trước khi được đào tạo mô hình và sử dụng nó trực tiếp trong Spark Chương Trình. Đưa ra các bigdl mô hình tập tin, bạn có thể gọi module. tải để có được các mô hình. trong Ngoài ra, bigdl cũng hỗ trợ các nhập khẩu của bên thứ ba sâu HỌC TẬP KHUNG mô hình, chẳng hạn như Caffe, ngọn đuốc và tensorflow.

Người dùng có thể dễ dàng tải các được đào tạo mô hình cho dữ liệu dự đoán, tính năng khai thác, mô hình tốt-điều chỉnh và như vậy. Chụp Caffe như một ví dụ, Caffe của mô hình này bao gồm hai tập tin, mô hình prototext độ nét tập tin và mô hình tham số tập tin. Như hình dưới đây, người dùng có thể dễ dàng tải trước khi được đào tạo Caffe mô hình vào tia lửa và bigdl chương trình. performanceWe benchmark hiệu suất của các GPU cụm giải pháp dựa trên Caffe và Xeon cụm giải pháp dựa trên bigdl. Các bài kiểm tra đang chạy trong JD nội bộ của cụm môi trường.

Kiểm tra standardEnd để kết thúc xử lý hình ảnh và phân tích đường ống, bao gồm: đọc hình ảnh từ phân phối mã nguồn mở cơ sở dữ liệu (tải về hình ảnh từ nguồn hình ảnh để bộ nhớ)

Đầu vào để các mục tiêu phát hiện mô hình và tính năng khai thác mô hình cho tính năng extractionSave các kết quả (hình ảnh đường dẫn và các tính năng) để các tập tin systemNote: các tải về yếu tố đã trở thành một yếu tố quan trọng ảnh hưởng đến tổng thể End-to-end thông lượng. Trong trường hợp này, điều này một phần của thời gian xử lý tài khoản cho khoảng một nửa tổng số thời gian xử lý (tải về phát hiện tính năng). Các GPU máy chủ không thể sử dụng GPU để đẩy nhanh tiến độ các chế biến của tải về.

Thử nghiệm environmentGPU: NVIDIA Tesla K40, 20 thẻ thực hiện concurrentlyCPU: Intel (R) Xeon (R) CPU e5-2650 V4 @ 2.20GHz, 1200 hợp lý lõi trong tổng số (mỗi máy chủ có 24 Vật Lý lõi, cho phép Hyper threading, và được cấu hình như 50 logic lõi của sợi)

Kiểm tra resultFigure 2 cho thấy rằng Caffe của thông lượng của 20 K40 đồng thời xử lý hình ảnh là khoảng 540 hình ảnh/S, trong khi bigdl của thông lượng trên các sợi (Xeon) cụm với 1200 logic lõi là khoảng 2070 hình ảnh/S. Thông lượng của bigdl trên Xeon cụm là khoảng 3.83 lần so với của GPU cụm, mà rất nhiều rút ngắn thời gian xử lý của lớn quy mô hình ảnh. các kết quả thử nghiệm cho thấy rằng bigdl cung cấp hỗ trợ tốt hơn trong lớn quy mô hình ảnh Tính năng khai thác các ứng dụng. Bigdl của Khả năng mở rộng cao, hiệu suất cao và dễ sử dụng giúp JD hơn dễ dàng đối phó với lớn và nổ tăng trưởng của hình ảnh quy mô. Dựa trên chẳng hạn kết quả kiểm tra, JD là nâng cấp các thực hiện của Caffe hình ảnh tính năng khai thác dựa trên GPU cụm để bigdl chương trình dựa trên Xeon cụm và triển khai nó để châm ngòi cụm sản xuất môi trường.

Hình 2 so sánh các thông lượng của K40 và Xeon trong các hình ảnh tính năng khai thác pipelineBigdl của Khả năng mở rộng cao, hiệu suất cao và dễ sử dụng giúp JD dễ dàng hơn sử dụng sâu học tập công nghệ để quá trình lớn hình ảnh. JD sẽ tiếp tục để áp dụng bigdl để một phạm vi rộng lớn hơn của trong-Độ sâu ứng dụng học tập, chẳng hạn như phân phối mô hình Đào tạo. Quote

[1]. Liu, WEI, ET AL. SSD: Shot Duy Nhất MulTIbox Detector. Châu Âu hội nghị trên máy tính tầm nhìn. Springer, Chăm, 2016.[2]. LIN, Kevin, ET AL. Học tập nhỏ gọn nhị phân descriptors với không có giám sát sâu neural Networks. Kỷ yếu của IEEE Hội Nghị trên Máy Tính Tầm Nhìn và Mô Hình Công Nhận, 2016.[3]. Https://github.com/intel-analyTIcs/BigDL

[4]. Https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision[5].