SparkとBigdlに基づくディープラーニングテクノロジーのケース分析

この論文は主に、火花とbigdlのディープラーニングテクノロジーに基づいた大規模な画像特徴抽出フレームワークの構築におけるIntelとJDの実際的な経験を共有しています。backgroundImage Feature抽出は、同様の画像検索、重複防止などで広く使用されています。 Bigdlフレームワーク (後で説明します) を使用する前に、機能抽出アプリケーションをマルチマシン、マルチGPUカード、GPUクラスターにそれぞれ開発し、展開しようとしました。 ただし、上記のフレームワークには明らかな欠点があります。

GPUクラスターでは、GPUカードに基づくリソース割り当て戦略は非常に複雑であり、リソース割り当ては、ビデオメモリの残量が不足しているなどの問題が発生しやすく、その結果、oomやアプリケーションがクラッシュします。単一マシンの場合、クラスターモードと比較して、開発者は手動でデータの断片化を行う必要があります。負荷とフォールトトレランス。Caffeを例にとると、GPUモードのアプリケーションには、CUDAを含む多くの依存関係があり、展開とメンテナンスの難しさが増します。 たとえば、オペレーティングシステムのバージョンとGCCのバージョンが異なる場合は、再コンパイルしてパッケージ化する必要があります。

上記の問題により、GPUに基づくフォワードプログラムは、アーキテクチャにおける多くの技術的アプリケーションの課題に直面します。

シーン自体を見てみましょう。 多くの写真の背景は複雑であり、被写体の割合は通常小さいので、特徴抽出の精度に対する背景の干渉を減らすために、被写体を写真から分離する必要がある。 当然、画像特徴抽出のフレームワークは、2つのステップに分割される。 まず、ターゲット検出アルゴリズムによってターゲットが検出され、次に、特徴抽出アルゴリズムによってターゲット特徴が抽出される。 ここでは、ターゲット検出にSSD [1] (シングルショットマルチボックス検出器) を使用し、特徴抽出にディープビット [2] ネットワークを使用します。

Jingdongは、主流の分散オープンソースデータベースに多数の (数億を超える) 製品写真を持っています。 したがって、大規模な分散環境でデータを効率的に取得して処理する方法は、画像特徴抽出パイプラインの重要な問題です。 既存のGPUベースのソリューションは、上記のシナリオの要件を解決する上で他の課題に直面しています。データのダウンロードには時間がかかり、GPUベースのスキームでは最適化できません。分散オープンソースデータベースの画像データの場合、GPUスキームの初期のデータ処理プロセスは非常に複雑です。リソース管理、分散データ処理、フォールトトレランス管理のための成熟したソフトウェアフレームワークはありません。

GPUソフトウェアとハードウェアフレームワークの制限のため、大規模なイメージを処理するためにGPUスキームを拡張することは非常に困難です。Bigdl統合スキーム本番環境では、既存のソフトウェアとハードウェア機能を使用すると、本番効率が大幅に向上します (Rの削減など)。 & D時間の新製品) とコストを削減します。 この場合、データはビッグデータクラスターの主流の分散型オープンソースデータベースに保存されます。 ディープラーニングアプリケーションが既存のビッグデータクラスター (Hadoopやスパーククラスターなど) をコンピューティングに使用できれば、上記の課題を簡単に解決できます。

Intelのオープンソースbigdlプロジェクト [3] は、スパークに関する分散型ディープラーニングフレームワークであり、包括的なディープラーニングアルゴリズムのサポートを提供します。 Bigdlは、スパークプラットフォームの分散型スケーラビリティにより、数百または数千のノードに簡単に拡張できます。 同時に、bigdlはIntel MKL数学コンピューティングライブラリと並列コンピューティングテクノロジーを使用して、Intel Xeonサーバーで高いパフォーマンスを実現します (コンピューティングパワーは主流のGPUのパフォーマンスに匹敵する可能性があります)。私たちのシナリオでは、bigdlはさまざまなモデル (検出と分類) をサポートするようにカスタマイズされています。このモデルは、特定の環境にのみ適用できるものから、一般的なモデル (カフェ、トーチ、テンソルフロー) をサポートするbigdlビッグデータ環境に移植されます。パイプラインプロセス全体が最適化され、加速されています。bigdlを介したスパーク環境での機能抽出用のパイプラインを図1に示します。

Sparkを使用して分散オープンソースデータベースから何億ものオリジナル画像を読み取り、RDDUse sparkを構築して、サイズ変更、平均値の減算、およびBatchbigdlを使用してSSDモデルをロードすると、スパークを介して画像に対して大規模で分散されたターゲット検出が実行され、一連の検出座標と対応するスコアが取得されます

スコアが最も高い検出結果は被写体のターゲットとして保持され、検出座標に従って元の画像をカットしてターゲットのRDDを事前処理することにより、ターゲットの画像が取得されます。BatchBigdlを形成するためのサイズ変更を含む画像は、ディープビットモデルをロードするために使用され、スパークは、検出されたターゲット画像の分散された特徴を抽出するために使用され、対応する特徴

検出結果 (抽出されたターゲット機能RDD) はHDFSに保存されます。データの読み取り、データの分割、前処理、予測、結果の保存など、データ分析パイプライン全体を、bigdlを介してスパークで簡単に実装できます。 既存のビッグデータクラスター (Hadoop / spark) では、クラスター構成を変更することなく、bigdlを使用してディープラーニングアプリケーションを実行できます。 さらに、bigdlは、スパークプラットフォームの高いスケーラビリティを使用することで、多数のノードやタスクに簡単に拡張できるため、データ分析プロセスを大幅に高速化できます。bigdlは、分散ディープラーニングのサポートに加えて、画像前処理ライブラリ、モデルローディングツールなど、多くの使いやすいツールも提供しています。 (サードパーティのディープラーニングフレームワークのモデルの読み込みを含む)。これは、ユーザーがパイプライン全体を構築するのにより便利です。

Image preprocessingBigdlは、さまざまな一般的な画像変換および画像拡張機能をサポートするOpenCV [5] に基づく画像前処理ライブラリを提供します。 ユーザーは、これらの基本機能を簡単に使用して、画像前処理パイプラインを構築できます。 さらに、ユーザーはライブラリが提供するopencv関数を呼び出して、カスタムイメージ変換を操作することもできます。このサンプルの前処理パイプラインは、一連の変換によって元のRDDをバッチRDDに変換します。 その中で、bytetomatはバイト画像をOpenCVのマットストレージフォーマットに変換し、サイズ変更は画像のサイズを300x300に調整し、mattofloatsはマット内のピクセルをフロート配列のフォーマットに保存し、対応するチャネルの平均値を差し引きます。。 最後に、roiimagetobatchはデータをバッチに形成します。これは、予測またはトレーニングのモデルの入力として使用されます。

Loading modelUsersはbigdlを使って事前に訓練されたモデルをロードし、Spark Programで直接使用することができます。 Bigdlモデルファイルを指定すると、module.loadを呼び出してモデルを取得できます。さらに、bigdlは、Caffe、torch、tensorflowなどのサードパーティのディープラーニングフレームワークモデルのインポートもサポートします。

ユーザーは、データ予測、機能抽出、モデルの微調整などのために、トレーニング済みモデルを簡単にロードできます。 Caffeを例にとると、Caffeのモデルは、モデルプロトテキスト定義ファイルとモデルパラメーターファイルの2つのファイルで構成されています。 以下に示すように、ユーザーは事前にトレーニングされたCaffeモデルをsparkおよびbigdlプログラムに簡単にロードできます。performanceCaffeに基づくGPUクラスターソリューションとbigdlに基づくXeonクラスターソリューションのパフォーマンスをベンチマークします。 テストはJDの内部クラスター環境で実行されています。

StandardEndをテストして、画像処理および分析パイプラインを終了します。分散オープンソースデータベースから画像を読み取る (画像ソースからメモリに画像をダウンロードする)

機能抽出のターゲット検出モデルと機能抽出モデルへの入力結果 (画像パスと機能) をファイルシステムに保存します。注: ダウンロード要素は、全体的なエンドツーエンドのスループットに影響を与える重要な要素になっています。 この場合、処理時間のこの部分は、全体の処理時間 (ダウンロード検出特徴) の約半分を占める。 GPUサーバーは、ダウンロードの処理を高速化するためにGPUを使用できません。

環境保護GPUのテスト: NVIDIA Tesla K40、同時に実行される20枚のカードCPU: Intel (R) Xeon (R) CPU e5-2650 V4 @ 2.20GHz、合計1200個の論理コア (各サーバーには24個の物理コアがあり、ハイパースレッドを可能にし、50個の論理コアとして構成されています) 糸のコア)

テスト結果図2は、20 K40同時処理画像のCaffeのスループットが約540画像/秒であるのに対し、1200の論理コアを持つヤーン (Xeon) クラスターでのbigdlのスループットは約2070画像/秒であることを示しています。 XeonクラスターでのbigdlのスループットはGPUクラスターの約3.83倍であり、大規模画像の処理時間が大幅に短縮されます。テスト結果は、bigdlが大規模画像特徴抽出アプリケーションでより良いサポートを提供することを示しています。 Bigdlの高いスケーラビリティ、高いパフォーマンス、使いやすさは、JDが画像スケールの大規模で爆発的な成長により簡単に対処するのに役立ちます。 このようなテスト結果に基づいて、JDは、GPUクラスターに基づくCaffe画像機能抽出の実装をXeonクラスターに基づくbigdlスキームにアップグレードし、スパーククラスター本番環境に展開しています。

図2は、画像機能抽出パイプラインでのK40とXeonのスループットを比較しています。Bigdlの高いスケーラビリティ、高いパフォーマンス、使いやすさは、JDが深層学習テクノロジーをより簡単に使用して大量の画像を処理するのに役立ちます。 JDは、分散モデルトレーニングなど、より幅広い詳細な学習アプリケーションにbigdlを適用し続けます。

[1]. 劉、魏、他 SSD: シングルショットMultIbox検出器。 コンピュータビジョンに関する欧州会議。 スプリンガー、チャム、2016年。[2]。 リン、ケビン、他。 監視されていないディープニューラルネットワークでコンパクトなバイナリ記述子を学習します。 コンピュータビジョンとパターン認識に関するIEEE会議の議事録、2016年。[3]。 Https://github.com/intel-analyTIcs/BigDL

[4]. Https://github.com/intel-analytics/analytics-zoo/tree/master/transform/vision[5].