(出典: Education News Network) 最近まで、ほとんどのAIはデータセンターにあり、そのほとんどはトレーニングでした。 物事は急速に変化しています。 2020年半ばまでに、人工知能の売上は100億ドルに急増すると予想されており、そのほとんどはエッジAI推論によるものです。エッジ推論アプリケーションの今日のエッジ推論市場はどこにありますか? 最高のスループットから最低のスループットまでの市場を見てみましょう。 エッジサーバーは最近、NVIDIAは、推論販売が初めてトレーニングを上回ったことを発表しました。 それらのほとんどはデータセンターに配信された可能性がありますが、データセンターの外には多くのアプリケーションがあり、しばしば「エッジ」と呼ばれます。 これは、エッジ推論アプリケーション用のPCIe推論ボードの売上が1億米ドルに達する可能性があることを意味します。 1年と急速に成長しています。

監視、顔認識、小売分析、ゲノム/遺伝子配列決定など、幅広いアプリケーションがあります。 トレーニングは浮動小数点数で行われ、量子化には多くのスキル/投資が必要であるため、ほとんどのエッジサーバーは、それが16ビット浮動小数点数で行われる可能性があると推測していますが、アプリケーションの最大数のみがint8で行われます。 PCIe推論ボードは75W (NVIDIA Tesla T4) から200W (Habana Goya) の範囲です。

1年前のオートパイロットでは、自動車メーカーとサプライヤーがカスタムチップを使用して全自動運転を実現することについて話し合っていました。 今日の計画はより控えめで、2020年モデルの既製のソリューション (Xavier AgXとNXをよく耳にします) 、安全性を向上させるためのドライバーの補足としてメガピクセル画像のオブジェクト検出と修正を使用します。 現在、その数は、大型カメラを備えたGoogle waymo、人目を引くLIDAR、電子荷物など、何万もの人目を引くテストツールに達しています。 5年以内に、高度に統合されたマスマーケットレベル2のオブジェクトの検出と修正の販売量は数百万に達する可能性があります。

ここでの主なプレーヤーは、5〜30wのNVIDIAのTerson (nano、TX2、Xavier AgX、Xavier NX) と、数え切れないほどの1桁ワットのIntel movidiusですが、1月10日の毎日のスループットです。 ここには幅広い用途があります。監視カメラ、遺伝子シーケンシング、ホームドアベル、医療システム (超音波など) 、フォトニクス、ロボットビジョン、CNNがほとんどの場合使用されますが、画像CNNとは異なるさまざまなモデルも使用できます。この市場ではファンは受け入れられません。 私たちが話をした顧客は、スループットに熱心です。 彼らは、現在使用されている電力/価格と同じ電力/価格で、より高いスループットとより大きな画像サイズを提供できるソリューションを探しています。ソリューションを取得すると、ソリューションはより正確/信頼性が高くなり、市場で採用および拡大されます。 したがって、今日のアプリケーションには数千のユニットがありますが、推論の可用性が急速に高まるにつれて、推論はますます多くのスループット/ドルとスループット/ワットを提供します。幅広いアプリケーションのため、この市場セグメントは時間の経過とともに最大の市場セグメントになるはずです。 Image CNNでは、1秒間に数百万のMacを送信する必要があります。 キーワード認識だけで、音声処理は数十億またはそれ以下に達する可能性があります。 これらのアプリケーション (Amazonエコーなど) は、採用と数量においてすでに重要ですが、 $/チップの価格ははるかに低くなっています。 この市場の参加者は、上記の市場とはまったく異なります。

それは遅れです。 エッジシステムは、毎秒60フレームで画像の速度を決定しています。 たとえば、車では、人、自転車、車などのオブジェクトを検出し、最短時間で役割を果たすことが明らかに重要です。 すべてのエッジアプリケーションで、レイテンシは #1です。これは、バッチサイズがほぼ常に1であることを意味します。