(來源: 教育新聞網) 直到最近,大多數AI都在數據中心,其中大部分是培訓。 事情正在迅速變化。 預計到2020年中,人工智能的銷售額將快速增長到100億美元,其中大部分將來自邊緣AI推理。 當今邊緣推理應用的邊緣推理市場在哪裡? 讓我們看一下從最高吞吐量到最低吞吐量的市場。 Edge server近日,NVIDIA宣布推理銷售首次超過培訓。 它們中的大多數可能已經交付到數據中心,但是在數據中心之外有許多應用程序,通常被稱為 「邊緣”。 這意味著用於邊緣推理應用的PCIe推理板的銷售額可能達到10000萬美元。 一年並迅速增長。

它具有廣泛的應用範圍: 監視,人臉識別,零售分析,基因組/基因測序等。 由於訓練是在浮點數中完成的,並且量化需要大量的技能/投資,因此大多數邊緣服務器推斷它可能是在16位浮點數中完成的,而只有最大數量的應用程序是在int8中完成的。 PCIe推理板的範圍從75W (NVIDIA Tesla T4) 到200W (Habana Goya)。

一年前,汽車製造商和供應商正在談論使用他們的定製芯片來實現全自動駕駛。 今天的計劃更加溫和,在2020車型年使用現成的解決方案 (我們經常聽到Xavier AgX和NX),物體檢測和百萬像素圖像校正作為駕駛員補充,以提高安全性。 目前,它的數量已經達到了數萬種醒目的測試工具,例如帶有大型攝像頭的Google waymo,醒目的激光雷達和電子行李箱。 5年內,高度集成的大眾市場2級對象檢測和校正的銷量可能達到數百萬。

這裡的主要參與者是5-30w的NVIDIA的Terson (nano,TX2,xavier AgX和Xavier NX) 和無數單位瓦的Intel movidius,但是1月10日的每日吞吐量。 這裡有廣泛的應用: 監控攝像頭、基因測序、家庭門鈴、醫療系統 (如超聲波) 、光子學、機器人視覺和CNN在大多數情況下都有使用,但不同於圖像CNN的各種型號也可以被粉絲在這個市場上是不可接受的。 我們交談的客戶渴望吞吐量。 他們正在尋找能夠以與當今使用的功率/價格相同的功率/價格提供更高吞吐量和更大圖像尺寸的解決方案: 當他們獲得解決方案時,他們的解決方案將更加準確/可靠,被市場採用和擴展。 因此,儘管當今的應用程序有數千個單元,但隨著推理的可用性將迅速增長,推理將提供越來越多的吞吐量/美元和吞吐量/瓦特。 由於應用範圍廣泛,隨著時間的推移,這一細分市場應該成為最大的細分市場。 圖像CNN要求每秒發送數百萬個mac。 僅憑關鍵字識別,語音處理就可以達到數十億mac/s甚至更低。 這些應用程序 (例如Amazon echo) 在採用和數量上已經很重要,但是 $/ chip的價格要低得多。 這個市場的參與者與上述市場完全不同。

這是一個延遲。 邊緣系統正在以每秒60幀的速度確定圖像的速度。 例如,在汽車中,檢測人,自行車和汽車等物體並在盡可能短的時間內發揮作用顯然很重要。 在所有邊緣應用程序中,延遲為 #1,這意味著批處理大小幾乎總是1。