(Fonte: Education News Network) Fino a poco tempo fa, la maggior parte dell'IA era nel data center e la maggior parte era formazione. Le cose stanno cambiando rapidamente. Si prevede che entro la metà del 2020 le vendite di intelligenza artificiale cresceranno rapidamente fino a $10 miliardi, la maggior parte dei quali proverranno dal ragionamento AI edge. Dov' è il mercato di ragionamento edge di oggi per le applicazioni di ragionamento edge? Diamo un'occhiata al mercato dal throughput più alto al throughput più basso. Di recente, il server Edge NVIDIA ha annunciato che le vendite di ragionamento hanno superato la formazione per la prima volta. La maggior parte potrebbe essere stata consegnata al data center, ma ci sono molte applicazioni al di fuori del data center, spesso denominate "spigoli". Ciò significa che le vendite di bacheche di ragionamento PCIe per applicazioni di ragionamento edge potrebbero raggiungere i 100 milioni di dollari. Un anno e in rapida crescita.

Ha una vasta gamma di applicazioni: sorveglianza, riconoscimento facciale, analisi al dettaglio, sequenziamento genico/genico, ecc. Poiché la formazione viene eseguita in numeri in virgola mobile e la quantizzazione richiede molte competenze/investimenti, la maggior parte degli edge server deducono che può essere eseguita in numeri in virgola mobile a 16 bit, mentre solo il numero massimo di applicazioni viene eseguito in int8. La scheda di inferenza PCIe varia da 75W (NVIDIA Tesla T4) a 200W (Habana Goya).

Il pilota automatico un anno fa, le case automobilistiche e i fornitori parlavano di utilizzare i loro chip personalizzati per ottenere una guida completamente automatica. I piani odierni sono più modesti, utilizzando soluzioni standard (sentiamo spesso Xavier AgX e NX) per l'anno modello 2020, rilevamento di oggetti e correzione di immagini megapixel come supplemento driver per migliorare la sicurezza. Allo stato attuale, il suo numero ha raggiunto decine di migliaia di strumenti di test accattivanti, come Google Waymo con fotocamera di grandi dimensioni, lidar accattivante e bagagli elettronici. Entro 5 anni, il volume delle vendite di rilevamento e correzione di oggetti di livello 2 di mercato di massa altamente integrato può raggiungere milioni.

I principali attori qui sono Terson di NVIDIA (nano, TX2, Xavier AgX e Xavier NX) in 5-30w e Intel movidius in innumerevoli watt a una cifra, ma ~ throughput giornaliero il 10 gennaio. Ci sono una vasta gamma di applicazioni qui: telecamere di sorveglianza, sequenziamento genico, campanelli domestici, sistemi medici (come ultrasuoni), fotonica, visione robotica e CNN è utilizzato nella maggior parte dei casi, ma possono essere utilizzati anche vari modelli diversi dall'immagine CNN I fan sono inaccettabili in questo mercato. I clienti con cui abbiamo parlato sono desiderosi di throughput. Sono alla ricerca di soluzioni in grado di fornire un throughput più elevato e dimensioni dell'immagine alla stessa potenza/prezzo della potenza/prezzo utilizzata oggi: quando otterranno la soluzione, la loro soluzione sarà più accurata/affidabile, adottata e ampliata dal mercato. Pertanto, sebbene le applicazioni odierne abbiano migliaia di unità, poiché la disponibilità di ragionamento crescerà rapidamente, il ragionamento fornirà sempre più throughput/dollaro e throughput / watt. A causa dell'ampia gamma di applicazioni, questo segmento di mercato dovrebbe diventare il più grande segmento di mercato nel tempo. Image CNN richiede l'invio di milioni di Mac al secondo. Con il solo riconoscimento delle parole chiave, l'elaborazione vocale può raggiungere miliardi di MACS / s o addirittura inferiore. Queste applicazioni (come Amazon echo) sono già importanti per adozione e quantità, ma il prezzo di $/ chip è molto più basso. I partecipanti a questo mercato sono completamente diversi dai mercati di cui sopra.

E' un ritardo. Il sistema edge sta determinando la velocità dell'immagine a 60 fotogrammi al secondo. Ad esempio, nelle auto, è ovviamente importante rilevare oggetti come persone, biciclette e automobili e svolgere un ruolo nel più breve tempo possibile. In tutte le applicazioni edge, la latenza è #1, il che significa che la dimensione del batch è quasi sempre 1.