(Fonte: Education News Network) Até recentemente, a maior parte da IA estava no data center, e a maior parte era treinamento. As coisas estão mudando rapidamente. Espera-se que em meados de 2020, as vendas de inteligência artificial cresçam rapidamente para US $10 bilhões, a maioria dos quais virá do raciocínio de IA de ponta. Onde está o mercado atual de raciocínio de ponta para aplicações de raciocínio de ponta? Vejamos o mercado desde o maior rendimento até o menor rendimento. Servidor Edge recentemente, a NVIDIA anunciou que as vendas de raciocínio excederam o treinamento pela primeira vez. A maioria deles pode ter sido entregue ao data center, mas existem muitos aplicativos fora do data center, geralmente chamados de "arestas". Isso significa que as vendas de painéis de raciocínio PCIe para aplicativos de raciocínio de ponta podem chegar a US $100 milhões. Um ano e crescendo rapidamente.

Possui uma ampla gama de aplicações: vigilância, reconhecimento facial, análise de varejo, sequenciamento de genoma/gene, etc. Uma vez que o treinamento é feito em números de ponto flutuante e a quantização requer muitas habilidades/investimento, a maioria dos servidores de ponta infere que isso pode ser feito em números de ponto flutuante de 16 bits, enquanto apenas o número máximo de aplicativos é feito em int8. A placa de inferência PCIe varia de 75W (NVIDIA Tesla T4) a 200W (Habana Goya).

O piloto automático há um ano, fabricantes e fornecedores de automóveis estavam falando sobre o uso de seus chips personalizados para obter uma direção totalmente automática. Os planos de hoje são mais modestos, usando soluções de prateleira (frequentemente ouvimos Xavier AgX e NX) para o ano modelo de 2020, detecção de objetos e correção de imagens de megapixels como um suplemento de driver para melhorar a segurança. Atualmente, seu número atingiu dezenas de milhares de ferramentas de teste atraentes, como o Google waymo com câmera grande, lidar atraente e bagagem eletrônica. Dentro de 5 anos, o volume de vendas de detecção e correção de objetos de nível 2 de mercado de massa altamente integrado pode chegar a milhões.

Os principais participantes aqui são Terson da NVIDIA (nano, TX2, Xavier AgX e Xavier NX) em 5-30w e Intel movidius em incontáveis watts de um dígito, mas ~ rendimento diário em 10 de janeiro. Há uma ampla gama de aplicações aqui: câmeras de vigilância, sequenciamento de genes, campainhas domésticas, sistemas médicos (como ultrassom), fotônica, visão de robô e CNN são usados na maioria dos casos, mas vários modelos diferentes da imagem CNN também podem ser usados. Os fãs são inaceitáveis neste mercado. Os clientes com quem conversamos estão ansiosos por transferência. Eles estão procurando soluções que possam fornecer maior rendimento e maior tamanho de imagem com a mesma potência/preço que o poder/preço usado hoje: quando eles obtiverem a solução, sua solução será mais precisa/confiável, adotada e expandida pelo mercado. Portanto, embora os aplicativos de hoje tenham milhares de unidades, como a disponibilidade de raciocínio crescerá rapidamente, o raciocínio fornecerá cada vez mais rendimento/dólar e rendimento/watt. Devido à ampla gama de aplicações, este segmento de mercado deve se tornar o maior segmento de mercado ao longo do tempo. A Image CNN exige que milhões de Macs sejam enviados por segundo. Apenas com o reconhecimento de palavras-chave, o processamento de voz pode atingir bilhões de MACS / s ou até menos. Esses aplicativos (como o Amazon echo) já são importantes em adoção e quantidade, mas o preço do $/ chip é muito menor. Os participantes neste mercado são completamente diferentes dos mercados acima.

É um atraso. O sistema de borda está determinando a velocidade da imagem em 60 quadros por segundo. Por exemplo, em carros, é obviamente importante detectar objetos como pessoas, bicicletas e carros e desempenhar um papel no menor tempo possível. Em todos os aplicativos de borda, a latência é #1, o que significa que o tamanho do lote é quase sempre 1.