(출처: 교육 뉴스 네트워크) 최근까지 대부분의 ai는 데이터 센터에 있었고 대부분은 교육이었습니다. 상황이 빠르게 변하고 있습니다. 2020 년 중반까지 인공 지능의 매출은 100 억 달러로 빠르게 증가 할 것으로 예상되며, 그 중 대부분은 에지 AI 추론에서 나올 것입니다. 엣지 추론 애플리케이션을위한 오늘날의 엣지 추론 시장은 어디에 있습니까? 가장 높은 처리량에서 가장 낮은 처리량까지 시장을 살펴 보겠습니다. 에지 서버 최근, nvidia는 추론 판매가 처음으로 교육을 초과했다고 발표했다. 대부분은 데이터 센터에 전달되었을 수 있지만 데이터 센터 외부에는 종종 "에지" 라고하는 많은 응용 프로그램이 있습니다. 이는 에지 추론 애플리케이션을위한 PCIe 추론 보드의 판매가 100 만 달러에이를 수 있음을 의미합니다. 1 년 빠르게 성장.

감시, 얼굴 인식, 소매 분석, 게놈/유전자 시퀀싱 등 다양한 응용 분야가 있습니다. 교육은 부동 소수점 숫자로 이루어지며 양자화는 많은 기술/투자가 필요하기 때문에 대부분의 에지 서버는 16 비트 부동 소수점 숫자로 수행 될 수 있다고 추론합니다. 최대 수의 응용 프로그램 만 int8 에서 수행됩니다. PCIe 추론 보드는 75W (NVIDIA Tesla T4) 에서 200W (Habana Goya) 까지 다양합니다.

1 년 전 자동 조종 장치, 자동차 제조업체 및 공급 업체는 전체 자동 운전을 달성하기 위해 맞춤형 칩을 사용하는 것에 대해 이야기했습니다. 오늘날의 계획은 2020 모델 연도에 선반 솔루션 (종종 Xavier AgX 및 nx를 듣습니다) 을 사용하여 더 겸손합니다. 안전을 향상시키는 운전자 보충제로 메가 픽셀 이미지의 물체 감지 및 수정. 현재 그 수는 대형 카메라가 장착 된 Google waymo, 눈길을 끄는 라이더 및 전자 수하물과 같은 수만 개의 눈길을 끄는 테스트 도구에 도달했습니다. 5 년 이내에 고도로 통합 된 대량 시장 수준 2 객체 감지 및 수정의 판매량은 수백만 달러에 달할 수 있습니다.

여기서 주요 플레이어는 5-30 w의 nvidia의 Terson (nano, TX2, Xavier AgX 및 Xavier NX) 과 수많은 한 자리 와트의 Intel movidius입니다. 그러나 january의 ~ 일일 처리량 10. 여기에는 감시 카메라, 유전자 시퀀싱, 홈 초인종, 의료 시스템 (예: 초음파), 포토닉스, 로봇 비전 및 cnn이 대부분의 경우 사용됩니다. 그러나 이미지 cnn과 다른 다양한 모델도 사용할 수 있습니다. 팬은이 시장에서 받아 들일 수 없습니다. 우리가 이야기 한 고객은 처리량을 열망합니다. 그들은 오늘날 사용되는 전력/가격과 동일한 전력/가격으로 더 높은 처리량과 더 큰 이미지 크기를 제공 할 수있는 솔루션을 찾고 있습니다. 그들의 솔루션은 시장에 의해보다 정확하고 신뢰할 수 있고 채택되고 확장 될 것입니다. 따라서 오늘날의 응용 프로그램에는 수천 개의 단위가 있지만 추론의 가용성이 빠르게 증가함에 따라 추론은 점점 더 많은 처리량/달러 및 처리량/와트를 제공 할 것입니다. 광범위한 응용 프로그램으로 인해이 시장 부문은 시간이 지남에 따라 가장 큰 시장 부문이되어야합니다. 이미지 cnn은 초당 수백만 개의 Mac을 전송해야합니다. 키워드 인식만으로 음성 처리는 수십억 개의 mac/s 또는 더 낮을 수 있습니다. 이러한 응용 프로그램 (예: 아마존 에코) 은 이미 채택 및 수량에서 중요하지만 $/칩의 가격은 훨씬 낮습니다. 이 시장의 참가자는 위의 시장과 완전히 다릅니다.

지연입니다. 에지 시스템은 초당 60 프레임으로 이미지의 속도를 결정합니다. 예를 들어, 자동차에서는 사람, 자전거 및 자동차와 같은 물체를 감지하고 가능한 한 짧은 시간에 역할을하는 것이 중요합니다. 모든 에지 애플리케이션에서 대기 시간은 #1 이며, 이는 배치 크기가 거의 항상 1 임을 의미합니다.