(来源: 教育新闻网) 直到最近，大多数AI都在数据中心，其中大部分是培训。 事情正在迅速变化。 预计到2020年中，人工智能的销售额将快速增长到100亿美元，其中大部分将来自边缘AI推理。当今边缘推理应用的边缘推理市场在哪里？让我们看一下从最高吞吐量到最低吞吐量的市场。 Edge server近日，NVIDIA宣布推理销售首次超过培训。 它们中的大多数可能已经交付到数据中心，但是在数据中心之外有许多应用程序，通常被称为 “边缘”。 这意味着用于边缘推理应用的PCIe推理板的销售额可能达到10000万美元。 一年并迅速增长。

它具有广泛的应用范围: 监视，人脸识别，零售分析，基因组/基因测序等。 由于训练是在浮点数中完成的，并且量化需要大量的技能/投资，因此大多数边缘服务器推断它可能是在16位浮点数中完成的，而只有最大数量的应用程序是在int8中完成的。 PCIe推理板的范围从75W (NVIDIA Tesla T4) 到200W (Habana Goya)。

一年前，汽车制造商和供应商正在谈论使用他们的定制芯片来实现全自动驾驶。 今天的计划更加温和，在2020车型年使用现成的解决方案 (我们经常听到Xavier AgX和NX)，物体检测和百万像素图像校正作为驾驶员补充，以提高安全性。 目前，它的数量已经达到了数万种醒目的测试工具，例如带有大型摄像头的Google waymo，醒目的激光雷达和电子行李箱。 5年内，高度集成的大众市场2级对象检测和校正的销量可能达到数百万。

这里的主要参与者是5-30w的NVIDIA的Terson (nano，TX2，Xavier AgX和Xavier NX) 和无数单位瓦的Intel movidius，但是1月10日的每日吞吐量。 这里有广泛的应用: 监控摄像头、基因测序、家庭门铃、医疗系统 (如超声波) 、光子学、机器人视觉和CNN在大多数情况下都有使用，但不同于图像CNN的各种型号也可以被粉丝在这个市场上是不可接受的。 我们交谈的客户渴望吞吐量。 他们正在寻找能够以与当今使用的功率/价格相同的功率/价格提供更高吞吐量和更大图像尺寸的解决方案: 当他们获得解决方案时，他们的解决方案将更加准确/可靠，被市场采用和扩展。 因此，尽管当今的应用程序有数千个单元，但随着推理的可用性将迅速增长，推理将提供越来越多的吞吐量/美元和吞吐量/瓦特。由于应用范围广泛，随着时间的推移，这一细分市场应该成为最大的细分市场。 图像CNN要求每秒发送数百万个mac。 仅凭关键字识别，语音处理就可以达到数十亿mac/s甚至更低。 这些应用程序 (例如Amazon echo) 在采用和数量上已经很重要，但是 $/ chip的价格要低得多。 这个市场的参与者与上述市场完全不同。

这是一个延迟。 边缘系统正在以每秒60帧的速度确定图像的速度。 例如，在汽车中，检测人，自行车和汽车等物体并在尽可能短的时间内发挥作用显然很重要。 在所有边缘应用程序中，延迟为 #1，这意味着批处理大小几乎总是1。