近几年来，人工智能已经成为最大的发展趋势，对于边缘计算来说，目前应用人工智能的最大障碍是，缺乏在边缘计算设备端部署和运行模型所需方案的充分理解，以及可能遇到的问题。使用与推理：未解决的挑战。
大部分深度神经网络可以在一个大的GPU上进行训练。在边缘计算模型用于推理时，如利用神经网络正向传播获取对单个样本的预测或分类，可以使用多种平台。可将推理模型部署到微控制器为CortexM、CortexA、带有GPU、神经网络加速器、FPGA或专用ASIC的微处理器上，其硬件选择取决于应用需求，两者的区别是运算能力、功耗和成本。在选择一个模式时，最棘手的问题是如何有效而简单地部署模型。一般而言，模型训练通常要在TensorFlow或Caffe等深度学习框架下完成，这些经过训练的模型必须转换为边缘设备的推理引擎上能运行的格式。例如，使用开放式神经网络交换格式(ONNX)，或用于CortexM的ARMCMSISNN文件格式。此外，还需要对模型进行进一步优化，以适应边缘设备的特性，如剪枝(删除近零的值)、量化(从float32移至integer)或压缩等方法。
根据设备厂商为OpenCV或OpenCL这样的框架支持所提供的目标处理器以及组件，最终部署和在边缘设备上运行模型，最终还需要推理引擎来实现。遗憾的是，这个市场现在非常分散，我们可以看到许多SDK的不同版本以及工具，并没有一个统一的标准来指导如何在边缘计算节点上部署和推理。所以，边缘计算行业对类似于ONNX这样的统一标准更感兴趣，期望进一步标准化。
