OpenVINO--初步学习笔记_资讯

OpenVINO--初步学习笔记

创始人

2024-02-19 20:24:44

0次

英特尔发布的针对AI工作负载的一款部署神器
当模型训练结束后，上线部署时，就会遇到各种问题，比如，模型性能是否满足线上要求，模型如何嵌入到原有工程系统，推理线程的并发路数是否满足，这些问题决定着投入产出比。只有深入且准确的理解深度学习框架，才能更好的完成这些任务，满足上线要求。实际情况是，新的算法模型和所用框架在不停的变化
OpenVINO是一个Pipeline工具集，同时可以兼容各种开源框架训练好的模型，拥有算法模型上线部署的各种能力，只要掌握了该工具，你可以轻松的将预训练模型在Intel的CPU上快速部署起来。
包含了图片处理工具包OpenCV，视频处理工具包Media SDK，用于处理图像视频解码，前处理和推理结果后处理等。
在做推理的时候，大多数情况需要前处理和后处理，前处理如通道变换，取均值，归一化，Resize等，后处理是推理后，需要将检测框等特征叠加至原图等，都可以使用OpenVINO工具套件里的API接口完成。
对于AI工作负载来说，OpenVINO提供了深度学习推理套件（DLDT)，该套件可以将各种开源框架训练好的模型进行线上部署，DLDT分为两部分：
1. 模型优化器(Model Optimizer)：
  1. 模型优化器是线下模型转换；
  2. 模型优化器是一个python脚本工具，用于将开源框架训练好的模型转化为推理引擎可以识别的中间表达，其实就是两个文件，xml和bin文件，前者是网络结构的描述，后者是权重文件。模型优化器的作用包括压缩模型和加速，比如，去掉推理无用的操作(Dropout)，层的融合(Conv + BN + Relu)，以及内存优化。
2. 推理引擎(Inference Engine)：
  1. 推理引擎是部署在设备上运行的AI负载。
  2. 推理引擎是一个支持C\C++和python的一套API接口，需要开发人员自己实现推理过程的开发，开发流程其实非常的简单，核心流程如下：
    1. 装载处理器的插件库
    2. 读取网络结构和权重
    3. 配置输入和输出参数
    4. 装载模型
    5. 创建推理请求
    6. 准备输入Data
    7. 推理
    8. 结果处理
  3. 推理过程只需要开发一次，只要模型的输入和输出不变，剩下的就是训练模型和模型优化工作了。

上一篇：Day4: 应用篇-1

下一篇：刘禹锡的诗作千淘万漉虽辛苦的下一句是（刘禹锡千淘万漉虽辛苦原诗）古诗千淘万漉虽辛苦下一句是什么刘禹锡的千淘万漉虽辛苦下一句是

OpenVINO--初步学习笔记

相关内容

热门资讯