openvino使用教程

本专栏内容

OpenVINO 是一款开源工具包，用于在云端、本地和边缘部署高性能 AI 解决方案。我们可以使用来自最热门模型框架的生成式和传统 AI 模型来开发应用程序。充分利用英特尔® 硬件的潜力，使用openvino来做转换、优化和运行推理。OpenVINO 包含三个主要工具，可满足你的所有部署需求：

1. OpenVINO GenAI
2. OpenVINO Base Package
3. OpenVINO Model Server

支持平台

  OpenVINO对主流框架模型文件格式基本上都支持，从上图可以看到，包括pytorch，tensorflow， paddlepaddle(百度飞浆)，onnx，这些框架训练得到的模型文件格式各不相同，OpenVINO通过内部工具将其统一转成IR和XML模型(或者使用onnx格式)。
  OpenVINO推理加速依赖于加速设备，目前主要还是intel的加速设备，主要包括intel CPU，intel GPU，intel NPU，intel CPU我们基本上都知道是什么，intel GPU很少被提到，但是他有另一个名字–集显，通过intel提供的显卡驱动以及opencl相关的依赖包，我们可以调用intel GPU完成模型的加速推理，但是相比较于NPU和Nvidia GPU还是有一定的差距的，加速效果：Nv GPU > intel NPU > intel GPU > intel CPU。关于intel NPU和GPU的环境配置和使用方法，我会在接下来的章节中做详细的介绍，本节还是主要以概念介绍为主。
  OpenVINO支持不同的系统平台，包括常用Win11、Linux和macOS，但是考虑到这些系统使用的并不一定都是intel CPU，所以加速效果也会有很大的差距（比如最新macOS已经不适用intel CPU了）。另外OpenVINO主要支持c/c++和python两种开发语言，基本满足大部分使用场景。
详细的介绍当然最好是去OpenVINO官网，官网有详细的使用教程，不过都是英文，并且有些地方说明的不是很清楚，所以我才想在这里写点东西分享一下我使用OpenVINO的踩的一些坑，当然有一些坑现在还没有填上，太苦涩啦！

章节计划

1. 环境配置
2. 传统模型推理加速
3. 生成式AI模型推理加速

  虽然是专栏内容大概的结构是这样，但是也会在不断地使用过程中发现问题、解决问题，并且将所学所悟都及时更新到专栏里，希望能够有更多的人更从中收获到些东西。