用于具有深度学习功能的工具的 AI² 接口

MERLIC 附带用于 NVIDIA® TensorRT™ SDK 和 Intel® Distribution of OpenVINO™ toolkit 的 Artificial Intelligence Acceleration 接口 (AI²)。它们让您能够受益于与 NVIDIA® TensorRT™ SDK 或 OpenVINO™ toolkit 兼容的 AI 加速器硬件。在提供深度学习功能的 MERLIC 工具中，您可以利用这些 AI 加速器硬件并选择支持 NVIDIA® TensorRT™ 或 OpenVINO™ toolkit 的处理单元。这样，MERLIC 可在相应的硬件上执行优化推理。因此，在这些类型的处理单元上，例如在 NVIDIA® GPU 或包括 CPU、GPU、NPU 和 VPU 的 Intel® 处理器上，可以实现显著更快的深度学习推理。通过扩展受支持 Intel® 和 NVIDIA® 设备的范围，您现在可以更灵活地选择硬件，以便在深度学习应用程序中进行推理优化。导出训练好的模型时，大多数采用深度学习技术的 MERLIC 工具还支持使用针对 AI² 界面进行了优化的深度学习模型。使用此类优化模型可以缩短 MVApp 的加载时间，并减少模型所需的内存量。

支持的硬件和插件

MERLIC 中的 AI² 接口支持以下硬件和插件：

NVIDIA® TensorRT™
  • NVIDIA® GPU（无需安装步骤）

要获取有关支持的平台、功能和硬件功能的更多信息，请参阅 NVIDIA® TensorRT™ 的文档：支持矩阵。

OpenVINO™ Toolkit
  • CPU
  • Intel® GPU
  • Intel® NPU
  • Intel®Movidius™ VPU: HDDL 插件和 MYRIAD 插件

要获取有关设备和插件的更多信息，请参阅 OpenVINO™ toolkit 的文档：支持的设备。

系统要求

如果打算使用 Intel® Distribution of OpenVINO™ toolkit，除了 MERLIC 的系统要求之外，还必须确保满足 OpenVINO™ toolkit 的系统要求。请参阅相应的文档以了解更多信息：

在 MERLIC 中使用 NVIDIA® TensorRT™

您可以使用 NVIDIA® TensorRT™（例如 NVIDIA® GPU），在硬件上进行推理优化，而无需进行任何其他安装步骤。所有必要的驱动程序都已随 MERLIC 提供。如果您的系统上有 NVIDIA® GPU，您可以在以下 MERLIC 工具中使用它：

通过 NVIDIA® TensorRT™ 进行优化的硬件可按如下方式在每个 MERLIC 工具中选择：

  1. 单击参数“处理单元”显示可用硬件的列表。
  2. 从列表中选择所需的 NVIDIA® GPU。您可以通过带有前缀“TensorRT(TM)”的名称来识别相应的硬件。

在 MERLIC 中使用 OpenVINO™ Toolkit

在 MERLIC 中，您可以在提供深度学习功能的所有 MERLIC 工具（如 分类图像）中使用支持 OpenVINO™ toolkit 的硬件。但是，视要使用的硬件类型而定，可能需要先设置 OpenVINO™ toolkit 才能在 MERLIC 中使用相应的硬件。

使用支持 OpenVINO™ Toolkit 的 Intel® GPU、Intel® NPU 或 CPU

如果要使用支持 OpenVINO™ toolkit 的 Intel® GPU、Intel® NPU 或 CPU，无需进行额外安装。安装 MERLIC 后，可以立即使用它。如果无法使用，则可能需要进行额外的驱动程序更新。

有关驱动程序的更多信息，请参阅 OpenVINO™ toolkit 的文档：《其他配置》。

使用支持 OpenVINO™ Toolkit 的 Intel® Movidius™ VPU

要将支持 OpenVINO™ toolkit 的 Intel® Movidius™ VPU 用作 MERLIC 中的处理单元，必须先安装 Intel® Distribution of OpenVINO™ toolkit。此外，启动 MERLIC 的 OpenVINO™ toolkit 环境需要确保支持 OpenVINO™ toolkit 的 VPU 在 MERLIC 中能被识别和可以使用。

有关安装和如何在 OpenVINO™ toolkit 环境中启动 MERLIC 的更多信息，请参阅以下部分。

Intel® Distribution of OpenVINO™ Toolkit 的安装

要通过 AI² 接口将 VPU 用作“分类图像”等工具中的处理单元，需要使用 Intel® Distribution of OpenVINO™ toolkit 的安装版本。这是必需的，因为大多数 OpenVINO™ toolkit 插件需要安装 OpenVINO™ Toolkit Interface 随附的其他驱动程序和程序。

  1. 请从 Intel® 网站下载 OpenVINO™ toolkit 的安装程序：OpenVINO™ toolkit 下载。
  2. 开始安装并按照安装程序的说明进行操作。

在 OpenVINO™ Toolkit 环境中启动 MERLIC

要使用 OpenVINO™ toolkit 进行优化，必须在 OpenVINO™ toolkit 环境中启动 MERLIC，如下所示：

  1. 打开命令提示符窗口。
  2. 切换到 OpenVINO™ toolkit 安装目录的“bin”目录。
  3. 运行以下批处理文件：setupvars.bat
  4. 通过使用完整路径（如“%PROGRAMFILES%\MVTec\MERLIC-5.8\bin\x64-win64\merlic_creator.exe”）调用 MERLIC 可执行文件，从命令行启动 MERLIC。
复制 
cd "C:\Program Files (x86)\Intel\openvino_2024\bin"
setupvars.bat
"C:\Program Files\MVTec\MERLIC-5.8\bin\x64-win64\merlic_creator.exe"

有关安装和环境配置的更多详细信息，请参阅 OpenVINO™ toolkit 网站上的入门指南文档。

在 MERLIC 工具中选择支持 OpenVINO™ Toolkit 的硬件

您可以通过以下 MERLIC 工具使用 OpenVINO™ toolkit 在硬件上进行推理优化：

用于通过 OpenVINO™ toolkit 进行优化的硬件可按如下方式在每个 MERLIC 工具中选择：

  1. 单击参数“处理单元”显示可用硬件的列表。
  2. 从列表中选择支持 OpenVINO™ toolkit 的所需硬件。您可以通过带有前缀“OpenVINO(TM)”的名称来识别相应的硬件。

如果所需硬件在参数“处理单元”处未显示“OpenVINO(TM)”前缀，请确保满足与安装和 OpenVINO™ toolkit 环境有关的所有前提条件，如上所述。

使用第三方库

AI² 接口依靠 NVIDIA® TensorRT™ 和 OpenVINO™ Toolkit Interface 的第三方库。请参阅 MERLIC 安装目录中的“third_party_licenses.txt”文件或“帮助 > 第三方许可”对话框以了解版权和许可信息。

License Agreement for NVIDIA Software Development Kits 可在以下网站找到： License Agreement for NVIDIA Software Development Kits

有关 Intel® Distribution of OpenVINO™ toolkit 的一般法律信息可在以下网站找到：OpenVINO™ 的使用条款

Intel® 软件开发工具和其他 Intel® 软件开发产品的End User License Agreements可在以下网站找到： Intel® End User License Agreements