AI² ディープラーニングを使用するツールのインターフェース

MERLIC には NVIDIA® TensorRT™ SDK および Intel® Distribution of OpenVINO™ toolkit 用の Artificial Intelligence Acceleration インターフェース (AI²) が付属しています。これらにより、NVIDIA® TensorRT™ SDK または OpenVINO™ toolkit と互換性のある AI アクセラレーターハードウェアを利用できます。ディープラーニング機能を提供する MERLIC ツールでは、これらの AI アクセラレーターハードウェアを利用して、NVIDIA® TensorRT™ または OpenVINO™ toolkit をサポートする処理ユニットを選択できます。このようにして、MERLIC はそれぞれのハードウェアで最適化された推論を実行します。結果として、これらのタイプの処理ユニット、つまり、CPU、GPU、VPU を含む NVIDIA® GPU または Intel® プロセッサで、大幅に高速化されたディープラーニング推論時間を実現できます。サポート対象となる Intel® および NVIDIA® デバイスの範囲を拡大することで、ディープラーニングアプリケーションの推論最適化用のハードウェアをさらに柔軟に選択できるようになりました。ディープラーニング技術を搭載した MERLIC ツールの多くは、トレーニングしたモデルをエクスポートするときに AI² インターフェース向けに最適化されたディープラーニングモデルの使用をサポートしています。こうして最適化されたモデルを使用することで、MVApp の読み込み時間が短縮され、モデルに必要なメモリの量が抑制されます。

サポートされているハードウェアとプラグイン

次のハードウェアとプラグインは、MERLIC の AI² インターフェースでサポートされています。

NVIDIA® TensorRT™
  • NVIDIA® GPU (インストールステップは不要)

サポートされているプラットフォーム、機能、ハードウェア機能の詳細については、NVIDIA® TensorRT™ のドキュメントを参照してください。サポートマトリクス。

OpenVINO™ Toolkit
  • CPU (インストールステップは不要)
  • Intel® GPU
  • Intel®Movidius™ VPU: HDDL プラグインと MYRIAD プラグイン

デバイスとプラグインの詳細については、OpenVINO™ toolkit のドキュメントを参照してください。サポートされるデバイス。

システム要件

Intel® Distribution of OpenVINO™ toolkit を使用する場合は、MERLIC のシステム要件に加えて、OpenVINO™ toolkit のシステム要件が満たされていることを確認する必要があります。詳細については、それぞれのドキュメンテーションを参照してください。

MERLIC での NVIDIA® TensorRT™ の使用

NVIDIA® TensorRT™、つまり NVIDIA® GPU を、追加のインストール作業なしでハードウェアでの推論最適化に使用できます。必要なすべてのドライバーは MERLIC で提供されます。NVIDIA® GPU がシステムで使用可能な場合は、次の MERLIC ツールで使用できます。

NVIDIA® TensorRT™ を介した最適化のためのハードウェアは、これらの各 MERLIC ツールで次のように選択できます。

  1. パラメーター「処理ユニット」をクリックして、使用可能なハードウェアのリストを表示します。
  2. リストから目的の NVIDIA® GPU を選択します。それぞれのハードウェアは、接頭辞「TensorRT(TM)」が付いた名前で識別できます。

MERLIC での OpenVINO™ Toolkit の使用

MERLIC では、ディープラーニング機能を提供するすべての OpenVINO™ toolkit ツールで MERLIC をサポートする、「画像を分類」などのハードウェアを使用できます。ただし、使用するハードウェアの種類によっては、MERLIC でそれぞれのハードウェアを使用するために、最初に OpenVINO™ toolkit を設定することが必要な場合があります。

OpenVINO™ Toolkit での CPU の使用

OpenVINO™ toolkit で CPU を使用する場合は、追加インストールは必要ありません。MERLIC のインストール後に、すぐに使用することができます。

OpenVINO™ Toolkit での Intel® GPU または Intel® Movidius™ VPU の使用

MERLIC で OpenVINO™ toolkit を処理ユニットとしてIntel® GPU および Intel® Movidius™ VPU を使用するには、最初に Intel® Distribution of OpenVINO™ toolkit をインストールする必要があります。さらに、OpenVINO™ toolkit をサポートする GPU と VPU が MERLIC で認識され使用可能であることを確認できる OpenVINO™ toolkit 環境で、MERLIC を開始する必要があります。

インストールの詳細と、OpenVINO™ toolkit 環境で MERLIC を開始する方法については、次のセクションを参照してください。

Intel® Distribution of OpenVINO™ Toolkit のインストール

ツール「画像を分類」および「異常を検出」の処理ユニットとして AI² インターフェースを備えた GPU または VPU を使用するには、インストール済みバージョンの Intel® Distribution of OpenVINO™ toolkit が必要です。ほとんどの OpenVINO™ toolkit プラグインでは、OpenVINO™ Toolkit Interface に付属している追加のドライバーとプログラムをインストールする必要があるため、これが必要です。

  1. Intel® のウェブサイトから OpenVINO™ toolkit のインストーラーをダウンロードします。OpenVINO™ toolkit のダウンロード。
  2. インストールを開始し、インストーラーの指示に従います。

OpenVINO™ Toolkit 環境での MERLIC の開始

GPU または VPU での最適化に OpenVINO™ toolkit を使用するには、MERLIC を次のように OpenVINO™ toolkit 環境で開始する必要があります。

  1. コマンドプロンプトを開きます。
  2. OpenVINO™ toolkit インストールディレクトリの「bin」ディレクトリに変更します。
  3. 次のバッチファイルを実行します: setupvars.bat
  4. MERLIC 実行可能ファイルをフルパスで呼び出して、コマンドラインから MERLIC を開始します (「%PROGRAMFILES%\MVTec\MERLIC-5.7\bin\x64-win64\merlic_creator.exe」など)。
コピー 
cd "C:\Program Files (x86)\Intel\openvino_2024\bin"
setupvars.bat
"C:\Program Files\MVTec\MERLIC-5.7\bin\x64-win64\merlic_creator.exe"

環境のインストールと構成の詳細については、OpenVINO™ toolkit ウェブサイトのドキュメント「はじめに」を参照してください。

MERLIC ツールでの OpenVINO™ Toolkit サポートのあるハードウェアの選択

次の MERLIC ツールで、OpenVINO™ toolkit をハードウェアの推論最適化に使用できます。

OpenVINO™ toolkit を介した最適化のためのハードウェアは、これらの各 MERLIC ツールで次のように選択できます。

  1. パラメーター「処理ユニット」をクリックして、使用可能なハードウェアのリストを表示します。
  2. リストから OpenVINO™ toolkit サポートがある目的のハードウェアを選択します。それぞれのハードウェアは、接頭辞「OpenVINO(TM)」が付いた名前で識別できます。

パラメーター「処理ユニット」に接頭辞が「OpenVINO(TM)」である目的のハードウェアが表示されない場合は、上記のように、インストールと OpenVINO™ toolkit 環境に関するすべての前提条件が満たされていることを確認してください。

サードパーティライブラリの使用

AI² インターフェースは、NVIDIA® TensorRT™ および OpenVINO™ Toolkit Interface のサードパーティライブラリに依存しています。著作権およびライセンス情報については、MERLIC インストールディレクトリまたは「ヘルプ > サードパーティライセンス」ダイアログにあるファイル「third_party_licenses.txt」を参照してください。

License Agreement for NVIDIA Software Development Kits は、次のウェブサイトにあります。 License Agreement for NVIDIA Software Development Kits

Intel® Distribution of OpenVINO™ toolkit に関する一般的な法的情報の詳細は、次のウェブサイトにあります。OpenVINO™ の利用規約

Intel® ソフトウェア開発ツールおよびその他の Intel® ソフトウェア開発製品の End User License Agreements は、次のウェブサイトにあります。 Intel® End User License Agreements