AI²-Schnittstellen für Tools mit Deep Learning

MERLIC umfasst Artificial Intelligence Acceleration-Schnittstellen (AI²) für das NVIDIA® TensorRT™ SDK und die Intel® Distribution of OpenVINO™ toolkit. Diese ermöglichen eine vorteilhafte Verwendung von KI-Beschleuniger-Hardware, die mit dem NVIDIA® TensorRT™ SDK oder dem OpenVINO™ toolkit kompatibel ist. In MERLIC-Tools mit Deep Learning-Funktionalität können Sie diese KI-Beschleuniger-Hardware nutzen und eine Recheneinheit auswählen, die NVIDIA® TensorRT™ oder das OpenVINO™ toolkit unterstützt. So kann MERLIC optimierte Inferenzberechnungen auf der jeweiligen Hardware durchführen. Dadurch können Deep Learning-Inferenzberechnungen auf derartigen Recheneinheiten, d. h. NVIDIA®-GPUs und Intel®-Prozessoren wie CPUs, GPUs, NPUs und VPUs, erheblich beschleunigt werden. Durch die Erweiterung der unterstützten Intel®- und NVIDIA®-Einheiten haben Sie jetzt noch mehr Flexibilität bei der Auswahl der Hardware zur Optimierung von Inferenzberechnungen in Deep Learning-Anwendungen. Die meisten MERLIC-Tools mit Deep Learning-Technologie unterstützen auch die Verwendung von Deep Learning-Modellen, die für eine AI²-Schnittstelle optimiert wurden, wenn das trainierte Modell exportiert wird. Bei Verwendung eines optimierten Modells wird die Ladezeit der MVApp verbessert und die für das Modell benötigte Speicherkapazität reduziert.

Unterstützte Hardware und Plugins

Die AI²-Schnittstelle in MERLIC unterstützt folgende Hardware und Plugins:

NVIDIA® TensorRT™
  • NVIDIA®-GPUs (kein Installationsschritt erforderlich)

Weitere Informationen zu unterstützten Plattformen, Funktionen und Hardwarefähigkeiten finden Sie in der Dokumentation von NVIDIA® TensorRT™ unter: Support Matrix.

OpenVINO™ Toolkit
  • CPUs
  • Intel®-GPUs
  • Intel®-NPUs
  • Intel®Movidius™-VPUs: HDDL-Plugin und MYRIAD-Plugin

Weitere Informationen zu den Einheiten und Plugins finden Sie in der Dokumentation zum OpenVINO™ toolkit unter: Supported Devices.

Systemanforderungen

Wenn Sie die Intel® Distribution of OpenVINO™ toolkit verwenden möchten, müssen Sie sicherstellen, dass zusätzlich zu den Systemanforderungen von MERLIC die Systemanforderungen für das OpenVINO™ toolkit erfüllt werden. Weitere Informationen finden Sie in der jeweiligen Dokumentation:

NVIDIA® TensorRT™ in MERLIC verwenden

Sie können NVIDIA® TensorRT™, d. h. NVIDIA®-GPUs, ohne zusätzlichen Installationsaufwand für die Optimierung von Inferenzberechnungen auf der Hardware verwenden. Alle erforderlichen Treiber sind im Lieferumfang von MERLIC enthalten. Wenn eine NVIDIA®-GPU in Ihrem System verfügbar ist, können Sie diese in den folgenden MERLIC-Tools verwenden:

Die Hardware für die Optimierung über NVIDIA® TensorRT™ kann in den betreffenden MERLIC-Tools wie folgt ausgewählt werden:

  1. Klicken Sie auf den Parameter „Recheneinheit“, um die Liste der verfügbaren Hardware anzuzeigen.
  2. Wählen Sie die gewünschte NVIDIA®-GPU in der Liste aus. Sie können die entsprechende Hardware am Namenspräfix „TensorRT(TM)“ erkennen.

OpenVINO™ Toolkit in MERLIC verwenden

In MERLIC können Sie Hardware, die das OpenVINO™ toolkit unterstützt, in allen MERLIC-Tools mit Deep Learning-Funktionalität verwenden, z. B. in Bild klassifizieren. Abhängig vom Typ der Hardware, die Sie verwenden möchten, kann es jedoch erforderlich sein, zuerst das OpenVINO™ toolkit einzurichten, damit die entsprechende Hardware in MERLIC verwendet werden kann.

Eine Intel®-GPU, Intel®-NPU oder CPU mit der OpenVINO™ Toolkit verwenden

Wenn Sie eine Intel®-GPU, Intel®-NPU oder CPU mit dem OpenVINO™ toolkit verwenden möchten, ist keine zusätzliche Installation notwendig. Sie können sie direkt nach der MERLIC-Installation verwenden. Ist dies nicht der Fall, ist möglicherweise ein zusätzliches Treiber-Update erforderlich.

Weitere Informationen zu den Treibern finden Sie in der OpenVINO™ toolkit-Dokumentation: Zusätzliche Konfigurationen.

Eine Intel® Movidius™-VPU mit dem OpenVINO™ Toolkit verwenden

Um Intel® Movidius™-VPUs mit dem OpenVINO™ toolkit als Recheneinheit in MERLIC verwenden zu können, müssen Sie zuerst die Intel® Distribution des OpenVINO™-Toolkits installieren. Darüber hinaus müssen Sie MERLIC in einer OpenVINO™ toolkit-Umgebung starten, damit die VPUs mit OpenVINO™ toolkit-Unterstützung erkannt werden und in MERLIC verfügbar sind.

Weitere Informationen zur Installation und zum Starten von MERLIC in einer OpenVINO™ toolkit-Umgebung finden Sie in den folgenden Abschnitten.

Intel® Distribution of OpenVINO™ Toolkit installieren

Um eine VPU mit der AI²-Schnittstelle in Tools wie „Bild klassifizieren“ als Recheneinheit verwenden zu können, ist eine installierte Version der Intel® Distribution des OpenVINO™-Toolkits erforderlich. Dies ist notwendig, weil für die meisten OpenVINO™ toolkit-Plugins weitere Treiber und Programm installiert werden müssen, die mit dem OpenVINO™ Toolkit Interface bereitgestellt werden.

  1. Laden Sie das Installationsprogramm für das OpenVINO™ toolkit von der Intel®-Website herunter: OpenVINO™ toolkit-Download
  2. Starten Sie die Installation und befolgen Sie die Anweisungen im Installationsprogramm.

MERLIC in einer OpenVINO™ Toolkit-Umgebung starten

Um das OpenVINO™ toolkit für die Optimierung zu verwenden, muss MERLIC wie folgt in einer OpenVINO™ toolkit-Umgebung gestartet werden:

  1. Öffnen Sie eine Eingabeaufforderung.
  2. Wechseln Sie in das bin-Verzeichnis im OpenVINO™ toolkit-Installationsverzeichnis.
  3. Führen Sie die folgende Batchdatei aus: setupvars.bat
  4. Starten Sie MERLIC über die Kommandozeile, indem Sie die ausführbare MERLIC-Datei mit dem vollständigen Pfad aufrufen, z. B. „%PROGRAMFILES%\MVTec\MERLIC-5.8\bin\x64-win64\merlic_creator.exe“.
Kopieren 
cd "C:\Program Files (x86)\Intel\openvino_2024\bin"
setupvars.bat
"C:\Program Files\MVTec\MERLIC-5.8\bin\x64-win64\merlic_creator.exe"

Ausführlichere Informationen zur Installation und zur Konfiguration der Umgebung finden Sie in der Dokumentation Get Started auf der OpenVINO™ toolkit-Website.

Hardware mit OpenVINO™ Toolkit-Unterstützung in einem MERLIC-Tool auswählen

Sie können das OpenVINO™ toolkit in den folgenden MERLIC-Tools für die Optimierung von Inferenzberechnungen verwenden:

Die Hardware für die Optimierung über das OpenVINO™ toolkit kann in den betreffenden MERLIC-Tools wie folgt ausgewählt werden:

  1. Klicken Sie auf den Parameter „Recheneinheit“, um die Liste der verfügbaren Hardware anzuzeigen.
  2. Wählen Sie die gewünschte Hardware mit OpenVINO™ toolkit-Unterstützung in der Liste aus. Sie können die entsprechende Hardware am Namenspräfix „OpenVINO(TM)“ erkennen.

Vergewissern Sie sich, dass alle Voraussetzungen in Bezug auf Installation und OpenVINO™ toolkit-Umgebung erfüllt sind (siehe Beschreibung oben), wenn die gewünschte Hardware im Parameter „Recheneinheit“ nicht mit dem Präfix „OpenVINO(TM)“ angezeigt wird.

Drittanbieterbibliotheken verwenden

Die AI²-Schnittstellen hängen von den Drittanbieterbibliotheken von NVIDIA® TensorRT™ und für das OpenVINO™ Toolkit Interface ab. Copyright- und Lizenzinformationen finden Sie in der Datei „third_party_licenses.txt“ im MERLIC-Installationsverzeichnis oder im Dialogfeld „Hilfe > Lizenzen von Drittanbietern“.

Das License Agreement for NVIDIA Software Development Kits finden Sie auf der folgenden Website: License Agreement for NVIDIA Software Development Kits

Details zu allgemeinen Rechtsinformationen zur Intel® Distribution of OpenVINO™ toolkit finden Sie auf der Website mit Nutzungsbedingungen für OpenVINO™

Die End User License Agreements für Intel®-Softwareentwicklungstools und andere Intel®-Softwareentwicklungsprodukte finden Sie auf der folgenden Website: Intel® End User License Agreements