AI²-Schnittstellen für Tools mit Deep Learning

MERLIC umfasst Artificial Intelligence Acceleration-Schnittstellen (AI²) für das NVIDIA® TensorRT™ SDK und die Intel® Distribution of OpenVINO™ toolkit. Diese ermöglichen eine vorteilhafte Verwendung von KI-Beschleuniger-Hardware, die mit dem NVIDIA® TensorRT™ SDK oder dem OpenVINO™ toolkit kompatibel ist. In MERLIC-Tools mit Deep Learning-Funktionalität können Sie diese KI-Beschleuniger-Hardware nutzen und eine Recheneinheit auswählen, die NVIDIA® TensorRT™ oder das OpenVINO™ toolkit unterstützt. So kann MERLIC optimierte Inferenzberechnungen auf der jeweiligen Hardware durchführen. Dadurch können Deep Learning-Inferenzberechnungen auf derartigen Recheneinheiten, d. h. NVIDIA®-GPUs und Intel®-Prozessoren wie CPUs, GPUs und VPUs, erheblich beschleunigt werden. Durch die Erweiterung der unterstützten Intel®- und NVIDIA®-Einheiten haben Sie jetzt noch mehr Flexibilität bei der Auswahl der Hardware zur Optimierung von Inferenzberechnungen in Deep Learning-Anwendungen.

Unterstützte Hardware und Plugins

Die AI²-Schnittstelle in MERLIC unterstützt folgende Hardware und Plugins:

NVIDIA® TensorRT™
  • NVIDIA®-GPUs (kein Installationsschritt erforderlich)

Weitere Informationen zu unterstützten Plattformen, Funktionen und Hardwarefähigkeiten finden Sie in der Dokumentation von NVIDIA® TensorRT™ unter: Support Matrix.

OpenVINO™ Toolkit
  • CPUs (kein Installationsschritt erforderlich)
  • Intel®-GPUs
  • Intel®Movidius™-VPUs: HDDL-Plugin und MYRIAD-Plugin

Weitere Informationen zu den Einheiten und Plugins finden Sie in der Dokumentation zum OpenVINO™ toolkit unter: Supported Devices.

Systemanforderungen

Wenn Sie die Intel® Distribution of OpenVINO™ toolkit verwenden möchten, müssen Sie sicherstellen, dass zusätzlich zu den Systemanforderungen von MERLIC die Systemanforderungen für das OpenVINO™ toolkit erfüllt werden. Weitere Informationen finden Sie in der jeweiligen Dokumentation:

NVIDIA® TensorRT™ in MERLIC verwenden

Sie können NVIDIA® TensorRT™, d. h. NVIDIA®-GPUs, ohne zusätzlichen Installationsaufwand für die Optimierung von Inferenzberechnungen auf der Hardware verwenden. Alle erforderlichen Treiber sind im Lieferumfang von MERLIC enthalten. Wenn eine NVIDIA®-GPU in Ihrem System verfügbar ist, können Sie diese in den folgenden MERLIC-Tools verwenden:

Die Hardware für die Optimierung über NVIDIA® TensorRT™ kann in den betreffenden MERLIC-Tools wie folgt ausgewählt werden:

  1. Klicken Sie auf den Parameter „Recheneinheit“, um die Liste der verfügbaren Hardware anzuzeigen.
  2. Wählen Sie die gewünschte NVIDIA®-GPU in der Liste aus. Sie können die entsprechende Hardware am Namenspräfix „TensorRT(TM)“ erkennen.

OpenVINO™ Toolkit in MERLIC verwenden

In MERLIC können Sie Hardware, die das OpenVINO™ toolkit unterstützt, in allen MERLIC-Tools mit Deep Learning-Funktionalität verwenden, z. B. in Bild klassifizieren. Abhängig vom Typ der Hardware, die Sie verwenden möchten, kann es jedoch erforderlich sein, zuerst das OpenVINO™ toolkit einzurichten, damit die entsprechende Hardware in MERLIC verwendet werden kann.

Eine CPU mit der OpenVINO™ Toolkit verwenden

Wenn Sie eine CPU mit dem OpenVINO™ toolkit verwenden möchten, ist keine zusätzliche Installation notwendig. Sie können sie direkt nach der MERLIC-Installation verwenden.

Eine Intel®-GPU oder Intel® Movidius™-VPU mit der OpenVINO™ Toolkit verwenden

Um Intel®-GPUs und Intel® Movidius™-VPUs mit dem OpenVINO™ toolkit als Recheneinheit in MERLIC verwenden zu können, müssen Sie zuerst die Intel® Distribution of OpenVINO™ toolkit installieren. Darüber hinaus müssen Sie MERLIC in einer OpenVINO™ toolkit-Umgebung starten, damit die GPUs und VPUs mit OpenVINO™ toolkit-Unterstützung erkannt werden und in MERLIC verfügbar sind.

Weitere Informationen zur Installation und zum Starten von MERLIC in einer OpenVINO™ toolkit-Umgebung finden Sie in den folgenden Abschnitten.

Intel® Distribution of OpenVINO™ Toolkit installieren

Um eine GPU oder VPU mit der AI²-Schnittstelle in den Tools „Bild klassifizieren“ und „Anomalien finden“ als Recheneinheit verwenden zu können, ist eine installierte Version der Intel® Distribution of OpenVINO™ toolkit erforderlich. Dies ist notwendig, weil für die meisten OpenVINO™ toolkit-Plugins weitere Treiber und Programm installiert werden müssen, die mit dem OpenVINO™ Toolkit Interface bereitgestellt werden.

  1. Laden Sie das Installationsprogramm für das OpenVINO™ toolkit von der Intel®-Website herunter: OpenVINO™ toolkit-Download
  2. Starten Sie die Installation und befolgen Sie die Anweisungen im Installationsprogramm.

MERLIC in einer OpenVINO™ Toolkit-Umgebung starten

Um das OpenVINO™ toolkit für die Optimierung auf GPUs oder VPUs verwenden zu können, muss MERLIC wie folgt in einer OpenVINO™ toolkit-Umgebung gestartet werden:

  1. Öffnen Sie eine Eingabeaufforderung.
  2. Wechseln Sie in das bin-Verzeichnis im OpenVINO™ toolkit-Installationsverzeichnis.
  3. Führen Sie die folgende Batchdatei aus: setupvars.bat
  4. Starten Sie MERLIC über die Kommandozeile, indem Sie die ausführbare MERLIC-Datei mit dem vollständigen Pfad aufrufen, z. B. „%PROGRAMFILES%\MVTec\MERLIC-5.6\bin\x64-win64\merlic_creator.exe“.
Kopieren 
cd "C:\Program Files (x86)\Intel\openvino_2021.4.689\bin"
setupvars.bat
"C:\Program Files\MVTec\MERLIC-5.6\bin\x64-win64\merlic_creator.exe"

Ausführlichere Informationen zur Installation und zur Konfiguration der Umgebung finden Sie in der Dokumentation Get Started auf der OpenVINO™ toolkit-Website.

Hardware mit OpenVINO™ Toolkit-Unterstützung in einem MERLIC-Tool auswählen

Sie können das OpenVINO™ toolkit in den folgenden MERLIC-Tools für die Optimierung von Inferenzberechnungen verwenden:

Die Hardware für die Optimierung über das OpenVINO™ toolkit kann in den betreffenden MERLIC-Tools wie folgt ausgewählt werden:

  1. Klicken Sie auf den Parameter „Recheneinheit“, um die Liste der verfügbaren Hardware anzuzeigen.
  2. Wählen Sie die gewünschte Hardware mit OpenVINO™ toolkit-Unterstützung in der Liste aus. Sie können die entsprechende Hardware am Namenspräfix „OpenVINO(TM)“ erkennen.

Vergewissern Sie sich, dass alle Voraussetzungen in Bezug auf Installation und OpenVINO™ toolkit-Umgebung erfüllt sind (siehe Beschreibung oben), wenn die gewünschte Hardware im Parameter „Recheneinheit“ nicht mit dem Präfix „OpenVINO(TM)“ angezeigt wird.

Drittanbieterbibliotheken verwenden

Die AI²-Schnittstellen hängen von den Drittanbieterbibliotheken von NVIDIA® TensorRT™ und für das OpenVINO™ Toolkit Interface ab. Copyright- und Lizenzinformationen finden Sie in der Datei „third_party_licenses.txt“ im MERLIC-Installationsverzeichnis oder im Dialogfeld „Hilfe > Über“.

Das License Agreement for NVIDIA Software Development Kits finden Sie auf der folgenden Website: License Agreement for NVIDIA Software Development Kits

Details zu allgemeinen Rechtsinformationen zur Intel® Distribution of OpenVINO™ toolkit finden Sie auf der Website mit Rechtsinformationen für das OpenVINO™ toolkit.

Die End User License Agreements für Intel®-Softwareentwicklungstools und andere Intel®-Softwareentwicklungsprodukte finden Sie auf der folgenden Website: Intel® End User License Agreements