Auf diese Weise lassen sich auf Intel-Prozessoren einschließlich CPUs, GPUs und VPUs für Schlüsselaufgaben deutlich höhere Geschwindigkeiten bei Deep-Learning-Inferenzen realisieren. Durch die Erweiterung des unterstützten Hardware-Spektrums können Nutzer nun auf die Performance einer breiten Palette von Intel-Devices zurückgreifen, um ihre Deep-Learning-Anwendungen zu beschleunigen, und sind nicht mehr auf wenige, sehr spezifische Geräte beschränkt. Kunden sind dadurch noch flexibler bei der Wahl ihrer Hardware. Dabei funktioniert die Integration nahtlos und ist nicht an bestimmte Hardware-Spezifika gebunden. Allein durch die Änderung von Parametern lässt sich die Inferenz einer bestehenden Deep-Learning-Applikation nun auch auf Geräten ausführen, die vom OpenVINO Toolkit unterstützt werden.
Generische Unterstützung von KI-Beschleuniger-Hardware
Das OpenVINO Toolkit Plugin von MVTec basiert auf dem neuen HALCON AI Accelerator Interface (AI²). Dieses generische Interface ermöglicht es Kunden, für den Inferenz-Teil ihrer Deep-Learning-Applikationen unterstützte KI-Beschleuniger-Hardware zu verwenden – schnell und komfortabel. Solche speziellen Devices sind gerade für Anwendungen im Embedded-Umfeld weit verbreitet, existieren aber auch immer mehr im PC-Umfeld. Durch das Abstrahieren der Deep-Learning-Modelle von spezifischer Hardware ist das AI Accelerator Interface besonders zukunftssicher. Neben von MVTec zur Verfügung gestellten Plugins ist auch die Anbindung kundenspezifischer KI-Beschleuniger-Hardware möglich. Dabei lassen sich über AI² nicht nur typische Deep-Learning-Anwendungen beschleunigen. Auch alle „klassischen“ Bildverarbeitungs-Methoden mit integrierten Deep-Learning-Funktionen wie etwa HALCONs DeepOCR profitieren davon.
„Dank der nahtlosen Integration des OpenVINO Toolkits als AI²-Plugin lässt sich durch einfaches Hinzufügen von unterstützten Intel-Geräten die Inferenz in Anwendungen ohne weitere Änderungen deutlich beschleunigen“, bestätigt Thomas Hopfner, Product Manager Licensing & Interfaces bei der MVTec Software GmbH. „Zudem reduziert die Verwendung spezieller Beschleuniger-Hardware die zeitliche Varianz und führt damit zu deterministischen Ausführungszeiten, was gerade im Bereich Fertigungs-Automation ein kritischer Faktor ist“, fügt er ergänzend hinzu.
Und Alex Myakov, Chief Computer Vision Advocate bei der Intel Corporation, ergänzt: „Mit der Veröffentlichung dieses Plugins unterstreicht MVTec die zunehmende Marktrelevanz des OpenVINO Toolkits. Durch unsere Kooperation können MVTec-Kunden aus dem Industrial-Machine-Vision-Markt nun sehr einfach auf unsere breite Hardware-Palette aus CPUs, GPUs und VPUs zugreifen und sind dadurch in der Lage, ihre Deep-Learning-Applikationen noch effizienter umzusetzen.“