3D-Vision-Technologie – 3D-Matching

Deep 3D Matching

Deep 3D Matching ist eine neue, Deep-Learning-basierte Technologie für die schnelle, robuste 3D-Objekterkennung und Lagebestimmung auf Basis von 2D-Bildern. Da sie nur minimale Parametrisierung erfordert und dafür mit hoher Leistungsfähigkeit punktet, ist die Technologie ideal für Anwendungen wie Bin Picking und Roboterhandling geeignet – auch unter schwierigen Bedingungen.  

Mit HALCON können Benutzer ihre 3D-Matching-Modelle nun eigenständig trainieren – ohne Unterstützung durch MVTec. Ein neuer Renderer erlaubt es, Trainingsdaten vom CAD-Modell des betreffenden Objekts zu generieren und ermöglicht damit das Training auch ausschließlich mit synthetisch erzeugten, gelabelten Daten. Dies erlaubt ein sehr flexibles Setup und kann unterschiedliche Objekteigenschaften wie Reflexionen und Transparenz abdecken. 

Mit der Trainingsfunktion können Kunden Deep-3D-Matching-Anwendungen erstellen, die genau auf ihre individuellen Anforderungen und Umgebungen zugeschnitten sind. Auf Wunsch kann das Modelltraining auch als kostenpflichtige Dienstleistung über MVTec beauftragt werden. 

Generischer Box Finder

Für Pick-and-Place-Anwendungen stellt HALCON den generischen Box Finder zur Verfügung. Dieses Feature ermöglicht es, in einem vordefinierten Raum mit bestimmter Höhe, Breite und Tiefe Boxen unterschiedlicher Größe zu lokalisieren, ohne dass ein Modell trainiert werden muss. Dies macht viele Anwendungen deutlich effizienter – vor allem in der Logistik- und Pharmaindustrie, wo oft Boxen in den unterschiedlichsten Größen eingesetzt werden.

Eine weitere Anwendungsmöglichkeit ist das Messen geometrischer Eigenschaften und die Lokalisierung von Defekten auf komplexen 3D-Objekten nach Durchführung des 3D-Alignment.

Form- und oberflächenbasiertes 3D Matching

Um die 3D-Lage anhand von gewöhnlichen Bildern zu bestimmen, kommt formbasiertes 3D-Matching zum Einsatz:

Dieses erweitert die Anwendungsmöglichkeiten des formbasierten Matchings von 2D zu 3D, indem mehrere 2D-Ansichten des dreidimensionalen Objekts (repräsentiert durch das CAD-Modell) verwendet werden. Zur Bestimmung der 3D-Lage mithilfe von 3D-Abstandsbildern wird oberflächenbasiertes 3D-Matching verwendet. Diese Technologie kombiniert Daten aus 3D-Punktwolken mit Kanteninformationen aus 3D-Abstandsbildern. Dadurch ermöglicht es eine robuste Lagebestimmung auch bei glatten Oberflächen ohne markante Kanten, die in gewöhnlichen Bildern keine signifikanten Grauwert-Kanten zeigen würden. Um eine möglichst hohe zu erzielen, bieten beide Methoden eine Feinjustierung der Position im dreidimensionalen Raum an.