Deep Learning & Deep 3D Matching mit MVTec HALCON

Bitte beachten Sie: Sobald Sie sich das Video ansehen, werden Informationen darüber an Youtube/Google übermittelt. Weitere Informationen dazu finden Sie unter Google Datenschutzerklärung.

Mit 3D-Matching ist es sogar mit nur einer Kamera oder einem Tiefensensor möglich, beliebige 3D-Objekte zu erkennen und ihre 3D-Lage im Raum zu bestimmen.

Diese Technologie wird vor allem im 3D-Alignment verwendet, um mithilfe von gewöhnlichen 2D-Bildern oder 3D-Abstandsbildern die 3D-Lage (Lage, Position und Orientierung) eines Objekts zu bestimmen. Dies ist u.a. im Bereich Automobilbau & Robotik, bei Pick-and-Place-Anwendungen (vgl. nebenstehendes Video) oder dem „Griff in die Kiste“ der Fall.

Deep 3D Matching

Deep Learning und regelbasierte Verfahren erreichen nicht gekannte Erkennungsraten

Deep 3D Matching ist eine neue, Deep-Learning-basierte Technologie für die schnelle, robuste 3D-Objekterkennung und Lagebestimmung auf Basis von 2D-Bilddern. Da sie nur minimale Parametrisierung erfordert und dafür mit hoher Leistungsfähigkeit punktet, ist die Technologie ideal für Anwendungen – auch unter schwierigen Bedingungen, wie z. B.:

Bin Picking in der Metallverarbeitung und Intralogistik
Robotergestützte Qualitätssicherung in der Automobilindustrie
Objekterkennung mit CAD-Modellen in variantenreichen Fertigungen
Flexible Roboterführung mit Kameraunterstützung

Als eine der ersten Technologien dieser Art kombiniert Deep 3D Matching ausgefeilte Deep-Learning-Algorithmen mit regelbasierten Verfahren und erreicht dadurch bisher nicht gekannte, äußerst robuste Erkennungsraten. Dabei ist die Technologie sehr resilient gegenüber Veränderungen in den Hintergründen, in der geometrischen Anordnung der Objekte sowie hinsichtlich verschiedener Farben oder Materialien der Teile. Auch Fremdkörper im Bild wirken sich nicht negativ auf die Ergebnisse aus.

Flexibler Kamera-Aufbau

Deep 3D Matching result in MVTec HALCON — Drei Kameras generieren Bilder aus verschiedenen Perspektiven.

Anwendungen werden am besten mit einem flexiblen Kamera-Aufbau realisiert:
Eine variable Anzahl von 2D-Kameras generiert Bilder aus verschiedenen Perspektiven. Dadurch werden mehrdeutige und falsch-positive Ergebnisse auf ein Minimum reduziert. Hierbei gilt: Je mehr Kameras installiert werden, desto robuster gestalten sich die Identifikationsraten. Die ideale Anzahl an Kameras ist dabei abhängig von der konkreten Anwendung.

Geringer Kalibrierungsaufwand
Reduzierte Hardwarekosten durch günstige 2D-Kameras
Flexible Positionierung der Kameras, z. B. auf einem beweglichen Roboterarm, um die Genauigkeit zu erhöhen und das Sichtfeld zu erweitern.

Effizientes Training mit synthetisch erzeugten Bilddaten

HALCON's Deep 3D Matching — Das Training inkludiert die automatische Generierung von Bildern, um die Datenvarianz zu erhöhen.

Beim Training reichen ausschließlich synthetisch erzeugte Bilddaten aus. Diese lassen sich mithilfe der CAD-Daten der zu erkennenden Objekte vollständig automatisiert generieren.

Enorme Einsparung von Kosten und Zeit
Kein Aufwand für das Labeln der Bilder
Geringes Maß an Parametrisierung erforderlich für robuste Erkennungsraten

Auf Wunsch kann das Modelltraining auch als kostenpflichtiger Service über MVTec beauftragt werden.

Zu unseren Services

Generischer Box Finder

Der generische Box Finder in HALCOn findet Boxen verschiedener Größen ohne ein Modell trainieren zu müssen. — Der generische Box Finder lokalisiert Boxen unterschiedlicher Größe ohne ein Modell trainieren zu müssen.

Für Pick-and-Place-Anwendungen stellt HALCON den generischen Box Finder zur Verfügung. Dieses Feature ermöglicht es, in einem vordefinierten Raum mit bestimmter Höhe, Breite und Tiefe Boxen unterschiedlicher Größe zu lokalisieren, ohne dass ein Modell trainiert werden muss. Dies macht viele Anwendungen deutlich effizienter – vor allem in der Logistik- und Pharmaindustrie, wo oft Boxen in den unterschiedlichsten Größen eingesetzt werden.

Eine weitere Anwendungsmöglichkeit ist das Messen geometrischer Eigenschaften und die Lokalisierung von Defekten auf komplexen 3D-Objekten nach Durchführung des 3D-Alignment.

Form- und oberflächenbasiertes 3D Matching

Um die 3D-Lage anhand von gewöhnlichen Bildern zu bestimmen, kommt formbasiertes 3D-Matching zum Einsatz:

Dieses erweitert die Anwendungsmöglichkeiten des formbasierten Matchings von 2D zu 3D, indem mehrere 2D-Ansichten des dreidimensionalen Objekts (repräsentiert durch das CAD-Modell) verwendet werden. Zur Bestimmung der 3D-Lage mithilfe von 3D-Abstandsbildern wird oberflächenbasiertes 3D-Matching verwendet. Diese Technologie kombiniert Daten aus 3D-Punktwolken mit Kanteninformationen aus 3D-Abstandsbildern. Dadurch ermöglicht es eine robuste Lagebestimmung auch bei glatten Oberflächen ohne markante Kanten, die in gewöhnlichen Bildern keine signifikanten Grauwert-Kanten zeigen würden. Um eine möglichst hohe zu erzielen, bieten beide Methoden eine Feinjustierung der Position im dreidimensionalen Raum an.

3D-Matching mit MVTec — Lokalisierung eines bekannten Objekts.

3D-Matching und -Alignment — Steuerung des Roboter-Greifprozesses.

[Translate to Deutsch:] 3D object inspection — Durchführung einer dreidimensionalen Oberflächeninspektion mit Hilfe von oberflächenbasiertem 3D-Matching und Objektvergleich.

Mehr Technologien Zu den Produkten