Ein perfektes Match!
Matching gibt es nicht nur auf Dating-Plattformen, sondern auch in der industriellen Bildverarbeitung. Auch hier geht es um passende „Treffer“. Denn Matching-Technologien in einer Machine-Vision-Software sorgen dafür, dass Objekte im Bild zielsicher gefunden werden. Es heißt also nicht: „Mensch findet Lieblingsmensch“, sondern „Software findet Objekt“. Dies bringt in industriellen Prozessketten viele Vorteile mit sich: Roboter können Bauteile sicher handhaben und greifen nicht ins Leere. Werkstücke lassen sich präzise bearbeiten und Produktionsfehler werden bei der Qualitätskontrolle nicht übersehen. Andreas Hofhauser, Product Owner HALCON Library bei MVTec, beleuchtet, warum Matching eine der grundlegendsten Machine-Vision Technologien ist, und was es braucht, damit dem perfekten Match nichts im Wege steht.
Bei nahezu allen Machine-Vision-Applikationen müssen als einer der ersten Schritte Objekte erkannt werden. Nach dem Bildeinzug ist üblicherweise die zentrale Frage: Wo genau im Bild befindet sich das relevante Objekt? Soll beispielsweise ein Roboter einen Gegenstand sicher greifen, muss er dessen Position genau kennen. Auch für viele weitere Aufgaben in Produktion und Montage ist dieses Wissen entscheidend: So müssen etwa bei der Fertigung von Halbleitern sämtliche Mikro-Komponenten exakt lokalisiert werden. Nur so lassen sie sich optimal bearbeiten. Und auch für reibungslose Abfüll- und Kontrollprozesse in der Getränkeindustrie muss die Lage der Flaschen und deren Etiketten genau bekannt sein – nur um einige Beispiele zu nennen.
Schnell, robust und genau – so geht Matching
Die Aufgabe einer Machine-Vision-Software ist es nun, die relevanten Informationen präzise aus den Bilddaten zu generieren. Das Zauberwort hierfür lautet: Matching-Technologien. Wichtig für eine gelungene Lösung sind dabei vor allem drei Parameter: die Ausführungsgeschwindigkeit, die Robustheit des Verfahrens sowie die Genauigkeit der Ergebnisse. Was bedeutet dies nun konkret? Was die Schnelligkeit betrifft, darf das System oft nur wenige Millisekunden für die Verarbeitung eines Bildes benötigen. In puncto Robustheit gilt: Objekte müssen auch in sehr verrauschten Bildern erkannt werden, bei denen selbst das menschliche Auge an seine Grenzen stößt. Und schließlich muss bei manchen Anwendungen die Lokalisierung eine Genauigkeit von 1/20 Pixel und eine Widerholgenauigkeit (d.h. die wiederholte Treffsicherheit beim pixelgenauen Finden von Defekten) von 1/100 Pixel erreichen.
Sind die Performance-Anforderungen erfüllt, können Matching-Technologien vielerlei Machine-Vision-Anwendungen optimieren: So erhalten etwa Roboter das richtige Feintuning, um Objekte sicher zu greifen. Gleichwohl wird bei der Qualitätskontrolle die Frage beantwortet: Entspricht das Bauteil exakt den Vorgaben? Auch lassen sich im Produktions-Workflow mittels Matching Werkstücke für weitere Verarbeitungsschritte an Maschinen präzise ausrichten. Ebenso werden zu vermessende Gegenstände punktgenau lokalisiert. Und schließlich finden Matching-Funktionen auch Etiketten auf Produkten, um Informationen per optischer Zeichenerkennung (OCR) an der richtigen Stelle auszulesen. Entsprechend dieses breiten Anwendungsspektrums kommen Matching-Technologien bei der Fertigung fast jeden Produkts aus unserem täglichen Leben zum Einsatz.
Welche verschiedenen Matching-Verfahren gibt es konkret?
Um den relevanten Teil eines Bildes zielsicher zu finden, umfasst das Matching mehrere spezifische Methoden, die sich grundlegend voneinander unterscheiden: Beim sogenannten korrelationsbasierten Matching werden die Grauwerte, also Graustufen, der einzelnen Pixel miteinander verglichen. D.h., es wird eine Korrelation hergestellt zwischen den Grauwerten des Objekts und denen des Bildinhalts. Dieses Verfahren ist vor allem dann zu empfehlen, wenn die Bil[1]der unscharf sind oder das Objekt keine deutlichen Kanten aufweist. Allerdings erfordert die trennscharfe Unterscheidung der verschiedenen Grauwerte eine leistungsstarke Beleuchtung. Eine weitere Methodik ist das deskriptorbasierte Matching. Das Verfahren kommt aus der akademischen Forschung und ist dort sehr weit verbreitet. Für treffsichere Ergebnisse werden eine klare Textur und markante Punkte benötigt. Da viele Objekte im Produktionsumfeld diese Anforderungen nicht erfüllen, spielt die Technologie in der Industrie nur eine geringe Rolle.
Die Königsdisziplin: Formbasiertes Matching
Das wichtigste Verfahren ist das formbasierte Matching (oder auch Shape-based Matching), mit dem sich verschiedenste Objekte präzise und robust in Echtzeit lokalisieren lassen. Das Besondere: Auch bei rotierten, skalierten oder teilweise überdeckten Objekten liefert die Technologie herausragende, subpixelgenaue Ergebnisse. Sogar dann, wenn die Objekte außerhalb des Bildes liegen oder die Lichtverhältnisse schwanken.
Matching funktioniert auch in 3D: Eine Weiterentwicklung des Shape-based Matching ist hier beispielsweise das perspektivische Matching. Damit lässt sich die Lage beliebig geformter, flacher Objektteile im 3D-Raum bestimmen.
Die Methode eignet sich insbesondere für verkippte, also perspektivisch verformte, Bauteile.
Zudem lassen sich mithilfe des formbasierten 3D-Matchings die Position und Orientierung von beliebig angeordneten 3D-Objekten basierend auf ihrem CAD-Modell im dreidimensionalen Raum verlässlich bestimmen.
MVTec gilt im Hinblick auf Geschwindigkeit, Robustheit und Genauigkeit von Matching-Verfahren weltweit als einer der Technologieführer. So bieten die Softwareprodukte HALCON und MERLIC modernste Matching-Features. Zu diesen Innovationen zählt das Deep 3D Matching. Hierbei wird ein Deep-Learning-Netz anhand eines CAD-Modells vom jeweiligen Objekt umfassend trainiert. Das Verfahren führt zu sehr robusten Ergebnissen und hebt insbesondere die Performance von industriellen Bin-Picking- und Pick-and-Place-Anwendungen auf eine neue Stufe. Und beim formbasierten Matching ist beispielsweise HALCON‘s Extended Parameter Estimation eine sehr neue Entwicklung. Damit wird es möglich, eine Vielzahl von Parametern für entsprechende Matching-Anwendungen automatisch zu schätzen, anstatt sie mit hohem Aufwand manuell einzustellen. So können selbst Bildverarbeitungseinsteiger komplexe Parametrisierungen vornehmen, wofür sonst Experten nötig wären.
Allen Matching-Technologien ist gemein, dass sie die industrielle Automatisierung in verschiedensten Bereichen erheblich vorantreiben.
Dadurch geht ihr Einsatz in der Regel mit Kosten- und Aufwandsersparnissen sowie mit verbesserter Produktionsqualität einher. So ist „der perfekte Match“ einer der zentralen Aspekte in modernen Machine-Vision-Systemen und wird dies auch in Zukunft bleiben.