Robotern das Sehen beibringen
Für durchgängig automatisierte Pick-and-Place-Tätigkeiten ist es wichtig, dass Roboter auch unterschiedlich geformte und auch durchscheinende Objekte sicher greifen können. Deep-Learning-Methoden in einer leistungsfähigen Machine-Vision-Software ermöglichen das sichere Greifen auch bei komplexen Oberflächen. Eine solch anspruchsvolle Anwendung hat das Unternehmen TEKVISA umgesetzt.
Plastikbeutel mit Montage-Zubehör können viele verschiedene Formen aufweisen. In industriellen Prozessen kommt es daher oft zu Schwierigkeiten beim präzisen Identifizieren und automatisierten Greifen solcher Beutel, vor allem wenn sie ungeordnet liegen und/oder aus durchscheinendem Material bestehen. Infolgedessen leidet die Produktivität, etwa bei Pick-and-Place-Tätigkeiten. Genau diese Herausforderung sind wir angegangen – und zwar mit Machine Vision.
Zubehörbeutel präzise identifizieren und positionieren
Für einen führenden Hersteller von Wandtafeln für Büros wurde ein robotergestütztes Kommissionierungssystem entwickelt, das auf industrieller Bildverarbeitung mit Deep-Learning-Algorithmen basiert. Die Lösung hat die Aufgabe, Kunststoffbeutel mit Zubehör für die Wandtafeln präzise zu detektieren, damit Roboter sie sicher greifen können. Um die Produktivität zu steigern, sollte der gesamte Workflow durchgängig automatisiert werden. Ziel dabei war es auch, die Mitarbeiter von monotonen Routine-Aufgaben zu entlasten, damit sie sich anspruchsvolleren Tätigkeiten widmen können.
Bei der Entwicklung einer entsprechenden Automatisierungslösung war eine Besonderheit zu beachten: Die Beutel enthalten eine Vielfalt verschiedener Arten von Zubehör. Dazu zählen beispielsweise Befestigungsmaterial wie Schrauben, Muttern und Dübel, Stifte und Textmarker zum Beschriften der weißen Wandtafeln, Pinnadeln für die Korkwandplatten oder auch Schwämme zum Abwischen der Wandoberflächen. Folglich können die Beutel in Größe und Gewicht variieren sowie viele unterschiedliche Erscheinungsformen aufweisen. Darüber hinaus sind sie willkürlich geformt und aufgrund ihrer Elastizität möglicherweise zusätzlich auch zusammengedrückt, auseinandergezogen oder auf eine andere Art verformt.
Hohe Produktvarianz stellte Entwickler vor Herausforderungen
Diese enorm hohe Produktvarianz stellte Automatisierungsingenieure vor große Herausforderungen: Ziel war die Entwicklung einer flexiblen Lösung auf Basis von Machine Vision, die alle erdenklichen Arten und Ausprägungen von Zubehörbeuteln verlässlich erkennt und damit sichere Greifprozesse ermöglicht. Wichtig dabei: Das System sollte jeweils diejenigen Beutel auf dem Förderband identifizieren, die sich aufgrund ihrer Position und Ausrichtung am besten vom Roboterarm aufnehmen lassen.
Das komplette Setup besteht aus einer hochauflösenden Farbflächenkamera und einer speziellen Beleuchtung, welche die Reflexionen minimiert und damit den Weg für die präzise Erkennung des jeweiligen Beutelinhalts ebnet. Herzstück der Anwendung ist ein innovatives Machine-Vision-System. Es identifiziert die auf dem Förderband liegenden Kunststoffbeutel zielgenau, sodass ein Roboter sie exakt greifen kann. Dieser platziert sie dann kurz vor dem finalen Verpackungsprozess mit hoher Präzision auf der zu verpackenden Wandtafel.
Kombination von klassischer Bildverarbeitung und Deep Learning
Anhand der vielen verschiedenen Erscheinungsformen und Positionen der Beutel wählt die Bildverarbeitungslösung die jeweils optimalen Kandidaten für die Kommissionierung aus. Zum Einsatz kommt dabei die Machine-Vision-Standardsoftware MVTec HALCON.
Mittels der darin enthaltenen Deep-Learning-Algorithmen wird das System zunächst mit Beispielbildern umfassend trainiert. So lernt die Software, welche zahlreichen verschiedenen Ausprägungen die Beutel aufweisen können. Dies führt zu einer sehr robusten Erkennungsrate – auch bei einer schier unendlichen Varianz der Objekte. Die nicht zum Greifen ausgewählten Beutel werden aussortiert und dem System dann erneut zugeführt. Durch die Neupositionierung nehmen sie dann eine günstigere Position auf dem Förderband ein, sodass der Roboter sie besser aufnehmen und für den Versand platzieren kann. Auf diese Weise lassen sich auch überlappende und übereinander liegende Beutel greifen und kommissionieren. Dabei ist das System in der Lage, bis zu 60 Beutel pro Minute mithilfe der integrierten Bildverarbeitungssoftware zu analysieren und präzise zu identifizieren.
Durch die Verbindung mit modernen Deep-Learning-Technologien hat sich MVTec HALCON für uns als ideale Lösung erwiesen.
Kamera und Roboter harmonieren perfekt dank Hand-Auge-Kalibrierung
Für die robusten Erkennungsraten sind neben den Deep-Learning-Technologien auch klassische Bildverarbeitungsverfahren verantwortlich, die ebenfalls integraler Bestandteil von MVTec HALCON sind. Neben dem Bildeinzug und diverser Werkzeuge zur Vorverarbeitung der Bilder, ist die Hand-Auge-Kalibrierung hier ein wichtiges Feature. Diese ist vorab erforderlich, damit der Roboter im laufenden Betrieb die Beutel, die von einer stationären 2D-Kamera beobachtet werden, exakt greifen und platzieren kann. Bei der Hand-Auge-Kalibrierung wird eine Kalibrierplatte am Greifarm des Roboters befestigt und in das Sichtfeld der Kamera gebracht. Anschließend werden mehrere Bilder mit unterschiedlichen Positionen des Roboters aufgenommen und mit den Achspositionen des Roboters verrechnet. Ergebnis ist ein „gemeinsames“ Koordinatensystem von Kamera und Roboter. So kann der Roboter die Bauteile an den Positionen greifen, die unmittelbar zuvor von der Kamera detektiert wurden. Durch die exakte Bestimmung der Objektposition mit einer Genauigkeit von 0,1 Millimetern lässt sich beim Greifvorgang eine Trefferquote von 99,99 Prozent realisieren.
Zahlreiche verschiedene Beutel mit variierender Größe, Verformung und Inhalt sowie deren sich überlappende Positionen auf dem Förderband – all diese Faktoren haben uns in diesem Projekt vor enorme Herausforderungen gestellt. Diese konnten wir mit rein klassischen Machine-Vision-Verfahren nicht lösen. Aber durch die Verbindung mit modernen Deep-Learning-Technologien hat sich MVTec HALCON für uns als ideale Lösung erwiesen. Damit erreichen wir trotz der großen Objektvielfalt herausragende Erkennungsraten. Dies ebnet den Weg für unser Ziel – die durchgängige Automatisierung des gesamten Prozesses rund um die Verpackung von Wandtafeln. Zudem profitieren wir von einem Plus an Produktivität und Flexibilität, um auch abweichende Szenarien innerhalb der gleichen Anwendung abbilden zu können.