Perfekt positionierte Plastikbeutel – mit klassischer Bildverarbeitung und Deep Learning
Robotik | Deep LearningDurchgängig automatisierte Pick-and-Place-Tätigkeiten erfordern das sichere Greifen unterschiedlich geformter und auch durchscheinender Objekte. Eine anspruchsvolle Anwendung, die das sichere Greifen auch bei komplexen Oberflächen ermöglicht, hat TEKVISA mit Hilfe der Machine Vision Software MVTec HALCON umgesetzt und vertraut dabei auf die integrierten Deep-Learning-Methoden.
Plastikbeutel mit Montagezubehör können viele verschiedene Formen aufweisen. Gerade in industriellen Prozessen kommt es deswegen oft zu Schwierigkeiten bei der präzisen Identifizierung und dem automatisierten Greifen solcher Beutel. Eine Folge daraus ist eine sinkende Produktivität, beispielsweise bei Pick-and-Place-Tätigkeiten. Eine Lösung von TEKVISA nutzt Machine Vision Software, um entsprechende Prozesse zuverlässig und durchgängig zu automatisieren und zu beschleunigen.
Das spanische Unternehmen TEKVISA ENGINEERING hat sich auf digitale Inspektionssysteme für die Qualitätskontrolle und Prozessautomatisierung im industriellen Umfeld spezialisiert. Seit seiner Gründung verfolgt TEKVISA das Ziel, besonders nutzerfreundliche und fortschrittliche Systeme für verschiedenste Branchen wie etwa die Automobilindustrie oder die Lebensmittelindustrie zu entwickeln. Neben Deep-Learning-basierten Inspektionslösungen entwickelt TEKVISA unter anderem auch anspruchsvolle Robotik- und Bin-Picking-Anwendungen.
Präzise Identifizierung und Positionierung von Zubehörbeuteln
Für einen führenden Hersteller von Wandtafeln für Büros hat der Automatisierungsspezialist ein robotergestütztes Kommissionierungssystem entwickelt, das auf industrieller Bildverarbeitung mit Deep-Learning-Algorithmen basiert und Kunststoffbeutel mit Zubehör für die Wandtafeln präzise detektiert, damit Roboter sie sicher greifen können. Die bislang rein manuell durchgeführte und zeitaufwendige Aufgabe sollte durchgängig automatisiert werden. Zusätzlich sollten Mitarbeiter damit entlastet werden und für anspruchsvollere Aufgaben zur Verfügung stehen.
Bei der Entwicklung einer entsprechenden Automatisierungslösung war zudem zu beachten, dass die Beutel eine Vielzahl an unterschiedlichem Zubehör enthalten, was wiederum zu Varianzen bei Größe, Gewicht und Erscheinungsform führt. Darüber hinaus sind sie willkürlich geformt und aufgrund ihrer Elastizität möglicherweise zusätzlich auch zusammengedrückt, auseinandergezogen oder auf eine andere Art verformt.
Große Herausforderung aufgrund der Produktvarianz
Diese hohe Produktvarianz stellte die Ingenieure bei TEKVISA vor große Herausforderungen. Es sollte eine flexible Lösung auf Basis von Machine Vision entwickelt werden, die alle erdenklichen Varianten von Zubehörbeuteln zuverlässig erkennt und sichere Greifprozesse ermöglicht. Das System sollte diejenigen Beutel identifizieren, die sich aufgrund ihrer Position und Ausrichtung am besten vom Roboterarm aufnehmen lassen. Dabei war von vornherein klar, dass die Lösung aus einer Kombination von klassischen Bildverarbeitungsmethoden und Technologien wie Deep Learning bestehen musste.
Das Setup besteht aus einer hochauflösenden Farbflächenkamera und einer speziellen Beleuchtung, die Reflexionen minimiert und die präzise Erkennung des jeweiligen Beutelinhalts erlaubt. Das Herzstück der Anwendung ist ein innovatives Machine-Vision-System, das die auf dem Förderband liegenden Beutel zielgenau identifiziert, damit ein Roboter sie exakt greifen kann. Dieser platziert sie dann kurz vor dem finalen Verpackungsprozess mit hoher Präzision auf der zu verpackenden Wandtafel.
Klassische Bildverarbeitung und Deep Learning in Kombination
Aus den zahlreichen Erscheinungsformen und Positionen der Beutel wählt die Bildverarbeitungslösung die jeweils optimalen Kandidaten für die Kommissionierung aus. Zum Einsatz kommt dabei die Machine Vision Software MVTec HALCON, die über eine Bibliothek mit über 2.100 Operatoren verfügt, die die modernsten und leistungsstärksten Methoden und Deep-Learning-Anwendungen enthalten. Besonders die Deep-Learning-Methode „Object Detection“ kam den Anforderungen von TEKVISA entgegen. Mittels der darin enthaltenen Deep-Learning-Algorithmen wird das System zunächst mit Beispielbildern umfassend trainiert. So lernt die Software, welche zahlreichen verschiedenen Ausprägungen die Beutel aufweisen können. Dies führt zu einer sehr robusten Erkennungsrate. Die nicht zum Greifen ausgewählten Beutel werden aussortiert und dem System dann erneut zugeführt. Durch die Neupositionierung nehmen sie dann eine günstigere Position auf dem Förderband ein, sodass der Roboter sie besser aufnehmen und für den Versand platzieren kann. Auf diese Weise lassen sich auch überlappende und übereinander liegende Beutel greifen und kommissionieren. Dabei ist das System in der Lage, bis zu 60 Beutel pro Minute mithilfe der integrierten Bildverarbeitungssoftware zu analysieren und präzise zu identifizieren.
Perfekte Harmonie von Kamera und Roboter dank Hand-Auge-Kalibrierung
Für die robusten Erkennungsraten sind neben den Deep-Learning-Technologien auch klassische Bildverarbeitungsverfahren verantwortlich, die ebenfalls integraler Bestandteil von MVTec HALCON sind. Ein wichtiges Feature ist hier die Hand-Auge-Kalibrierung. Diese ist vorab erforderlich, damit der Roboter im laufenden Betrieb die Beutel, die von einer stationären 2D-Kamera beobachtet werden, exakt greifen und platzieren kann. Bei der Hand-Auge-Kalibrierung wird eine Kalibrierplatte am Greifarm des Roboters befestigt und in das Sichtfeld der Kamera gebracht. Anschließend werden mehrere Bilder mit unterschiedlichen Positionen des Roboters aufgenommen und mit den Achspositionen des Roboters verrechnet. Ergebnis ist ein „gemeinsames“ Koordinatensystem von Kamera und Roboter. So kann der Roboter die Bauteile an den Positionen greifen, die unmittelbar zuvor von der Kamera detektiert wurden. Durch die exakte Bestimmung der Objektposition mit einer Genauigkeit von 0,1 Millimetern lässt sich beim Greifvorgang eine Trefferquote von 99,99 Prozent realisieren.