Automatisierte Kommissionierung durch Bildverarbeitung

Verpackung & Logistik | Robotik | 3D-Kalibrierung | 3D-Vision | Matching
Abb.1: Darstellung des Toroidgreifers mit (1) doppelwandigem Schlauch, (2) stabförmigem Greiferinnenteil und (3) hülsenförmigem Greiferaußenteil

Kommissionieren, also das Zusammenstellen von Waren aus einem Sortiment, ist noch oft eine manuelle Tätigkeit, die hohe Lagerkosten verursacht. Der vorliegende Beitrag beschreibt ein System zur vollautomatisierten Kommissionierung. Kernelemente sind neben einem neuartigen Greiferprinzip Methoden der industriellen Bildverarbeitung zur Artikelerkennung und zur Bestimmung ihres besten Greifpunktes. Die Bildverarbeitung mit HALCON berechnet aus überlappenden Kameraaufnahmen die räumliche Geometrie der Artikel. Erstmalig können auch Kunststoffverpackungen wie Folientüten und Blisterverpackungen verarbeitet werden. Der Toroidgreifer zeichnet sich durch eine sanfte und sichere Aufnahme unterschiedlicher Artikelgeometrien aus.

Kommissionieren wird hervorgerufen durch einen Auftrag. Für standardisierte Verpackungsformen wie beispielsweise Kartons wird durch Kommissionierroboter bereits heute ein hoher Automatisierungsgrad erreicht. Bedingt durch unterschiedliche Formen, Größen und Oberflächenbeschaffenheiten ist das Kommissionieren im Allgemeinen aber manuell und lässt mehr als 50% der Gesamtlagerkosten entstehen.

Die Aufgabe des Kommissionierers am Ladungsträger (z.B. einer Kiste oder einer Palette) lässt sich aufteilen in Erfassen, Erkennen und Greifen. Heutige Ansätze zur Automatisierung verwenden zur Vermessung der Artikel ein Laser-Distanzmessgerät.

Bei Kartons ist das alles kein Problem. Schwierigkeiten aber entstehen bei transparenten Verpackungen, reflektierenden Ober­flächen oder eng gepackten Artikeln einer Lage. Die geometrischen Größen werden mit dreidimensionalen CAD-Modellen der Artikel verglichen, was zu Schwierigkeiten bei formveränderbaren Verpackungen wie Beutel oder Säcke führt. Zum Greifen wird daher ein flexibler Greifer benötigt, der unterschiedliche Verpackungsgeometrien handhaben kann.

Schema der Arbeitsabläufe (Workflow)

Das Erfassen

Erfassen meint hier die berührungsfreie räumliche Vermessung der Artikel im Ladungsträger. Abhängig von der Objektart wird das Vorgehen in zwei Schritte unterteilt: das Erzeugen eines Höhenprofils und das Segmentieren einzelner Artikel.  

Das Erzeugen des Höhenprofils

Zur Erzeugung des Höhenprofils werden fünf GigE Vision Farbkameras G-Cam516C der Firma MaxxVision GmbH (Stuttgart, www.maxxvision.com) verwendet. Die Kameras sind parallel an der Brücke eines Portalroboters der Firma Berger Lahr GmbH & Co. KG (Lahr, www.schneider-electric-motion.com) befestigt. Der äquidistante Abstand der Kameras von ca. 200 mm ist so gewählt, dass sich die Aufnahmen zu mehr als 100% überlappen. Beleuchtet wird der Aufnahmestreifen durch zwei LED-Leisten der Firma Lumitronix LED-Technik GmbH (Hechingen, www.leds.de) mit jeweils 60 hocheffizienten PLCC2 SMD LEDs, die mit einem jeweiligen Lichtstrom von 1.200 lm etwa so hell wie zwei 60 W-Glühbirnen leuchten.

Die Bildverarbeitung

Die Bildverarbeitung wurde komplett mit Algorithmen der Bildverarbeitungs-Softwarebibliothek HALCON (Version 8.0.2) der MVTec Software GmbH (München, www.mvtec.com) durchgeführt.

Die Höhen werden an Stellen markanter Punkte mit der HALCON-Methode ‚binocular_distance‘ berechnet, die im Bild der linken Kamera eines Kamerapaares durch Grauwertvergleich mit benachbarten Punkten detektiert werden. Zur Kalibrierung der Kameras und der vier Stereoaufbauten wurde eine Kalibrierplatte in 21 Positionen pro Kamera aufgenommen und mit den HALCON-Methoden ‚camera_calibration‘ bzw. ‚binocular_calibration‘ ausgewertet.

Durch die Kalibrierung ist sichergestellt, dass gleiche Punkte in beiden Aufnahmen auf einer zur unteren Bildkante parallelen Linie liegen. Der Punktvergleich erfolgt über eine Korrelationsanalyse der Grauwerte innerhalb einer Korrelationsmaske. Aus dem pixelweisen Abstand der Punkte d folgt mit den aus der Kalibrierung bekannten Kameraabständen relativ zueinander b und zum Ladungsträger H über Strahlensätze die Höhe des Punktes h.

Eine Herausforderung bilden Artikel mit kontrastarmen Oberflächen, hervorgerufen durch das Fehlen markanter Punkte. Dies wird durch einen Pattern-Generator, also einem passiven Flexpoint Laser-Modul der Firma Laser Components GmbH (Olching, www.lasercomponents.com) mit einem diffraktiven optischen Aufsatz, behoben, der eine 51x51-Lichtpunktmatrix mit einem horizontalen und vertikalen Punktabstand von ca. 5 mm (0,45°) auf den Ladungsträger projiziert.  Um Reflektionen zu vermeiden und zur Erfassung transparenter Verpackungen wird ein Ultraschallverneblungsgerät Hico-Ultrasonat der Firma Hirtz & Co. KG (Köln, www.hico.de) eingesetzt, der die Verpackung mit einem leichten Wassernebel besprüht. Das Wasser verdunstet nach wenigen Minuten und hinterlässt keine Beschädigung oder Verunreinigung der Verpackung.

Das Ergebnis über alle markanten Punkte aller Stereoaufbauten ist ein Höhenprofil in Form einer Grauwertmatrix im Intervall zwischen 0 für Punkte direkt auf dem Ladungsträger und 255 für im Vorfeld definierte maximale Höhen.

Das Segmentieren einzelner Artikel

Bei der Segmentierung der Aufnahmen wird zwischen Artikeln mit bekannter und mit unbekannter Verpackungsoberfläche unterschieden. Bekannte Oberflächen werden als Muster hinterlegt und über eine Korrespondenzanalyse mit zusammenhängenden Musterbereichen über die Methode ‚find_ncc_model‘ verglichen.

Aufnahmen mit unbekannten Artikeln werden über ein hybrides Verfahren aus kanten- und flächenbasierter Segmentierung unterteilt. Kantenbasierte Verfahren wie z.B. durch die Methode ‚detect_edge_segments‘ detektieren Kantenzüge über einen Grauwertvergleich im Höhenprofil. Vorteil dieser Verfahren ist die gute Performance, Nachteil die im Ergebnis oft lückenhaften Kantenzüge. Die rechenintensiveren flächenbasierten Verfahren wie beispielsweise durch die Methode ‚regiongrowing‘ unterteilen das Höhenprofil in homogene Bereiche beispielweise gleicher Höhe oder stetiger Oberflächensteigungen.

Das Erkennen

Erkennen meint hier die Zuordnung einer geometrischen Form zu einer Artikelklasse bzw. zu einem Artikel. Wie schon bei der Segmentierung wird auch hier zwischen bekannten und unbekannten Artikeloberflächen unterschieden. Wird bei der Segmentierung mit einem hinterlegten Muster eine Übereinstimmung gefunden ist dadurch der Artikel bekannt.

Unbekannte Artikel werden über Kennwerte aus geometrischen Größen über HALCON-XLD-Methoden und aus Farbinformationen über die Methode ‚get_rgb‘ erkannt. Die Kennwerte werden der Eingabeschicht eines künstlichen neuronalen Netzes präsentiert, welches den Artikel über die Methode ‚classify_class_mlp ‘ einer Artikelklasse zuordnet. Das Netz wird mit jedem neuen Artikel nachtrainiert und gewährleistet so eine steigende Zuordnungsqualität.

Das Greifen

Zum Greifen unterschiedlicher Verpackungsformen wird ein flexibles Handhabungsgerät benötigt. Der am Lehrstuhl für Maschinenelemente und Technische Logistik der Helmut-Schmidt-Universität in Hamburg (Hamburg, www.hsu-hh.de/mtl) entwickelte Toroidgreifer erfüllt diese Anforderung. Hauptkomponente ist ein doppelwandiger Schlauch, der mit einem fließfähigen Material wie beispielsweise Wasser oder Luft gefüllt ist. Der Schlauch ist in einer zylindrischen Hülse eingeklebt, die als Greiferaußenteil dient. In die Innenseite des Schlauches ist ein Stab eingeklebt, der axial im Deckel des Außenteils gelagert ist. 

Zum Greifen wird die Unterseite des Schlauches teilweise über den Artikel gestülpt, der sich flexibel an die Oberfläche des Artikels anpasst. Durch Relativbewegung von Greiferinnen- und –außenteil wird der Schlauch und damit reibschlüssig das Greifgut in den Greifer hereingezogen. Das Lösen des Gutes erfolgt analog durch Absenken des Greiferinnenteils.

Mehr Informationen

Weitere Informationen und aktuelle Ergebnisse der Entwicklung finden Sie unter www.hsu-hh.de\mtl.  

Autoren: Björn Cleves, Dr. Lutz Kreutzer

Alle Produktnamen sind Warenzeichen. Bilder der Produkte/Marken unterliegen dem Copyright der jeweiligen Inhaber. Alle Rechte vorbehalten.