Der Ernteroboter SWEEPER erkennt und erntet reife Paprika mit MVTec HALCON

Landwirtschaft | Nahrungsmittel | Robotik | 3D-Vision | Klassifizierung | Matching

Die Wageningen University & Research (WUR) in den Niederlanden entwickelte einen Ernteroboter für Gewächshäuser. Der sogenannte SWEEPER (Sweet Pepper Robot) erkennt und erntet reife Paprika mit Hilfe eines form- und farbbasierten Detektionsalgorithmus, der auf MVTec HALCON basiert.

Warum MVTec HALCON?

Die Organisation

Die Initiative WUR Agro Food Robotics ist ein gemeinsames Programm mehrerer Forschungsgruppen der Wageningen University & Research. Das Programm versucht, neues Wissen in die Praxis umzusetzen, indem es Machbarkeitsstudien, funktionale Entwürfe, Prototypenentwicklungen, Tests und Validierungen durchführt sowie neue Produktimplementierungen unterstützt.

Die Herausforderungen

Der SWEEPER in Aktion
Quelle: www.sweeper-robot.eu

In den letzten Jahrzehnten wurde die Pflanzen-produktion in Gewächshäusern mit der zunehmenden Größe der Produktionsanlagen, dem Fachkräftemangel sowie den steigenden Anforderungen an Qualität, Hygiene, Lebensmittel-sicherheit und Rückverfolgbarkeit konfrontiert. Viele Arbeiten werden noch manuell durchgeführt, zum Beispiel das Ernten. Die Verfügbarkeit von qualifizierten Arbeitskräften, die unter den fordernden klimatischen Bedingungen im Gewächshaus sehr monotone, körperlich anstrengende Aufgaben übernehmen, sinkt jedoch stetig. Robotik und Sensorik sind hierbei eine alternative Lösung, die zu einer effizienten und nachhaltigen Pflanzenproduktion führt.

Die Lösung

Im Rahmen des europäischen Forschungsprojekts "Clever Robots for Crops" (CROPS), nachfolgend das "Sweet Pepper Robot" SWEEPER-Projekt wurde ein Roboter für die Paprikaernte entwickelt. Der Prototyp besteht aus den folgenden Modulen: einem Werkzeug zum Schneiden und Fangen der Paprika, einer kombinierten Farb- und 3D-Kamera, einem industriellen Roboterarm mit sechs Freiheitsgraden, diversen Computern und Elektronik. Eine batteriebetriebene Plattform bewegt den Roboter autonom durch das Treibhaus. Sobald das Kamerasystem eine reife Paprika gefunden hat, positioniert der Roboterarm das Werkzeug auf dem Fruchtstamm. Der Arm bewegt das Werkzeug dann mit einem vibrierenden Messer einige Zentimeter nach unten und schneidet die Paprikafrucht in der Nähe des Hauptstiels ab.

Objektdetektion mit MVTec HALCON

BGU Pepper Detection HiRes
Quelle: www.sweeper-robot.eu

Eine zentrale Funktion des SWEEPER ist die Erkennung von reifen Paprikas. Für einen erfolgreichen Betrieb muss die 3D-Position jeder Frucht mit hoher Genauigkeit bestimmt werden. Die gewählte Lösung basiert auf einer RGB-D-Kamera, die gleichzeitig Farb- und Tiefeninformationen ausgibt. Mit dieser Kamera und einem speziell entwickelten LED-basierten Blitzlicht-Beleuchtungssystem werden RGB-Bilder der Anlage sowohl aus der Ferne als auch aus nächster Nähe aufgenommen. Um einen Betrieb mit hoher Bildrate zu ermöglichen, wurde mit HALCON ein form- und farbbasierter Detektionsalgorithmus implementiert. Der Algorithmus scannt jedes aufgenommene Bild nach Bereichen, die den Zielfarbschwellenwerten entsprechen. Erkannte Bereiche werden verfeinert, indem Teilbereiche, die die vordefinierten Minimal-/Maximalgrößen überschreiten, entfernt werden. Um Fehldetektionen weiter zu beseitigen, werden zusätzliche Formparameter berechnet. Schließlich werden die Tiefeninformationen der Kamera verwendet, um das Volumen der erfassten Bereiche zu berechnen. Diese Informationen werden dann verwendet, um Fehler beim Erkennen weiter zu reduzieren sowie zu vermeiden, unreife Paprika zu ernten. Die genaue 3D-Lage des Objektes wird aus den extrahierten Tiefeninformationen und der in Weltkoordinaten transformierte Pixelkoordinaten des Bereichs berechnet. Der Erntevorgang spielt sich dann wie folgt ab: Der Roboterarm nähert sich der Frucht durch eine bildgestützte Robotersteuerung, die das Ziel in der Mitte der Bilder hält, bis es erreicht ist.

Die vollständige Success Story von Sweeper und der Universität Wageningen können Sie hier herunterladen.