Die vollautomatische Obsterntemaschine

Während der letzten Jahre haben belgische Obstbauern zunehmend Probleme, Saisonkräfte für die Ernte von Hochwertigem Tafelobst wie Äpfeln zu finden. Dadurch angeregt kam das Institut ACRO (Automation Centre for Research and Education), eine Spin-Off-Gesellschaft der Katholischen Universität Limburg, Belgien, auf die Idee, einen Ernteroboter für Äpfel zu entwickeln. Die Entwicklung erfolgte in enger Zusammenarbeit mit einem Obstbauern, der gleichzeitig Agraringenieur ist.

ACRO nimmt eine beratende Rolle in allen technischen Fragen bei Firmengründungen, Wartungen, Service und Ausbildung in Sachen Automation ein. Außerdem bietet ACRO Hilfe bezüglich der praktischen Ausbildung für SPS und industrieller Bildverarbeitung. Für belgische Firmen wird die Beratung durch ACRO zum Teil öffentlich gefördert.

Nach europäischem Standard muss sich die Höhe der Bäume auf einer professionellen Obstplantage zwischen zwei und drei Metern bewegen. In dem Fall der vorliegenden Maschine kam diese Festlegung den Konstrukteuren sehr entgegen.

Die ACRO-Apfelerntemaschine (Automated Fruit Picking Machine, kurz AFPM) ist auf einer Plattform aufgebaut, die als Anhänger von einem Traktor gezogen wird. Um die Entwicklungszeit der Maschine zu verringern, wurde ein handelsüblicher Industrieroboter (Panasonic VR006L) eingesetzt (Abb. 1). Die Energieversorgung läuft über einen Generator, der vom Traktor angetrieben wird. Das Gerät verfügt weiterhin über hydraulische Stabilisierungseinheiten, eine siebente externe vertikale Achse um den Arbeitsbereich auszudehnen, eine zentrale Kontrolleinheit, einen Touchpanel-Industrie-PC mit Benutzerschnittstelle (Schema: Abb. 2) und eine Art Zeltdach und Rundum-Vorhang und Beleuchtungseinheit, um die natürlich schwankenden Lichtverhältnisse auszugleichen. Vorhang und Abdeckung können für den Transport leicht zusammengeklappt werden.

Eine der größten Herausforderungen stellte die Entwicklung eines geeigneten Greifers für die Früchte dar. Der Apparat musste die Äpfel greifen und abpflücken können, ohne sie auch nur im Geringsten zu beschädigen. Das Gerät muss nicht nur die Form der Äpfel genau erkennen, sondern auch ihre Position während des Ernteprozesses permanent überwachen. Die einzige Möglichkeit die sich bot, diese Bedingungen zu gewährleisten war, die Kamera in den Greifer zu integrieren. Um einen sicheren Griff und eine schonende Behandlung zu garantieren, entschieden sich die Ingenieure für eine Vakuumtechnik. Der Greifer besteht aus einem flexiblen Kegelstumpf mit einer integrierten USB 2.0-Kamera und einer Art Pressluft/Vakuum-Einheit (Abb. 3). Dieses ausgeklügelte Greifgerät ist ein patentgeschütztes Design.

Um die Kamera ins Zentrum des Greifers zu platzieren war eine besondere technische Herausforderung, bietet aber viele Vorteile. Erstens operiert der Greifer auf diese Weise stets exakt in der Zentralachse der beobachtenden Kamera und daher mit dem Bild, was die unabdingbare Koordinatentransformation vom Bild zum Roboter erleichtert. Außerdem wird die Kameraposition durch ihre Montage am Ende des Roboterarms voll kontrollierbar. Die Kamera kann also jederzeit ihre optische Achse auf die zu erntende Frucht ausrichten. Das reduziert die Bildverzerrung und macht eine hochgenaue Kalibrierung überflüssig. Hinzu kommt der Schutz der Kamera vor mechanischen Kollisionen und vor schlechten Wettereinflüssen ebenso wie vor direktem Sonnenlicht.

Der automatische Erntevorgang ist hierarchisch in drei Stufen strukturiert:

1. Stufe: Als erstes wird die Obsterntemaschine vor den Baum bewegt, der Rundum-Vorhang wird über den Baum gestülpt (Abb. 4), die Maschine wird aktiv stabilisiert. Dazu ist die Maschine mit verschiedenen hydraulischen Standbeinen und einem Hubsystem zur Vorder-, Hinter, Rechts- und Linksstabilisierung mit Wasserwagensensoren ausgerüstet.

2. Stufe: Nachdem das Gestell stabilisiert ist, wird der Baum von der Kamera aus 40 Positionen gescannt. Dadurch wird die Frontansicht des Baums in ein Raster aus horizontalen und vertikalen Linien unterteilt, hervorgerufen durch Kameraschwenks von 10 Grad-Schritten. Dadurch wird die Baumansicht in 40 Felder unterteilt.

3. Stufe: Für jeden Sektor werden die Äpfel registriert und nach und nach geerntet. Diese 3. Stufe beschreibt den Kreislauf des eigentlichen Erntevorgangs und kann wiederum wie folgt unterteilt werden:

• Die Position eines Apfels im Bild wird bestimmt. Nur reife Äpfel mit ausreichender Größe werden ausgewählt.
• Die Kamera rotiert um die x- und y-Achse, um die optische Achse exakt auf den Apfel auszurichten.
• Während der Apfel vom Roboterarm angefahren wird, werden mehrere Bilder verarbeitet, um den verbliebenen Abstand zum Apfel zu bestimmen. Währenddessen wird Luft mit etwa 300 m3/min durch den Greifer geblasen, um den Apfel von Blattwerk zu befreien.
• Zum Schluss nähert sich der Greifer vorsichtig der Frucht. Wenn der Kegelstumpf den Apfel hinreichend umschließt, wird das Anblasen durch Ansaugen ersetzt.
• Der Apfel wird durch vorsichtiges Rotieren und Kippen geerntet und vorsichtig abgelagert.

Die Bildverarbeitung läuft auf einem Industrie-PC Pentium IV 2 GHz PC mit 1GB RAM unter Windows. Als Software entschieden sich die Entwickler für die Bildverarbeitungs-Bibliothek HALCON 7.1 von MVTec wegen der hohen Genauigkeit und Zuverlässigkeit, wie der Projektleiter Eric Claesen betont. Das System ist denn auch dazu fähig, 85% aller Äpfel zu ernten. Wie Feldversuche zeigten, ist das nahezu dieselbe Quote wie eine Ernte per Hand.  

Verschiedene Schritte müssen ausgeführt werden, damit eine Frucht an einem Baum erkannt werden kann. Für eine effektive Bildverarbeitung muss die Lichtsituation möglichst konstant gehalten werden, gerade was die Wettereinflüsse betrifft. Deshalb ist es wichtig, den gesamten Baum mit dem Zeltdach abzuschirmen. Darüber hinaus werden die Bilder unter Überbelichtung aufgenommen, um auch bei hellstem Sonnenlicht die Beleuchtungssituation stabil halten zu können. Die blaue Farbe des Zeltdachs garantiert außerdem einen einheitlichen Hintergrund, der aus allen Bildern herausgefiltert werden kann.

Erkennung der Äpfel

Zuerst wird die Farbe der Blätter trainiert. Danach werden das Blau des Hintergrunds und dann das Blattgrün herausgefiltert. Danach werden die grünen und die roten Bereiche der Äpfel selektiert. Nach der Reduktion des Rauschens und dem Auffüllen von Lücken im Bild zeichnen sich die Positionen der einzelnen Äpfel klar ab (Abb.5). Nach der Segmentierung der einzelnen Äpfel mit einem Wasserscheiden-Algorithmus wird das Abbild jedes Apfels in eine Kreisform transformiert.

Distanzmessung

Um einen Apfel ernten zu können, muss der Roboter die Distanz zwischen der Kamera und dem Apfel exakt bestimmen können. Die Distanz wird über Triangulation bestimmt (Abb.6). Diese Messung wird in unterschiedlichen Schritten vollzogen. Als erstes macht die Kamera ein Bild, dann wird die Kamera so bewegt, dass der Apfel im Bildzentrum liegt, danach macht die Kamera ein zweites Bild, und zum Schluss kann über die Verarbeitung beider Bilder der Apfeldurchmesser und die Distanz bestimmt werden.

Das Ernten

Zum Schluss fährt der Roboterarm auf Grundlage der Berechnungen den Apfel an und erntet ihn wie bereits beschrieben mit der Vakuumfunktion des Greifers.