NASA Robonaut sieht mit HALCON

Die Mission STS-133 ist von der NASA als allerletzter Einsatz des lang gedienten Spaceshuttles Discovery geplant. Voraussichtlich wird die Raumfähre Anfang Februar 2011 vom Kennedy Space Center in Florida abheben, um zum letzten Mal ein Rendezvous mit der internationalen Raumstation ISS einzugehen. Danach wird die Ära der Spaceshuttles bald endgültig Geschichte sein.

Aber gleichzeitig wird diese Mission auch der Beginn einer neuen Ära sein: Das Zeitalter der Roboter-Astronauten, welches die Arbeit der Menschen im All und in der Schwerelosigkeit fortan komplett verändern wird. Die amerikanische Raumfahrtbehörde (NASA) und General Motors (GM) haben den so genannten Robonaut 2 (R2) gemeinsam entwickelt, eine humanoide Maschine, die mehr Fähigkeiten besitzt als jedes andere vergleichbare Gerät zuvor, das in der Schwerelosigkeit getestet wurde. Die Bildverarbeitung dieses Wunderroboters arbeitet mit deutscher Technologie: Die komplexen Algorithmen, mit denen R2 sehen und blitzschnell entscheiden kann, was er tut, basieren auf der Bildverarbeitungssoftware HALCON von MVTec in München.

Der menschenähnliche Torso (Abb.1) wiegt etwa 150 Kilogramm. Mit der Schulterbreite von etwa 1,10 Meter, und seinem helmartigen goldenen Kopf erinnert er an einen bekannten Roboter aus den Hollywood-Studios. Die Proportionen des Kopfs, des Oberkörpers und der Arme orientieren sich sehr nah am Körper eines Menschen. Beine allerdings fehlen dem Roboter, denn die braucht er nicht in der Schwerelosigkeit. Er ist je nach Bedarf an einem festen Gerüst oder beweglichen Greifarm montiert.

Viele Jahre haben die technischen Fachkräfte der NASA und von GM an der Entwicklung dieses Wunder-Roboters gearbeitet. NASA-Ingenieuren hat die Programmierung über lange Jahre Schwierigkeiten bereitet. Der Entwicklungsaufwand für die Bildverarbeitungssoftware war enorm hoch; zudem musste die Software aufwändig getestet werden. Erst nach dem Einsatz von Standardsoftware konnten alle Probleme schnell und effizient in kurzer Zeit mit den Algorithmen von HALCON 9.0 gelöst werden. Zur Entwicklung wurde HALCONs integrierte Entwicklungsumgebung HDevelop eingesetzt, zur Sensorintegration in C und C++ die HALCON extension packages. R2 wird nicht nur die alltägliche Arbeit von menschlichen Astronauten an Bord der ISS unterstützen. Er wurde auch entwickelt, um manuelle Routinearbeiten in der Industrie durchzuführen, wie sie beispielsweise bei der Automobilproduktion anfallen. Ein großer Vorteil gegenüber einem menschlichen Alternative ist die Tatsache, dass R2 nicht ermüdet.

Das ist auch ein erheblicher Sicherheitsvorteil. Dies empfiehlt den Robonauten auch für hochgradig gefährliche Arbeiten, wie einer EVA (extra vehicular activity  - Außenbordarbeit) an Raumfahrzeugen, wie sie immer wieder vorkommen und bei denen Astronauten und Astronautinnen erheblichen Belastungen ausgesetzt sind. R2 verfügt über ein so genanntes „Flexible Vision System“. Dieses System kombiniert ein Paar Kameras für einen Stereoaufbau mit einer Time-of-Flight-Kamera zur Distanzmessung. Dieses System erlaubt es R2, auf der ISS robuste automatische Erkennung von Objekten und deren Lagebestimmung durchzuführen. Die robuste Objekterkennung (Matching) bedingt die Erkennung von komplexen Mustern in der Umgebung des Roboters unter dem Einsatz von unterschiedlichen Sensortypen. Genau diese Komplexität von ganzen Umgebungsbildern aber macht die Verarbeitung der Bilder aufgrund der Datenlast auf einem herkömmlichen Rechner nahezu unmöglich.

Die Lösung der Ingenieure und Ingenieurinnen von NASA und GM ist, komplexe Objekterkennung auf kleine ausgesuchte Regionen in den Stereobildpaaren zu beschränken. Zur Auswahl dieser Region im Bild (ROI – region of interest) werden Bildinformationen wie Farbe, Intensität oder Textur herangezogen. „Die NASA entschied sich für die Bildverarbeitungssoftware HALCON 9.0 von MVTec (München; www.mvtec.com), um die Integration der unterschiedlichen Typen von Sensordaten und alle komplexen Verarbeitungsschritte in einer Entwicklungsumgebung zu gewährleisten“, sagt Brian Hargrave, Robonaut ISS Applications Lead at the Robotics & Automation group from Oceaneering Space Systems (Houston). Zur Stereo-Bilderfassung nahm die NASA zwei Prosilica GC2450-Kameras von Allied Vision (Stadtroda; www.alliedvisiontec.com). Diese Kameras nutzen den GigE-Vision-Standard zur Bildübertragung. „HALCON unterstützt GigE-Vision und erlaubt eine rasche Softwareanbindung der Kameras über die automatische Code-Generierung“, erläutert Hargrave. Die Time-of-Flight-Entfernungsmessung erfolgt über eine Swiss Ranger SR4000 von Mesa Imaging Ag (Zürich; www.mesa-imaging.ch).

Die Tast- und Positionssensoren der Finger von R2 sind maßgeschneidert entworfen und hergestellt. Die Swiss Ranger, die Tast- und die Positionssensoren nutzen spezifischen C/C++ Code, um Tiefenmessungen und Tast-Objekterkennung durchzuführen. „Mit den HALCON Extension Packages konnten wir jeden bereits existierenden speziellen Code in die Entwicklungsumgebung HDevelop importieren und diese für das Rapid Prototyping unserer Applikationen einsetzen“, erklärt Hargrave. „Die Stereo-Kalibrierung in HALCON wurde herangezogen, um sowohl das Prosilica-Kamerapaar als auch die Swiss Ranger zu kalibrieren.“ Von den vielen geplanten Aufgaben für den R2 auf der ISS ist das Erkennen und Manipulieren von Textilmaterial die größte Herausforderung.

Diese Tätigkeit erfordert einen hohen Grad an Koordination von Tasten und Manipulieren. Beispielsweise wird eine Textilbox aus flexiblem Mehrlagenstoff genutzt, um ein Werkzeug-Set für eine EVA (extra vehicular activity - Außenbordtätigkeit) aufzubewahren. Diese Box muss erkannt, geöffnet und wieder geschlossen werden (s. Abb2.). Eine Schwierigkeit liegt in der Tendenz des Deckels des Stoffbehälters, in der Schwerelosigkeit umherzuschweben, auch wenn der Behälter an seiner Basis gesichert wurde. Der Deckel kann sich in unvorhersehbarer Weise zusammenfalten. Die Lagebestimmung des Deckels und die entsprechende Greifplanung waren die schwierigsten Ziele in diesem Zusammenhang. Dazu wurden eine gute Mischung aus Standardwissen zum Thema Computer Vision und Methoden zur Bewegungsplanung herangezogen. Diese beiden technischen Felder mussten durch innovative Methoden kombiniert werden. „Für all diese Fälle bietet HALCON viele Möglichkeiten, um die Manipulation dieser Textilbox erfolgreich durchzuführen“, fährt Brian Hargrave fort. „Ein einzelner Laptop-Computer, der mit dem R2 verbunden ist, führt dabei sowohl die Kontroll-Software für den Roboter wie auch das flexible Bildverarbeitungssystem aus.“ HALCONs Möglichkeit der ROI-Auswahl ist aufgrund der Hardware-Beschränkung optimal. Die ROI müssen natürlich erst festgelegt werden. „Um die ROI für die Textilbox sinnvoll zu definieren, wird die Textursegmentierung von HALCON genutzt. Der Deckel der Textilbox wird mit Schnappern und Ösen geschlossen. Diese Elemente werden mithilfe von HALCONs formbasierter Matching-Technologie in den Bildpaaren gefunden“, erläutert Myron Diftler, Robonaut Projektleiter der NASA. „Die Ösen können sich in jeder erdenklichen Position befinden, wenn der Deckel umherschwebt.“ Dies ist nur ein Beispiel, wie mit den HALCON-Algorithmen die komplexen Fragen der Bildverarbeitung gelöst werden. Dazu kam den NASA-Ingenieuren und -Ingenieurinnen vor allem HALCONs integrierte Entwicklungsumgebung HDevelop zugute, wie Diftler erläutert. Aus allen vorhandenen Daten der Sensorik und Bildverarbeitung können dann mit HDevelop machbare Greifpunkte ermittelt werden, damit R2 beispielsweise den Deckel erkennen, ausfalten und schließen kann. Ein weiteres Beispiel ist die Erfassung und Detektion von Schalterpositionen, die der R2 selbst bedienen soll (Abb.3). Der Robonaut R2 ist der erste Schritt in die neue Zeit der humanoider Roboter-Astronauten. Zuerst soll der Robonaut innerhalb der ISS, später zu Außenarbeiten an der ISS eingesetzt werden. Doch die NASA-Ingenieure und -ingenieurinnen denken weiter. Im Projekt M wird darüber nachgedacht, eine Weiterentwicklung des R2 innerhalb von 1000 Tagen auf den Mond zu bringen (M ist das römische Zeichen für 1000). R2 soll bis dahin selbständig laufen können. Der Robonaut wird dann mit einer kleinen Landeeinheit zum Mond gebracht, die mit umweltfreundlichem Treibstoff bestückt sein soll (Methan und Sauerstoff). Die Landung soll präzise und vollkommen autonom erfolgen. R2 soll dann die Mondoberfläche betreten und erkunden und dort verschiedene Aufgaben erfüllen. Diese reichen von der Demonstration technischer Fähigkeiten der Robotik über wissenschaftliche Tätigkeiten bis zu kleinen Experimenten, die von Studierenden entwickelt worden sind. Der Robonaut soll in weiterer Zukunft den Menschen nicht ersetzen, sondern ihn unterstützen. Dies sind vor allem auch Herausforderungen an die Bildverarbeitung. Die NASA wird HALCON weiterhin nutzen. HALCON ist für diese Aufgaben bereits jetzt gerüstet.

Autor: Dr. Lutz Kreutzer

Alle Produktnamen sind Warenzeichen. Bilder der Produkte/Marken unterliegen dem Copyright der jeweiligen Inhaber. Alle Rechte vorbehalten.