3D-Matching

Liste der Abschnitte ↓

Dieses Kapitel gibt einen Überblick über die verschiedenen 3D Matching Ansätze in HALCON.

3D Box Finder

Wie schon dem Namen entnommen werden kann, kann der Box Finder dazu benutzt werden um Box-förmige Objekte in 3D-Daten zu lokalsieren. Dazu ist kein Model des Objekts als Eingabe für den Operator find_box_3dfind_box_3dFindBox3dFindBox3dFindBox3d notwendig, sondern lediglich die Seitenlängen der gesuchten Boxen. Als Ergebnis erhält man die Pose eines Greifpunkts, was insbesondere für Anwendungen bei denen ein Griff in die Kiste erfolgt sehr nützlich sein kann.

(1) (2)
(1) 3D Eingabedaten (Szene), (2) gefundene Instanz mit Greifpunkt.

Oberflächenbasiertes Matching

Der oberflächenbasierte Matching-Ansatz eignet sich auch für das Lokalisieren komplexerer Objekte. Die Form des Objektes wird dem Operator find_surface_modelfind_surface_modelFindSurfaceModelFindSurfaceModelFindSurfaceModel bzw. find_surface_model_imagefind_surface_model_imageFindSurfaceModelImageFindSurfaceModelImageFindSurfaceModelImage als Oberflächenmodell übergeben. Zurückgegeben werden daraufhin die Posen der in der Szene gefunden Instanzen.

Es ist zu beachten, dass es mehrere verschiedene Ansätze zum oberflächenbasierten Matching gibt. Für detaillierte Erklärungen bezüglich der Anwendung dieser Ansätze, Tipps, Tricks und Informationen zur Fehlersuche sei auf die Technical Note Surface-Based Matching verwiesen.

(1) (2) (3)
(1) 3D-Model für die Suche, (2) zu durchsuchende 3D Eingabedaten (Szene), (3) Ergebnis des Matchings.

Deformierbares oberflächenbasiertes Matching

Falls das gesuchte Objekt in verschieden deformierten Zuständen in der Szene auftreten kann, kann ein deformierbares Oberflächenmodell verwendet werden um diese Objekte zu lokalisieren. Wird eine Instanz eines solchen Objektes vom Operator find_deformable_surface_modelfind_deformable_surface_modelFindDeformableSurfaceModelFindDeformableSurfaceModelFindDeformableSurfaceModel gefunden, wird das Modell samt Pose und Deformation zurückgegeben.

(1) (2) (3) (4)
(1) 3D-Objektmodell (2) zu durchsuchende 3D Eingabedaten (Szene), (3) Modell, transformiert in die gefundene Pose, (4) deformiertes Objektmodell.

Formbasiertes Matching

Mit formbasiertem 3D-Matching können Instanzen eines CAD-Modells in 2D-Bildern statt in 3D-Punktwolken gesucht werden. Dazu müssen die Kanten des gesuchten Objekts deutlich im Bild sichtbar sein und die verwendete Kamera muss zuvor kalibriert worden sein. Die gefundenen Posen werden vom Operator find_shape_model_3dfind_shape_model_3dFindShapeModel3dFindShapeModel3dFindShapeModel3d als Ergebnis zurückgegeben.

(1) (2) (3)
(1) 3D-Formmmodell, (2) Eingabebild, (3) gefundenes Formmodell, projiziert in das Eingabebild.

Liste der Abschnitte