match_essential_matrix_ransacT_match_essential_matrix_ransacMatchEssentialMatrixRansacmatch_essential_matrix_ransacMatchEssentialMatrixRansacMatchEssentialMatrixRansac (Operator)

Name

match_essential_matrix_ransacT_match_essential_matrix_ransacMatchEssentialMatrixRansacmatch_essential_matrix_ransacMatchEssentialMatrixRansacMatchEssentialMatrixRansac — Automatische Bestimmung der Essential-Matrix für ein Stereo-Bildpaar durch Zuordnung von Bildpunkten.

Signatur

Beschreibung

Ausgehend von einer Menge charakteristischer Punkte (Rows1Rows1Rows1Rows1Rows1rows1,Cols1Cols1Cols1Cols1Cols1cols1) und (Rows2Rows2Rows2Rows2Rows2rows2,Cols2Cols2Cols2Cols2Cols2cols2) in den beiden Eingabebildern Image1Image1Image1Image1Image1image1, Image2Image2Image2Image2Image2image2 und bekannten Kameramatrizen CamMat1CamMat1CamMat1CamMat1CamMat1camMat1, CamMat2CamMat2CamMat2CamMat2CamMat2camMat2 bestimmt match_essential_matrix_ransacmatch_essential_matrix_ransacMatchEssentialMatrixRansacmatch_essential_matrix_ransacMatchEssentialMatrixRansacMatchEssentialMatrixRansac automatisch die Geometrie der Stereokonfiguration und findet die Korrespondenzen zwischen den Bildpunkten. Die Stereogeometrie ist durch die Essential-Matrix EMatrixEMatrixEMatrixEMatrixEMatrixEMatrix gegeben, und alle Korrespondenzen müssen die Epipolargleichung erfüllen.

Der Operator match_essential_matrix_ransacmatch_essential_matrix_ransacMatchEssentialMatrixRansacmatch_essential_matrix_ransacMatchEssentialMatrixRansacMatchEssentialMatrixRansac ist für ein lineares Kameramodell konzipiert. Die internen Kameraparameter werden durch die Argumente CamMat1CamMat1CamMat1CamMat1CamMat1camMat1, CamMat2CamMat2CamMat2CamMat2CamMat2camMat2 übergeben, welche 3x3 obere Dreiecksmatrizen sind und eine affine Transformation beschreiben. Die Beziehung zwischen einem 3D Richtungsvektor (X,Y,1) und dessen (projektiven) 2D Bildkoordinaten (col,row,1) ist:

Zu beachten ist hier die Reihenfolge (Spalte/Zeile), welche mit der (x,y) Notation im Kamerakoordinatensystem konform gehen muss. Die Brennweite ist mit f bezeichnet, sind Skalierungsfaktoren, s beschreibt eine Scherung und gibt den Bildhauptpunkt an. Hauptsächlich sind dies die Elemente aus den Kameraparametern, wie sie z.B. in calibrate_camerascalibrate_camerasCalibrateCamerascalibrate_camerasCalibrateCamerasCalibrateCameras verwendet werden. Alternativ kann eine Kameramatrix auch durch andere Elemente beschrieben werden, siehe z.B. stationary_camera_self_calibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration. Multipliziert man die (projektiven) Bildkoordinaten mit der invertierten Kameramatrix, so erhält man die 3D Richtungsvektoren. Für bekannte Kameramatrizen schreibt sich die Epipolargleichung wie folgt:

Das Matchingverfahren beruht auf charakteristischen Punkten, welche mit Punktoperatoren, wie z.B. points_foerstnerpoints_foerstnerPointsFoerstnerpoints_foerstnerPointsFoerstnerPointsFoerstner oder points_harrispoints_harrisPointsHarrispoints_harrisPointsHarrisPointsHarris, extrahiert wurden. Die Bestimmung der Essential-Matrix und der Korrespondenzen erfolgt in 2 Schritten: Zuerst werden die Grauwertkorrelationen von Umgebungen der Eingabepunkte im ersten und zweiten Bild bestimmt und anhand dieser ein initiales Matching zwischen den Punkten ermittelt. Dann wird das RANSAC-Verfahren angewendet, um diejenige Essential-Matrix zu finden, welche die Anzahl der korrespondierenden Punktpaare unter Erfüllung der Epipolarbedingung maximiert.

Die Größe der Grauwertfenster beträgt MaskSizeMaskSizeMaskSizeMaskSizeMaskSizemaskSize x MaskSizeMaskSizeMaskSizeMaskSizeMaskSizemaskSize. Es können drei Metriken für die Korrelation gewählt werden. Hat GrayMatchMethodGrayMatchMethodGrayMatchMethodGrayMatchMethodGrayMatchMethodgrayMatchMethod den Wert 'ssd'"ssd""ssd""ssd""ssd""ssd", so wird das Quadrat der Grauwertdifferenzen verwendet, 'sad'"sad""sad""sad""sad""sad" entspricht dem Betrag der Grauwertdifferenzen und 'ncc'"ncc""ncc""ncc""ncc""ncc" ist die normierte Kreuzkorrelation (siehe auch binocular_disparitybinocular_disparityBinocularDisparitybinocular_disparityBinocularDisparityBinocularDisparity). Diese Metrik wird über alle Punktpaare minimiert ('ssd'"ssd""ssd""ssd""ssd""ssd", 'sad'"sad""sad""sad""sad""sad") bzw. maximiert ('ncc'"ncc""ncc""ncc""ncc""ncc"), ein so gefundenes Matching wird aber nur akzeptiert, falls der Wert der Metrik unter dem Wert von MatchThresholdMatchThresholdMatchThresholdMatchThresholdMatchThresholdmatchThreshold ('ssd'"ssd""ssd""ssd""ssd""ssd", 'sad'"sad""sad""sad""sad""sad") bzw. über demselben ('ncc'"ncc""ncc""ncc""ncc""ncc") liegt.

Zur Geschwindigkeitssteigerung kann der Suchbereich für das Matching eingeschränkt werden. Nur Punkte innerhalb eines Punkte großen Fensters werden betrachtet. Die Verschiebung des Mittelpunkts dieses Fensters im zweiten Bild gegenüber der Position des aktuellen Punktes im ersten Bild wird durch die Parameter RowMoveRowMoveRowMoveRowMoveRowMoverowMove und ColMoveColMoveColMoveColMoveColMovecolMove bestimmt.

Falls die Kameras nicht nur verschoben sind, sondern die zweite Kamera gegenüber der ersten um die optische Achse gedreht worden ist, kann im Parameter RotationRotationRotationRotationRotationrotation eine Schätzung des Drehwinkels bzw. ein Winkelintervall im Bogenmaß übergeben werden. Eine gute Schätzung des Winkels erhöht die Qualität des Grauwertwertmatchings. Falls sich die tatsächliche Rotation zu stark von der angegebenen Schätzung unterscheidet, schlägt das Matching typischerweise fehl. In diesem Fall sollte ein Winkelintervall angegeben werden. Je größer das angegebene Winkelintervall, desto langsamer läuft der Operator, denn für alle relevanten (endlich vielen) Winkel innerhalb des Intervalls wird das Verfahren komplett durchlaufen.

Ist das initiale Punktmatching bestimmt, wird es anschließend durch einen randomisierten Auswahlalgorithmus (RANSAC) zur Bestimmung der Essential-Matrix EMatrixEMatrixEMatrixEMatrixEMatrixEMatrix benutzt. Dabei wird versucht die Matrix so zu wählen, dass sie bezüglich der Schranke DistanceThresholdDistanceThresholdDistanceThresholdDistanceThresholdDistanceThresholddistanceThreshold zu möglichst vielen Punktpaaren konsistent ist.

Der Parameter EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod gibt an, ob die Kameras sich in einer besonderen relativen Orientierung zueinander befinden und bestimmt auch das Berechnungsverfahren. Für 'normalized_dlt'"normalized_dlt""normalized_dlt""normalized_dlt""normalized_dlt""normalized_dlt" und 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" kann die relative Lage der Kameras zueinander beliebig sein. Für 'trans_normalized_dlt'"trans_normalized_dlt""trans_normalized_dlt""trans_normalized_dlt""trans_normalized_dlt""trans_normalized_dlt" und 'trans_gold_standard'"trans_gold_standard""trans_gold_standard""trans_gold_standard""trans_gold_standard""trans_gold_standard" ist die relative Lage eine reine Translation. Für eine eindeutige Korrespondenzfindung ist die minimale Anzahl an notwendigen Punktkorrespondenzen im allgmeinen Fall sechs und im speziellen Fall der reinen Translation drei.

Wird 'normalized_dlt'"normalized_dlt""normalized_dlt""normalized_dlt""normalized_dlt""normalized_dlt" oder 'trans_normalized_dlt'"trans_normalized_dlt""trans_normalized_dlt""trans_normalized_dlt""trans_normalized_dlt""trans_normalized_dlt" gewählt, so ist das Berechnungsverfahren ein lineares Verfahren. Wird 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" oder 'trans_gold_standard'"trans_gold_standard""trans_gold_standard""trans_gold_standard""trans_gold_standard""trans_gold_standard" gewählt, so ist das Berechnungsverfahren im statistischen Sinne optimal, und die Kovarianz der Essential-Matrix CovEMatCovEMatCovEMatCovEMatCovEMatcovEMat wird zusätzlich berechnet. Es ist zu beachten, dass sich je nach gewähltem Verfahren nicht nur die berechnete Essential-Matrix unterscheidet, sondern auch die zugeordneten Punkte verschieden sein können.

Der Wert ErrorErrorErrorErrorErrorerror gibt die Qualität des Matchings an und ist der mittlere euklidische Abstand der Punkte zu ihren korrespondierenden Epipolarlinien gemessen in Pixeln.

Punktpaare, welche die Konsistenzbedingungen erfüllen, werden als Korrespondenzen akzeptiert. Points1Points1Points1Points1Points1points1 enthält die Indizes der zugeordneten Eingabepunkte im ersten Bild, Points2Points2Points2Points2Points2points2 die Indizes der dazu korrespondierenden Punkte im zweiten Bild.

Bei dem Operator match_essential_matrix_ransacmatch_essential_matrix_ransacMatchEssentialMatrixRansacmatch_essential_matrix_ransacMatchEssentialMatrixRansacMatchEssentialMatrixRansac ist folgender Spezialfall zu beachten: Liegen alle zugeordneten Raumpunkte in einer einzigen Ebene und zusätzlich alle näher zu einer der beiden Kameras, so gibt es insgesamt zwei Lösungen. Das heißt, dass in diesem Fall das Problem der Berechnung der Essential-Matrix nicht eindeutig lösbar ist. Es werden daher auch beide Lösungen ausgegeben. Das bedeutet, dass die Ausgabeparameter EMatrixEMatrixEMatrixEMatrixEMatrixEMatrix, CovEMatCovEMatCovEMatCovEMatCovEMatcovEMat und ErrorErrorErrorErrorErrorerror von doppelter Länge sind, wobei die Werte der zweiten Lösung an die Werte der ersten Lösung hinten angehängt sind.

Der Parameter RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed kann benutzt werden, um das randomisierte Verhalten des RANSAC-Verfahrens zu kontrollieren und somit reproduzierbare Ergebnisse zu erhalten. Wird RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed auf einen positiven Wert gesetzt, so liefert der Operator bei jedem Aufruf mit denselben Parametern auch dasselbe Resultat, da der intern verwendete Zufallsgenerator mit RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed initialisiert wird. Ist RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed = 0, so wird der Zufallsgenerator mit der aktuellen Zeit initialisiert. Daher sind in diesem Fall die Ergebnisse unter Umständen nicht reproduzierbar.

Parallelisierung

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Parameter

Vorgänger

points_foerstnerpoints_foerstnerPointsFoerstnerpoints_foerstnerPointsFoerstnerPointsFoerstner, points_harrispoints_harrisPointsHarrispoints_harrisPointsHarrisPointsHarris

Nachfolger

vector_to_essential_matrixvector_to_essential_matrixVectorToEssentialMatrixvector_to_essential_matrixVectorToEssentialMatrixVectorToEssentialMatrix

Siehe auch

match_fundamental_matrix_ransacmatch_fundamental_matrix_ransacMatchFundamentalMatrixRansacmatch_fundamental_matrix_ransacMatchFundamentalMatrixRansacMatchFundamentalMatrixRansac, match_rel_pose_ransacmatch_rel_pose_ransacMatchRelPoseRansacmatch_rel_pose_ransacMatchRelPoseRansacMatchRelPoseRansac, stationary_camera_self_calibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration

Literatur

Richard Hartley, Andrew Zisserman: „Multiple View Geometry in Computer Vision“; Cambridge University Press, Cambridge; 2003.
Olivier Faugeras, Quang-Tuan Luong: „The Geometry of Multiple Images: The Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications“; MIT Press, Cambridge, MA; 2001.

Modul

3D Metrology