proj_match_points_distortion_ransac_guidedT_proj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedproj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedProjMatchPointsDistortionRansacGuided (Operator)

Name

proj_match_points_distortion_ransac_guidedT_proj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedproj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedProjMatchPointsDistortionRansacGuided — Automatische Bestimmung der projektiven Transformationsmatrix zwischen zwei Bildern und des radialen Verzeichnungskoeffizienten durch Zuordnung von Bildpunkten basierend auf bekannten Näherungen der projektiven Transformationsmatrix und des radialen Verzeichnungskoeffizienten.

Signatur

Beschreibung

Ausgehend von einer Menge charakteristischer Punkte (Rows1Rows1Rows1Rows1Rows1rows1,Cols1Cols1Cols1Cols1Cols1cols1) und (Rows2Rows2Rows2Rows2Rows2rows2,Cols2Cols2Cols2Cols2Cols2cols2) in den beiden Eingabebildern Image1Image1Image1Image1Image1image1 und Image2Image2Image2Image2Image2image2, welche dieselbe Größe besitzen müssen, und bekannten Näherungen HomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuidehomMat2DGuide und KappaGuideKappaGuideKappaGuideKappaGuideKappaGuidekappaGuide für die Transformation von Image1Image1Image1Image1Image1image1 zu Image2Image2Image2Image2Image2image2 bestimmt proj_match_points_distortion_ransac_guidedproj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedproj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedProjMatchPointsDistortionRansacGuided automatisch die Korrespondenz der Punkte, die homogene projektive Transformationsmatrix HomMat2DHomMat2DHomMat2DHomMat2DHomMat2DhomMat2D und den radialen Verzeichnungskoeffizienten KappaKappaKappaKappaKappakappa, welche die folgende Gleichung am besten erfüllen:

/ r2 \              / r1 \
| c2 | = HomMat2D * | c1 |.
\  1 /              \  1 /

Hierbei sind (r1,c1) und (r2,c2) Bildpunkte, die durch Entzerrung der Eingabebildpunkte mit dem Divisionsmodell entstehen (siehe calibrate_camerascalibrate_camerasCalibrateCamerascalibrate_camerasCalibrateCamerasCalibrateCameras):

   r = r' / (1+Kappa*(r'^2+c'^2)
   c = c' / (1+Kappa*(r'^2+c'^2)

Hierbei bezeichnen (r1',c1') = (Rows1Rows1Rows1Rows1Rows1rows1-0.5*(h-1),Cols1Cols1Cols1Cols1Cols1cols1-0.5*(w-1)) und (r2',c2') = (Rows2Rows2Rows2Rows2Rows2rows2-0.5*(h-1),Cols2Cols2Cols2Cols2Cols2cols2-0.5*(w-1)) die verzerrten Bildpunkte relativ zum Bildmittelpunkt und w und h die Breite und Höhe der Eingabebilder. proj_match_points_distortion_ransac_guidedproj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedproj_match_points_distortion_ransac_guidedProjMatchPointsDistortionRansacGuidedProjMatchPointsDistortionRansacGuided nimmt also an, dass der Hauptpunkt, d.h. das Zentrum der radialen Verzeichnungen, im Bildmittelpunkt liegt.

Das zurückgelieferte KappaKappaKappaKappaKappakappa kann dazu verwendet werden, Kameraparameter zu konstruieren, die zur Entzerrung von Bildern oder Bildpunkten verwendet werden können (siehe change_radial_distortion_cam_parchange_radial_distortion_cam_parChangeRadialDistortionCamParchange_radial_distortion_cam_parChangeRadialDistortionCamParChangeRadialDistortionCamPar, change_radial_distortion_imagechange_radial_distortion_imageChangeRadialDistortionImagechange_radial_distortion_imageChangeRadialDistortionImageChangeRadialDistortionImage und change_radial_distortion_pointschange_radial_distortion_pointsChangeRadialDistortionPointschange_radial_distortion_pointsChangeRadialDistortionPointsChangeRadialDistortionPoints):

  CamPar = [0.0,KappaKappaKappaKappaKappakappa,1.0,1.0,0.5*(w-1),0.5*(h-1),w,h]

Die Näherung HomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuidehomMat2DGuide kann z.B. mit proj_match_points_distortion_ransacproj_match_points_distortion_ransacProjMatchPointsDistortionRansacproj_match_points_distortion_ransacProjMatchPointsDistortionRansacProjMatchPointsDistortionRansac auf niedriger aufgelösten Versionen von Image1Image1Image1Image1Image1image1 zu Image2Image2Image2Image2Image2image2 bestimmt werden. Siehe dazu das Beispiel unten.

Das Matchingverfahren beruht auf charakteristischen Punkten, welche mit Punktoperatoren, wie z.B. points_foerstnerpoints_foerstnerPointsFoerstnerpoints_foerstnerPointsFoerstnerPointsFoerstner oder points_harrispoints_harrisPointsHarrispoints_harrisPointsHarrisPointsHarris, extrahiert wurden. Die Bestimmung der Korrespondenzen erfolgt in 2 Schritten: Zuerst werden die Grauwertkorrelationen von Umgebungen der Eingabepunkte im ersten und zweiten Bild bestimmt und anhand dieser ein initiales Matching zwischen den Punkten ermittelt. Dann wird das RANSAC-Verfahren angewendet, um die projektive Transformationsmatrix und den radialen Verzeichnungskoeffizienten zu finden, welche die Anzahl der korrespondierenden Punktpaare unter Erfüllung der obigen Bedingung maximieren.

Die Größe der Grauwertfenster, die für das Matching verwendet werden, beträgt MaskSizeMaskSizeMaskSizeMaskSizeMaskSizemaskSize x MaskSizeMaskSizeMaskSizeMaskSizeMaskSizemaskSize. Es können drei Metriken für die Korrelation gewählt werden. Hat GrayMatchMethodGrayMatchMethodGrayMatchMethodGrayMatchMethodGrayMatchMethodgrayMatchMethod den Wert 'ssd'"ssd""ssd""ssd""ssd""ssd", so wird das Quadrat der Grauwertdifferenzen verwendet, 'sad'"sad""sad""sad""sad""sad" entspricht dem Betrag der Grauwertdifferenzen und 'ncc'"ncc""ncc""ncc""ncc""ncc" ist die normierte Kreuzkorrelation (siehe auch binocular_disparitybinocular_disparityBinocularDisparitybinocular_disparityBinocularDisparityBinocularDisparity). Diese Metrik wird über alle Punktpaare minimiert ('ssd'"ssd""ssd""ssd""ssd""ssd", 'sad'"sad""sad""sad""sad""sad") bzw. maximiert ('ncc'"ncc""ncc""ncc""ncc""ncc"), eine so gefundene Korrespondenz wird aber nur akzeptiert, falls der Wert der Metrik unter dem Wert von MatchThresholdMatchThresholdMatchThresholdMatchThresholdMatchThresholdmatchThreshold ('ssd'"ssd""ssd""ssd""ssd""ssd", 'sad'"sad""sad""sad""sad""sad") bzw. über demselben ('ncc'"ncc""ncc""ncc""ncc""ncc") liegt.

Zur Performanzsteigerung wird der Suchbereich für die Match-Kandidaten basierend auf der Näherung der Transformation eingeschränkt, die durch HomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuidehomMat2DGuide und KappaGuideKappaGuideKappaGuideKappaGuideKappaGuidekappaGuide bestimmt wird. Nur Punkte, die innerhalb eines Abstandes von DistanceToleranceDistanceToleranceDistanceToleranceDistanceToleranceDistanceTolerancedistanceTolerance um die Transformation eines Punktes aus Image1Image1Image1Image1Image1image1 mittelsHomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuideHomMat2DGuidehomMat2DGuide und KappaGuideKappaGuideKappaGuideKappaGuideKappaGuidekappaGuide in Image2Image2Image2Image2Image2image2 liegen, werden für das Matching in Betracht gezogen.

Ist das initiale Punktmatching bestimmt, wird es anschließend durch einen randomisierten Auswahlalgorithmus (RANSAC) zur Bestimmung der projektiven Transformationsmatrix HomMat2DHomMat2DHomMat2DHomMat2DHomMat2DhomMat2D und des radialen Verzeichnungskoeffizienten KappaKappaKappaKappaKappakappa benutzt. Dabei wird versucht, diese Parameter so zu wählen, dass sie bezüglich der Schranke DistanceThresholdDistanceThresholdDistanceThresholdDistanceThresholdDistanceThresholddistanceThreshold zu möglichst vielen Punktpaaren konsistent sind. DistanceThresholdDistanceThresholdDistanceThresholdDistanceThresholdDistanceThresholddistanceThreshold sollte also kleiner als DistanceToleranceDistanceToleranceDistanceToleranceDistanceToleranceDistanceTolerancedistanceTolerance sein.

Der Parameter EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod gibt an, welches Verfahren zur Berechnung der projektiven Transformationsmatrix angewendet wird. Falls EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod auf 'linear'"linear""linear""linear""linear""linear" gesetzt wird, wird ein lineares Verfahren verwendet, das einen algebraischen Fehler basierend auf den obigen Gleichungen minimiert. Dieses Verfahren ist sehr schnell und liefert genaue Ergebnisse für geringes bis mittleres Rauschen der Punktkoordinaten und für die meisten Verzeichnungen (außer kleinen Verzeichnungen). Für EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod = 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" wird eine mathematisch optimale, dafür aber langsamere, Optimierung durchführt, die den geometrischen Reprojektionsfehler minimiert. Im allgemeinen sollte EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod = 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" gewählt werden.

Der Wert ErrorErrorErrorErrorErrorerror gibt die Qualität des Matchings an und ist der mittlere symmetrische euklidische Abstand der Punkte zu ihren korrespondierenden transformierten Punkten, gemessen in Pixeln.

Punktpaare, welche die Konsistenzbedingungen erfüllen, werden als Korrespondenzen akzeptiert. Points1Points1Points1Points1Points1points1 enthält die Indizes der zugeordneten Eingabepunkte im ersten Bild, Points2Points2Points2Points2Points2points2 die Indizes der dazu korrespondierenden Punkte im zweiten Bild.

Der Parameter RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed kann benutzt werden, um das randomisierte Verhalten des RANSAC-Verfahrens zu kontrollieren und somit reproduzierbare Ergebnisse zu erhalten. Wird RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed auf einen positiven Wert gesetzt, so liefert der Operator bei jedem Aufruf mit denselben Parametern auch dasselbe Resultat, da der intern verwendete Zufallsgenerator mit RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed initialisiert wird. Ist RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed = 0, so wird der Zufallsgenerator mit der aktuellen Zeit initialisiert. Daher sind in diesem Fall die Ergebnisse unter Umständen nicht reproduzierbar.

Parallelisierung

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Parameter

Beispiel (HDevelop)

Factor := 0.5
zoom_image_factor (Image1, Image1Zoomed, Factor, Factor, 'constant')
zoom_image_factor (Image2, Image2Zoomed, Factor, Factor, 'constant')
points_foerstner (Image1Zoomed, 1, 2, 3, 200, 0.3, 'gauss', 'true', \
                  Rows1, Cols1, _, _, _, _, _, _, _, _)
points_foerstner (Image2Zoomed, 1, 2, 3, 200, 0.3, 'gauss', 'true', \
                  Rows2, Cols2, _, _, _, _, _, _, _, _)
get_image_size (Image1Zoomed, Width, Height)
proj_match_points_distortion_ransac (Image1Zoomed, Image2Zoomed, \
                                     Rows1, Cols1, Rows2, Cols2, \
                                     'ncc', 10, 0, 0, Height, Width, \
                                     0, 0.5, 'gold_standard', 2, 0, \
                                     HomMat2D, Kappa, Error, \
                                     Points1, Points2)
hom_mat2d_scale_local (HomMat2D, Factor, Factor, HomMat2DGuide)
hom_mat2d_scale (HomMat2DGuide, 1.0/Factor, 1.0/Factor, 0, 0, \
                 HomMat2DGuide)
KappaGuide := Kappa*Factor*Factor
points_foerstner (Image1, 1, 2, 3, 200, 0.3, 'gauss', 'true', \
                  Rows1, Cols1, _, _, _, _, _, _, _, _)
points_foerstner (Image2, 1, 2, 3, 200, 0.3, 'gauss', 'true', \
                  Rows2, Cols2, _, _, _, _, _, _, _, _)
proj_match_points_distortion_ransac_guided (Image1, Image2, \
                                            Rows1, Cols1, \
                                            Rows2, Cols2, \
                                            'ncc', 10, \
                                            HomMat2DGuide, \
                                            KappaGuide, 5, 0.5, \
                                            'gold_standard', 2, 0, \
                                            HomMat2D, Kappa, \
                                            Error, Points1, Points2)
get_image_size (Image1, Width, Height)
CamParDist := [0.0,Kappa,1.0,1.0,0.5*(Width-1),0.5*(Height-1), \
               Width,Height]
change_radial_distortion_cam_par ('fixed', CamParDist, 0, CamPar)
change_radial_distortion_image (Image1, Image1, Image1Rect, \
                                CamParDist, CamPar)
change_radial_distortion_image (Image2, Image2, Image2Rect, \
                                CamParDist, CamPar)
concat_obj (Image1Rect, Image2Rect, ImagesRect)
gen_projective_mosaic (ImagesRect, MosaicImage, 1, 1, 2, HomMat2D, \
                       'default', 'false', MosaicMatrices2D)

Vorgänger

points_foerstnerpoints_foerstnerPointsFoerstnerpoints_foerstnerPointsFoerstnerPointsFoerstner, points_harrispoints_harrisPointsHarrispoints_harrisPointsHarrisPointsHarris

Nachfolger

vector_to_proj_hom_mat2d_distortionvector_to_proj_hom_mat2d_distortionVectorToProjHomMat2dDistortionvector_to_proj_hom_mat2d_distortionVectorToProjHomMat2dDistortionVectorToProjHomMat2dDistortion, change_radial_distortion_cam_parchange_radial_distortion_cam_parChangeRadialDistortionCamParchange_radial_distortion_cam_parChangeRadialDistortionCamParChangeRadialDistortionCamPar, change_radial_distortion_imagechange_radial_distortion_imageChangeRadialDistortionImagechange_radial_distortion_imageChangeRadialDistortionImageChangeRadialDistortionImage, change_radial_distortion_pointschange_radial_distortion_pointsChangeRadialDistortionPointschange_radial_distortion_pointsChangeRadialDistortionPointsChangeRadialDistortionPoints, gen_binocular_proj_rectificationgen_binocular_proj_rectificationGenBinocularProjRectificationgen_binocular_proj_rectificationGenBinocularProjRectificationGenBinocularProjRectification, projective_trans_imageprojective_trans_imageProjectiveTransImageprojective_trans_imageProjectiveTransImageProjectiveTransImage, projective_trans_image_sizeprojective_trans_image_sizeProjectiveTransImageSizeprojective_trans_image_sizeProjectiveTransImageSizeProjectiveTransImageSize, projective_trans_regionprojective_trans_regionProjectiveTransRegionprojective_trans_regionProjectiveTransRegionProjectiveTransRegion, projective_trans_contour_xldprojective_trans_contour_xldProjectiveTransContourXldprojective_trans_contour_xldProjectiveTransContourXldProjectiveTransContourXld, projective_trans_point_2dprojective_trans_point_2dProjectiveTransPoint2dprojective_trans_point_2dProjectiveTransPoint2dProjectiveTransPoint2d, projective_trans_pixelprojective_trans_pixelProjectiveTransPixelprojective_trans_pixelProjectiveTransPixelProjectiveTransPixel

Alternativen

proj_match_points_distortion_ransacproj_match_points_distortion_ransacProjMatchPointsDistortionRansacproj_match_points_distortion_ransacProjMatchPointsDistortionRansacProjMatchPointsDistortionRansac

Siehe auch

proj_match_points_ransacproj_match_points_ransacProjMatchPointsRansacproj_match_points_ransacProjMatchPointsRansacProjMatchPointsRansac, proj_match_points_ransac_guidedproj_match_points_ransac_guidedProjMatchPointsRansacGuidedproj_match_points_ransac_guidedProjMatchPointsRansacGuidedProjMatchPointsRansacGuided, hom_vector_to_proj_hom_mat2dhom_vector_to_proj_hom_mat2dHomVectorToProjHomMat2dhom_vector_to_proj_hom_mat2dHomVectorToProjHomMat2dHomVectorToProjHomMat2d, vector_to_proj_hom_mat2dvector_to_proj_hom_mat2dVectorToProjHomMat2dvector_to_proj_hom_mat2dVectorToProjHomMat2dVectorToProjHomMat2d

Literatur

Richard Hartley, Andrew Zisserman: „Multiple View Geometry in Computer Vision“; Cambridge University Press, Cambridge; 2003.
Olivier Faugeras, Quang-Tuan Luong: „The Geometry of Multiple Images: The Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications“; MIT Press, Cambridge, MA; 2001.

Modul

Matching