stationary_camera_self_calibrationT_stationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration (Operator)

Name

stationary_camera_self_calibrationT_stationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration — Selbstkalibrierung einer stationären projektiven Kamera.

Signatur

Beschreibung

stationary_camera_self_calibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration führt eine Selbstkalibrierung einer stationären projektiven Kamera durch. Stationär bedeutet hierbei, dass sich die Kamera nur um das optische Zentrum drehen und dabei zoomen darf. Das optische Zentrum darf also nicht verschoben werden. Projektive Kamera bedeutet hierbei, dass als Kameramodell eine Lochkamera verwendet wird, deren Abbildung durch eine projektive 3D-2D-Abbildung beschrieben werden kann. Insbesondere können radiale Verzeichnungen nur modelliert werden, wenn die Brennweite konstant bleibt. Falls die Kamera signifikante radiale Verzeichnungen aufweist, sollten diese mit change_radial_distortion_imagechange_radial_distortion_imageChangeRadialDistortionImagechange_radial_distortion_imageChangeRadialDistortionImageChangeRadialDistortionImage zumindest näherungsweise beseitigt werden.

Das zugrundeliegende Kameramodell kann wie folgt beschrieben werden:

Da die Kamera stationär ist, kann man t=0 annehmen. Mit dieser Konvention sieht man leicht, dass die vierte Koordinate des homogenen 3D-Vektors X keinen Einfluss auf die Lage des projizierten 3D-Punktes hat. Somit kann man die vierte Koordinate auch auf 0 setzen und sieht, dass X als Punkt der unendlich fernen Ebene betrachtet werden kann, und somit eine Richtung im Raum repräsentiert. Mit dieser Konvention kann man die vierte Koordinate von X auch weglassen und X als inhomogenen 3D-Vektor betrachten, der als Richtungsvektor nur bis auf Skalierung bestimmt werden kann. Somit kann die obige Projektionsgleichung auch wie folgt geschrieben werden:

Aus der obigen Gleichung können Bedingungsgleichungen für die Kameraparameter auf zwei Arten hergeleitet werden. Zum einen kann durch Elimination der Rotation eine Gleichung hergeleitet werden, die die Kameramatrizen mit der projektive 2D-Abbildung zwischen zwei Bildern verknüpft. Sei die projektive Abbildung von Bild i nach Bild j. Dann gilt

In jedem der drei Verfahren kann festgelegt werden, welche Kameraparameter bestimmt werden sollen. Die jeweils anderen Kameraparameter werden auf einem festen Wert gehalten. Die Festlegung erfolgt mit dem Parameter CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel, der ein Tupel von Werten enthält. CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel muss immer den Wert 'focus'"focus""focus""focus""focus""focus" enthalten, der festlegt, dass die Brennweite f bestimmt wird. Wenn CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel den Wert 'principal_point'"principal_point""principal_point""principal_point""principal_point""principal_point" enthält, wird der Hauptpunkt (u,v) der Kamera bestimmt, ansonsten wird er auf den Wert (ImageWidthImageWidthImageWidthImageWidthImageWidthimageWidth/2,ImageHeightImageHeightImageHeightImageHeightImageHeightimageHeight/2) gesetzt. Wenn CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel den Wert 'aspect'"aspect""aspect""aspect""aspect""aspect" enthält, wird das Seitenverhältnis a der Pixel bestimmt, ansonsten wird es auf 1 gesetzt. Wenn CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel den Wert 'skew'"skew""skew""skew""skew""skew" enthält, wird die Schrägstellung s der Bildachsen bestimmt, ansonsten wird sie auf 0 gesetzt. Es sind nur bestimmte Kombinationen dieser Parameter erlaubt: 'focus'"focus""focus""focus""focus""focus", ['focus', 'principal_point']["focus", "principal_point"]["focus", "principal_point"]["focus", "principal_point"]["focus", "principal_point"]["focus", "principal_point"], ['focus', 'aspect']["focus", "aspect"]["focus", "aspect"]["focus", "aspect"]["focus", "aspect"]["focus", "aspect"], ['focus', 'principal_point', 'aspect']["focus", "principal_point", "aspect"]["focus", "principal_point", "aspect"]["focus", "principal_point", "aspect"]["focus", "principal_point", "aspect"]["focus", "principal_point", "aspect"] und ['focus', 'principal_point', 'aspect', 'skew']["focus", "principal_point", "aspect", "skew"]["focus", "principal_point", "aspect", "skew"]["focus", "principal_point", "aspect", "skew"]["focus", "principal_point", "aspect", "skew"]["focus", "principal_point", "aspect", "skew"].

Zusätzlich zu den obigen Parametern ist es bei Verwendung von EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod = 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" möglich mit dem Parameter KappaKappaKappaKappaKappakappa die Verzeichnung der Bilder zu schätzen. Hierfür kann in diesem Fall CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel um den Parameter 'kappa'"kappa""kappa""kappa""kappa""kappa" erweitert werden. KappaKappaKappaKappaKappakappa entspricht dem Verzeichnungsparemeter kappa des Divisionsmodells für Verzeichnungen (siehe camera_calibrationcamera_calibrationCameraCalibrationcamera_calibrationCameraCalibrationCameraCalibration).

Bei der Verwendung von EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod = 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" zur Bestimmung des Hauptpunkts ist es möglich, weit vom Bildmittelpunkt entfernt liegende Schätzungen zu bestrafen. Hierzu kann ein Sigma an den Parameter 'principal_point:0.5'"principal_point:0.5""principal_point:0.5""principal_point:0.5""principal_point:0.5""principal_point:0.5" angehängt werden. Wird kein Sigma angegeben, so entfällt der Strafterm in der obigen Fehlerformel.

Der Parameter FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams legt fest, ob sich die Kameraparameter pro Bild ändern können oder ob sie für alle Bilder als konstant angenommen werden sollen. Um eine Kamera zu kalibrieren und später mit der kalibrierten Kamera zu messen, ist nur FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'true'"true""true""true""true""true" sinnvoll. Der Modus FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'false'"false""false""false""false""false" ist hauptsächlich zur Berechnung von Mosaiken mit gen_spherical_mosaicgen_spherical_mosaicGenSphericalMosaicgen_spherical_mosaicGenSphericalMosaicGenSphericalMosaic sinnvoll, falls die Kamera bei der Aufnahme des Mosaiks gezoomt hat oder sich die Scharfstellung signifikant geändert hat. Falls ein Mosaik mit konstanten Kameraparametern berechnet werden soll, sollte natürlich auch FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'true'"true""true""true""true""true" verwendet werden. Es ist zu beachten, dass für FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'false'"false""false""false""false""false" in praktischen Anwendungen das Problem, speziell für Aufnahmen mit langen Brennweiten, sehr schlecht bestimmt ist. In diesen Fällen kann oft nur die Brennweite bestimmt werden. Deswegen ist es hier unter Umständen erforderlich, CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel = 'focus'"focus""focus""focus""focus""focus" zu wählen oder die Lage des Hauptpunktes einzuschränken, indem ein kleines Sigma für den Strafterm des Hauptpunktes gewählt wird.

Die Anzahl der Bilder, die zur Kalibrierung verwendet werden, wird in NumImagesNumImagesNumImagesNumImagesNumImagesnumImages übergeben. Aus der Anzahl der Bilder ergeben sich Einschränkungen für das Kameramodell. So können bei der Verwendung von nur zwei Bildern selbst bei der Annahme von konstanten Kameraparametern nicht alle Parameter bestimmt werden. Hier sollte sinnvollerweise die Schrägstellung der Bildachsen auf 0 gesetzt werden, indem 'skew'"skew""skew""skew""skew""skew" nicht in CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel aufgenommen wird. Falls FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'false'"false""false""false""false""false" verwendet wird, können in keinem Fall alle Kameraparameter bestimmt werden. Hier sollte ebenfalls mindestens die Schrägstellung der Bildachsen auf 0 gesetzt werden. Weiterhin ist zu beachten, dass das Seitenverhältnis der Pixel nur korrekt bestimmt werden kann, wenn mindestens ein Bild um die optische Achse (die z-Achse des Kamerakoordinatensystems) gegenüber den anderen Bildern verdreht aufgenommen worden ist. Falls dies nicht der Fall ist, sollte die Bestimmung des Seitenverhältnisses unterdrückt werden, indem der Wert 'aspect'"aspect""aspect""aspect""aspect""aspect" nicht in CameraModelCameraModelCameraModelCameraModelCameraModelcameraModel aufgenommen wird.

Wie oben beschrieben, ist es zur Kalibrierung notwendig, dass mit proj_match_points_ransacproj_match_points_ransacProjMatchPointsRansacproj_match_points_ransacProjMatchPointsRansacProjMatchPointsRansac für jedes überlappende Bildpaar die projektive Abbildung zwischen den zwei beteiligten Bildern bestimmt wird. So sind z.B. für einen 2x2 Block von Bildern in folgender Anordnung

unter der Annahme, dass sich alle Bilder gegenseitig überlappen, folgende projektive Abbildungen zu bestimmen: 1->2, 1->3, 1->4, 2->3, 2->4 und 3->4. Die Indizes der Bilder, die die jeweilige Abbildung bestimmen, werden in MappingSourceMappingSourceMappingSourceMappingSourceMappingSourcemappingSource und MappingDestMappingDestMappingDestMappingDestMappingDestmappingDest übergeben. Die Indizes der Bilder beginnen ab 1. In obigem Beispiel ist also MappingSourceMappingSourceMappingSourceMappingSourceMappingSourcemappingSource = [1,1,1,2,2,3] und MappingDestMappingDestMappingDestMappingDestMappingDestmappingDest = [2,3,4,3,4,4] zu verwenden. Die Gesamtanzahl von Bildern, die zur Kalibrierung verwendet wird, wird in NumImagesNumImagesNumImagesNumImagesNumImagesnumImages übergeben. Sie wird verwendet, um zu überprüfen, ob jedes Bild über eine Kette von Abbildungen erreicht werden kann. Der Index des Referenzbildes wird in ReferenceImageReferenceImageReferenceImageReferenceImageReferenceImagereferenceImage übergeben. Dieses Bild erhält in der Ausgabe als Rotation die Einheitsmatrix.

Die zu den Bildpaaren gehörigen 3x3 projektiven Transformationsmatrizen werden in HomMatrices2DHomMatrices2DHomMatrices2DHomMatrices2DHomMatrices2DhomMatrices2D übergeben. Zusätzlich müssen in Rows1Rows1Rows1Rows1Rows1rows1, Cols1Cols1Cols1Cols1Cols1cols1, Rows2Rows2Rows2Rows2Rows2rows2 und Cols2Cols2Cols2Cols2Cols2cols2 die Koordinaten der zugeordneten Punktpaare in den einzelnen Bildpaaren übergeben werden. Sie können aus der Ausgabe von proj_match_points_ransacproj_match_points_ransacProjMatchPointsRansacproj_match_points_ransacProjMatchPointsRansacProjMatchPointsRansac mit tuple_selecttuple_selectTupleSelecttuple_selectTupleSelectTupleSelect oder mit der HDevelop-Funktion subset bestimmt werden. Damit stationary_camera_self_calibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration bestimmen kann, zu welcher Abbildung ein Punktpaar gehört, muss in NumCorrespondencesNumCorrespondencesNumCorrespondencesNumCorrespondencesNumCorrespondencesnumCorrespondences für jedes Bildpaar die Anzahl der gefundenen Zuordnungen übergeben werden.

Die berechneten Kameramatrizen werden in CameraMatricesCameraMatricesCameraMatricesCameraMatricesCameraMatricescameraMatrices als 3x3 Matrizen zurückgegeben. Für FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'false'"false""false""false""false""false" werden NumImagesNumImagesNumImagesNumImagesNumImagesnumImages Matrizen zurückgegeben. Da für FixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsFixedCameraParamsfixedCameraParams = 'true'"true""true""true""true""true" alle Kameramatrizen identisch sind, wird in diesem Fall nur eine Kameramatrix zurückgegeben. Die berechneten Rotationen werden in RotationMatricesRotationMatricesRotationMatricesRotationMatricesRotationMatricesrotationMatrices als 3x3 Matrizen zurückgegeben. RotationMatricesRotationMatricesRotationMatricesRotationMatricesRotationMatricesrotationMatrices enthält NumImagesNumImagesNumImagesNumImagesNumImagesnumImages Matrizen.

Falls EstimationMethodEstimationMethodEstimationMethodEstimationMethodEstimationMethodestimationMethod = 'gold_standard'"gold_standard""gold_standard""gold_standard""gold_standard""gold_standard" verwendet wird, werden in (XXXXXx, YYYYYy, ZZZZZz) die rekonstruierten Richtungen zurückgegeben. Zusätzlich wird in ErrorErrorErrorErrorErrorerror der mittlere Projektionsfehler der rekonstruierten Richtungen zurückgegeben. Dies kann verwendet werden, um zu überprüfen, ob die Optimierung zu sinnvollen Werten konvergiert ist.

Falls die berechneten Kameraparameter zur Projektion von 3D-Punkten oder 3D-Richtungen in das Bild i verwendet werden sollen, sollte die jeweilige Kameramatrix mit der Rotationsmatrix multipliziert werden (mit hom_mat2d_composehom_mat2d_composeHomMat2dComposehom_mat2d_composeHomMat2dComposeHomMat2dCompose).

Parallelisierung

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Parameter

Beispiel (HDevelop)

* Assume that Images contains four images in the layout given in the
* above description.  Then the following example performs the camera
* self-calibration using these four images.
From := [1,1,1,2,2,3]
To := [2,3,4,3,4,4]
HomMatrices2D := []
Rows1 := []
Cols1 := []
Rows2 := []
Cols2 := []
NumMatches := []
for J := 0 to |From|-1 by 1
    select_obj (Images, ImageF, From[J])
    select_obj (Images, ImageT, To[J])
    points_foerstner (ImageF, 1, 2, 3, 100, 0.1, 'gauss', 'true', \
                      RowsF, ColsF, _, _, _, _, _, _, _, _)
    points_foerstner (ImageT, 1, 2, 3, 100, 0.1, 'gauss', 'true', \
                      RowsT, ColsT, _, _, _, _, _, _, _, _)
    proj_match_points_ransac (ImageF, ImageT, RowsF, ColsF, RowsT, ColsT, \
                              'ncc', 10, 0, 0, 480, 640, 0, 0.5, \
                              'gold_standard', 2, 42, HomMat2D, \
                              Points1, Points2)
    HomMatrices2D := [HomMatrices2D,HomMat2D]
    Rows1 := [Rows1,subset(RowsF,Points1)]
    Cols1 := [Cols1,subset(ColsF,Points1)]
    Rows2 := [Rows2,subset(RowsT,Points2)]
    Cols2 := [Cols2,subset(ColsT,Points2)]
    NumMatches := [NumMatches,|Points1|]
endfor
stationary_camera_self_calibration (4, 640, 480, 1, From, To, \
                                    HomMatrices2D, Rows1, Cols1, \
                                    Rows2, Cols2, NumMatches, \
                                    'gold_standard', \
                                    ['focus','principal_point'], \
                                    'true', CameraMatrix, Kappa, \
                                    RotationMatrices, X, Y, Z, Error)

Ergebnis

Sind die Parameterwerte korrekt, dann liefert stationary_camera_self_calibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationstationary_camera_self_calibrationStationaryCameraSelfCalibrationStationaryCameraSelfCalibration den Wert 2 (H_MSG_TRUE). Gegebenenfalls wird eine Fehlerbehandlung durchgeführt.

Vorgänger

proj_match_points_ransacproj_match_points_ransacProjMatchPointsRansacproj_match_points_ransacProjMatchPointsRansacProjMatchPointsRansac, proj_match_points_ransac_guidedproj_match_points_ransac_guidedProjMatchPointsRansacGuidedproj_match_points_ransac_guidedProjMatchPointsRansacGuidedProjMatchPointsRansacGuided

Nachfolger

gen_spherical_mosaicgen_spherical_mosaicGenSphericalMosaicgen_spherical_mosaicGenSphericalMosaicGenSphericalMosaic

Siehe auch

gen_projective_mosaicgen_projective_mosaicGenProjectiveMosaicgen_projective_mosaicGenProjectiveMosaicGenProjectiveMosaic

Literatur

Lourdes Agapito, E. Hayman, I. Reid: „Self-Calibration of Rotating and Zooming Cameras“; International Journal of Computer Vision; vol. 45, no. 2; pp. 107--127; 2001.

Modul

Calibration