create_uncalib_descriptor_modelT_create_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModelcreate_uncalib_descriptor_model (Operator)

Name

create_uncalib_descriptor_modelT_create_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModelcreate_uncalib_descriptor_model — Vorbereiten eines Deskriptormodells für Punkt-Matching.

Signatur

Beschreibung

Der Operator create_uncalib_descriptor_modelcreate_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModelCreateUncalibDescriptorModelcreate_uncalib_descriptor_model erstellt ein Deskriptormodell einer Bildregion, die als das Bild TemplateTemplateTemplateTemplatetemplatetemplate übergeben wird. Mit Hilfe dieses Modells kann deskriptorbasiertes Matching durchgeführt werden. Durch anschließende Verwendung des Operators find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model kann damit eine projektive 2D Abbildung (Homographie) von TemplateTemplateTemplateTemplatetemplatetemplate zu einem Suchbild ermittelt werden. Der Schwerpunkt der Bildregion im TemplateTemplateTemplateTemplatetemplatetemplate wird als Ursprung des Models genommen. Im Gegensatz zu create_calib_descriptor_modelcreate_calib_descriptor_modelCreateCalibDescriptorModelCreateCalibDescriptorModelCreateCalibDescriptorModelcreate_calib_descriptor_model ist hier keine kalibrierte Kamera nötig, allerdings ist das Ergebnis eines nachfolgenden Matchings lediglich eine 2D Projektion. Es ist zu beachten, dass der Teil des Objektes, der in dem TemplateTemplateTemplateTemplatetemplatetemplate-Bild zu sehen ist, planar sein muss.

Das Deskriptormodell beschreibt einen Satz von Merkmalspunkten. Es speichert die Punktpositionen, sowie unterschiedlichen Beschreibungen ihrer lokalen Bildumgebung. Die Extraktion dieser Merkmalspunkte wird durch DetectorTypeDetectorTypeDetectorTypeDetectorTypedetectorTypedetector_type, DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamNamedetector_param_name und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValuedetector_param_value parametrisiert. Der zugehörige Deskriptor für die Umgebung der Merkmalspunkte wird durch DescriptorParamNameDescriptorParamNameDescriptorParamNameDescriptorParamNamedescriptorParamNamedescriptor_param_name und DescriptorParamValueDescriptorParamValueDescriptorParamValueDescriptorParamValuedescriptorParamValuedescriptor_param_value parametrisiert. Derzeit wird der Deskriptor durch randomized ferns implementiert. Der Parameter SeedSeedSeedSeedseedseed initialisiert den Zufallszahlengenerator, der für den Aufbau der randomized ferns Strukturen verwendet wird. Ist das Deskriptormodell generiert, wird dessen Referenz in ModelIDModelIDModelIDModelIDmodelIDmodel_id zurückgegeben. Durch Verwendung dieses Modells in find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model kann ein schnelles, projektivinvariantes Matching zwischen Modell- und Suchbild gewährleistet werden. Da das deskriptorbasierte Matching auf der Existenz von stabilen und repräsentativen Merkmalspunkten basiert, muss das detektierte Objekt ausreichend Textur aufweisen, die sich nicht wiederholt.

Detektorparameter

Wie bereits erwähnt, ist der Detektor dafür verantwortlich, stabile Merkmalspunkte aus dem Modellbild zu extrahieren. Durch den Parameter DetectorTypeDetectorTypeDetectorTypeDetectorTypedetectorTypedetector_type kann festgelegt werden, welcher Punktoperator verwendet werden soll. Derzeit werden points_lepetitpoints_lepetitPointsLepetitPointsLepetitPointsLepetitpoints_lepetit, points_harrispoints_harrisPointsHarrisPointsHarrisPointsHarrispoints_harris oder dessen binomiale Approximation points_harris_binomialpoints_harris_binomialPointsHarrisBinomialPointsHarrisBinomialPointsHarrisBinomialpoints_harris_binomial unterstützt ('lepetit'"lepetit""lepetit""lepetit""lepetit""lepetit", 'harris'"harris""harris""harris""harris""harris", 'harris_binomial'"harris_binomial""harris_binomial""harris_binomial""harris_binomial""harris_binomial"). Bei Anwendung auf dunkle Modell- / Suchbilder wird die Verwendung eines der Harris-Punktoperatoren empfohlen. Je nach Wahl des Punktoperators DetectorTypeDetectorTypeDetectorTypeDetectorTypedetectorTypedetector_type müssen dessen Parameter eingestellt werden, was über DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamNamedetector_param_name und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValuedetector_param_value möglich ist.

Gültige Parameternamen für DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamNamedetector_param_name und die entsprechenden Defaultwerte sind:

'lepetit'"lepetit""lepetit""lepetit""lepetit""lepetit" :

['radius','check_neighbor', 'min_check_neighbor_diff','min_score','subpix']

[ 3, 1, 15, 30, 'interpolation']

'harris'"harris""harris""harris""harris""harris" :

['sigma_grad','sigma_smooth','alpha', 'threshold']

[ 0.7, 2.0, 0.08, 1000]

'harris_binomial'"harris_binomial""harris_binomial""harris_binomial""harris_binomial""harris_binomial" :

['mask_size_grd','mask_size_smooth', 'alpha','threshold','subpix']

[5, 15, 0.08, 1000, 'on']

Weitere Informationen über diese Parameter können unter der Beschreibung von points_harrispoints_harrisPointsHarrisPointsHarrisPointsHarrispoints_harris, points_harris_binomialpoints_harris_binomialPointsHarrisBinomialPointsHarrisBinomialPointsHarrisBinomialpoints_harris_binomial beziehungsweise points_lepetitpoints_lepetitPointsLepetitPointsLepetitPointsLepetitpoints_lepetit gefunden werden. Für die Parameter, die nicht explizit durch DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamNamedetector_param_name und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValuedetector_param_value gesetzt sind, werden die oben genannten Werte für den entsprechenden Punktoperator genommen. Dementsprechend, wenn sowohl DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamNamedetector_param_name als auch DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValuedetector_param_value auf [] gesetzt sind, werden diese Defaultwerte für alle Parameter übernommen.

Beim Optimieren der Punktoperator-Parameter sollten zwischen 50 und 450 Merkmalspunkte extrahiert werden (je nach Textur und Bildgröße von TemplateTemplateTemplateTemplatetemplatetemplate). In den meisten Fällen ist es jedoch ausreichend, die Defaultwerte zu übernehmen ([] in DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamNamedetector_param_name und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValuedetector_param_value eingeben).

Deskriptorparameter

Der Punktdeskriptor ist ein Klassifikator, der charakteristische Beschreibungen der Grauwertnachbarschaft der Merkmalspunkte aufbaut. Derzeit ist der Deskriptor durch die so genannten randomized ferns implementiert. Diese entnehmen die Polarität der Grauwertdifferenzen von zufällig ausgewählten Pixelpaaren aus der Nachbarschaft des Punktes. Dieser Deskriptor wird danach in find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model verwendet, um Merkmalspunkte im Suchbild zu klassifizieren, oder mit anderen Worten: um potentielle Modellpunkte auch im Suchbild zu erkennen (matchen).

Der Deskriptor speichert nur die projektiv stabilen Merkmalspunkte (die in vielen projektiven Ansichten des Modellbildes auftauchen). Um die Stabilität einzelner Punkte zu bewerten, wird die folgende Simulation durchgeführt: TemplateTemplateTemplateTemplatetemplatetemplate wird vielen affinen Transformationen ausgesetzt, und die Punkte, die in den meisten Ansichten erscheinen, werden als stabil eingestuft. Die affinen Transformationen gelten als eine gute Näherung zu projektiven Transformationen in der lokalen Umgebung der Punkten.

Die folgenden Parameter des Deskriptors und seines Trainings können mit DescriptorParamNameDescriptorParamNameDescriptorParamNameDescriptorParamNamedescriptorParamNamedescriptor_param_name und DescriptorParamValueDescriptorParamValueDescriptorParamValueDescriptorParamValuedescriptorParamValuedescriptor_param_value gesetzt werden:

Deskriptorstrukturen-Parameter:

'depth'"depth""depth""depth""depth""depth":

Tiefe des Farns, der für die Punktklassifikation verwendet wird. Ein tieferer Farn kann Merkmalspunkte besser unterscheiden. Andererseits steigt der Speicherbedarf bei Erhöhung der Tiefe um 2 an. Typische Werte sind [5 .. 11], Defaultwert ist 11.

'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns""number_ferns":

Anzahl der Farne. Mehr Farne erhöhen die Erkennungsrobustheit, aber auch die Laufzeit der Punktdetektion. Soll der Speicherverbrauch des Deskriptormodells minimiert werden, sind viele Farne mit geringer Tiefe empfohlen (z.B. 'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns""number_ferns"=150, 'depth'"depth""depth""depth""depth""depth"= 5). Soll hingegen die Detektionszeit verkürzt werden sind wenige Farne mit größerer Tiefe empfohlen (z.B. 'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns""number_ferns"=10, 'depth'"depth""depth""depth""depth""depth"=11). Typische Werte sind [1 .. 150], Defaultwert ist 30.

'patch_size'"patch_size""patch_size""patch_size""patch_size""patch_size":

Seitenlänge der quadratischen Umgebung eines Merkmalspunktes. Höhere Werte dieses Parameters können zu längeren Trainingszeiten führen. Typische Werte sind [15 .. 33], Defaultwert ist 17.

Die Parameter 'depth'"depth""depth""depth""depth""depth", 'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns""number_ferns" und 'patch_size'"patch_size""patch_size""patch_size""patch_size""patch_size" erlauben eine transparente Kontrolle über die Robustheit der Erkennung, die Geschwindigkeit und den Speicherverbrauch.

Simulationparameter:

'tilt'"tilt""tilt""tilt""tilt""tilt":

Schalter für projektive Transformationen während des Simulationsschrittes. Im eingeschalteten Zustand ('on'"on""on""on""on""on"), verbessert sich die Robustheit des Modells, indem Objekte mit größerer Neigung gefunden werden können. Im ausgeschalteten Zustand ('off'"off""off""off""off""off") verkürzt sich die Trainingzeit deutlich, und das Modell kann immer noch projektiv transformierte Objekte erkennen. Mögliche Werte sind ['on'"on""on""on""on""on", 'off'"off""off""off""off""off"], Defaultwert ist 'on'"on""on""on""on""on".

'min_rot'"min_rot""min_rot""min_rot""min_rot""min_rot":

Minimaler Rotationswinkel um den Normalvektor des TemplateTemplateTemplateTemplatetemplatetemplate-Bildes. Typische Werte sind [-180 .. 0], Defaultwert ist -180.

'max_rot'"max_rot""max_rot""max_rot""max_rot""max_rot":

Maximaler Rotationswinkel um den Normalvektor des TemplateTemplateTemplateTemplatetemplatetemplate-Bildes. Typische Werte sind [0 .. 180], Defaultwert ist 180.

'min_scale'"min_scale""min_scale""min_scale""min_scale""min_scale":

Minimaler Skalierungsfaktor des TemplateTemplateTemplateTemplatetemplatetemplate-Bildes. Typische Werte sind [0.1 .. 1.0], Defaultwert ist 0.5.

'max_scale'"max_scale""max_scale""max_scale""max_scale""max_scale":

Maximaler Skalierungsfaktor des TemplateTemplateTemplateTemplatetemplatetemplate-Bildes. Typische Werte sind [1.0 .. 3.5], Defaultwert ist 1.4.

Die Parameter 'min_rot'"min_rot""min_rot""min_rot""min_rot""min_rot", 'max_rot'"max_rot""max_rot""max_rot""max_rot""max_rot", 'min_scale'"min_scale""min_scale""min_scale""min_scale""min_scale" und 'max_scale'"max_scale""max_scale""max_scale""max_scale""max_scale" ermöglichen eine manuelle Selektion der für das Training durch Affintransformationen erzeugten Ansichten von TemplateTemplateTemplateTemplatetemplatetemplate. Eine Einschränkung ist insbesondere in Verbindung mit dem Parameter 'tilt'"tilt""tilt""tilt""tilt""tilt" zur Reduzierung der Trainingszeiten hilfreich. Es ist zu beachten, dass die Einstellung dieser Parameter direkten Einfluss auf die Ergebnisse von find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model hat. Deshalb sollten sie mit Bedacht verwendet werden. Falls die Rotationsspanne beispielsweise auf 'min_rot'"min_rot""min_rot""min_rot""min_rot""min_rot" = -10 bis 'max_rot'"max_rot""max_rot""max_rot""max_rot""max_rot" = 10 eingeschränkt wird, ist es in find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model nicht möglich, Ansichten von TemplateTemplateTemplateTemplatetemplatetemplate zu finden, die außerhalb dieses Bereichs liegen. Eine Einschränkung des Trainingsbereichs hat auch zur Folge, dass weniger Farne / geringere Farbtiefen nötig sind, um TemplateTemplateTemplateTemplatetemplatetemplate zu erkennen. Eine Ausweitung bedingt folglich mehr Bäume / Baumtiefen.

Bemerkungen

Es ist zu beachten, dass das Training der randomized ferns je nach Rechenleistung mehrere Sekunden bis zu wenigen Minuten dauern kann. Aus diesem Grund kann ein generierter Fern mittels write_descriptor_modelwrite_descriptor_modelWriteDescriptorModelWriteDescriptorModelWriteDescriptorModelwrite_descriptor_model abgespeichert und mittels read_descriptor_modelread_descriptor_modelReadDescriptorModelReadDescriptorModelReadDescriptorModelread_descriptor_model wieder geladen werden.

Alle Parameter sowie die Koordinaten der letztendlichen Merkmalspunkte können über get_descriptor_model_paramsget_descriptor_model_paramsGetDescriptorModelParamsGetDescriptorModelParamsGetDescriptorModelParamsget_descriptor_model_params und get_descriptor_model_pointsget_descriptor_model_pointsGetDescriptorModelPointsGetDescriptorModelPointsGetDescriptorModelPointsget_descriptor_model_points abgerufen werden.

create_uncalib_descriptor_modelcreate_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModelCreateUncalibDescriptorModelcreate_uncalib_descriptor_model legt den Detektor und den Deskriptor fest. Somit werden beide auch bei jedem nachfolgenden Aufruf von find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model verwendet. Der Referenzpunkt (Ursprung) des Modells ist der Schwerpunkt der ROI des Templates. Er kann über set_descriptor_model_originset_descriptor_model_originSetDescriptorModelOriginSetDescriptorModelOriginSetDescriptorModelOriginset_descriptor_model_origin geändert werden.

Ausführungsinformationen

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Dieser Operator liefert ein Handle zurück. Es ist zu beachten, dass der Zustand einer Instanz dieses Handletyps durch bestimmte Operatoren geändert werden kann, obwohl das Handle als Eingabeparameter in diesen Operatoren verwendet wird.

Parameter

Vorgänger

points_lepetitpoints_lepetitPointsLepetitPointsLepetitPointsLepetitpoints_lepetit, points_harrispoints_harrisPointsHarrisPointsHarrisPointsHarrispoints_harris, reduce_domainreduce_domainReduceDomainReduceDomainReduceDomainreduce_domain

Nachfolger

get_descriptor_model_paramsget_descriptor_model_paramsGetDescriptorModelParamsGetDescriptorModelParamsGetDescriptorModelParamsget_descriptor_model_params, find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model

Siehe auch

get_descriptor_model_paramsget_descriptor_model_paramsGetDescriptorModelParamsGetDescriptorModelParamsGetDescriptorModelParamsget_descriptor_model_params, find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModelfind_uncalib_descriptor_model

Literatur

V. Lepetit and P. Fua: „Keypoint Recognition using Randomized Trees.„ IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, Nr. 9, pp. 1465-1479, 2006.
M. Ozuysal, P. Fua, and V. Lepetit: „Fast Keypoint Recognition in Ten Lines of Code.„ In Proceedings of Conference on Computer Vision and Pattern Recognition, 2007.

Modul

Matching