create_uncalib_descriptor_modelT_create_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModel (Operator)

Name

create_uncalib_descriptor_modelT_create_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModel — Vorbereiten eines Deskriptormodells für Punkt-Matching.

Signatur

Beschreibung

Der Operator create_uncalib_descriptor_modelcreate_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModelCreateUncalibDescriptorModel erstellt ein Deskriptormodell einer Bildregion, die als das Bild TemplateTemplateTemplateTemplatetemplate übergeben wird. Mit Hilfe dieses Modells kann deskriptorbasiertes Matching durchgeführt werden. Durch anschließende Verwendung des Operators find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel kann damit eine projektive 2D Abbildung (Homographie) von TemplateTemplateTemplateTemplatetemplate zu einem Suchbild ermittelt werden. Der Schwerpunkt des Bildregions im TemplateTemplateTemplateTemplatetemplate wird als Ursprung des Models genommen. Im Gegensatz zu create_calib_descriptor_modelcreate_calib_descriptor_modelCreateCalibDescriptorModelCreateCalibDescriptorModelCreateCalibDescriptorModel ist hier keine kalibrierte Kamera nötig, allerdings ist das Ergebnis eines nachfolgenden Matchings lediglich eine 2D Projektion. Es ist zu beachten, dass der Teil des Objektes, der in dem TemplateTemplateTemplateTemplatetemplate-Bild zu sehen ist, planar sein muss.

Das Deskriptormodell beschreibt einen Satz von Merkmalspunkten. Es speichert die Punktpositionen, sowie unterschiedlichen Beschreibungen ihrer lokalen Bildumgebung. Die Extraktion dieser Merkmalspunkte wird durch DetectorTypeDetectorTypeDetectorTypeDetectorTypedetectorType, DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamName und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValue parametrisiert. Der zugehörige Deskriptor für die Umgebung der Merkmalspunkte wird durch DescriptorParamNameDescriptorParamNameDescriptorParamNameDescriptorParamNamedescriptorParamName und DescriptorParamValueDescriptorParamValueDescriptorParamValueDescriptorParamValuedescriptorParamValue parametrisiert. Derzeit wird der Deskriptor durch randomized ferns implementiert. Der Parameter SeedSeedSeedSeedseed initialisiert den Zufallszahlengenerator, der für den Aufbau der randomized ferns Strukturen verwendet wird. Ist das Deskriptormodell generiert, wird dessen Referenz in ModelIDModelIDModelIDModelIDmodelID zurückgegeben. Durch Verwendung dieses Modells in find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel kann ein schnelles, projektivinvariantes Matching zwischen Modell- und Suchbild gewährleistet werden. Da das deskriptorbasierte Matching auf der Existenz von stabilen und repräsentativen Merkmalspunkten basiert, muss das detektierte Objekt ausreichend Textur aufweisen, die sich nicht wiederholt.

Detektorparameter

Wie bereits erwähnt, ist der Detektor dafür verantwortlich, stabile Merkmalspunkte aus dem Modellbild zu extrahieren. Durch den Parameter DetectorTypeDetectorTypeDetectorTypeDetectorTypedetectorType kann festgelegt werden, welcher Punktoperator verwendet werden soll. Derzeit werden points_lepetitpoints_lepetitPointsLepetitPointsLepetitPointsLepetit, points_harrispoints_harrisPointsHarrisPointsHarrisPointsHarris oder dessen binomiale Approximation points_harris_binomialpoints_harris_binomialPointsHarrisBinomialPointsHarrisBinomialPointsHarrisBinomial unterstützt ('lepetit'"lepetit""lepetit""lepetit""lepetit", 'harris'"harris""harris""harris""harris", 'harris_binomial'"harris_binomial""harris_binomial""harris_binomial""harris_binomial"). Bei Anwendung auf dunkle Modell- / Suchbilder wird die Verwendung eines der Harris-Punktoperatoren empfohlen. Je nach Wahl des Punktoperators DetectorTypeDetectorTypeDetectorTypeDetectorTypedetectorType müssen dessen Parameter eingestellt werden, was über DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamName und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValue möglich ist.

Gültige Parameternamen für DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamName und die entsprechenden Defaultwerte sind:

'lepetit'"lepetit""lepetit""lepetit""lepetit" :

['radius','check_neighbor', 'min_check_neighbor_diff','min_score','subpix']

[ 3, 1, 15, 30, 'interpolation']

'harris'"harris""harris""harris""harris" :

['sigma_grad','sigma_smooth','alpha', 'threshold']

[ 0.7, 2.0, 0.08, 1000]

'harris_binomial'"harris_binomial""harris_binomial""harris_binomial""harris_binomial" :

['mask_size_grd','mask_size_smooth', 'alpha','threshold','subpix']

[5, 15, 0.08, 1000, 'on']

Weitere Informationen über diese Parameter können unter der Beschreibung von points_harrispoints_harrisPointsHarrisPointsHarrisPointsHarris, points_harris_binomialpoints_harris_binomialPointsHarrisBinomialPointsHarrisBinomialPointsHarrisBinomial beziehungsweise points_lepetitpoints_lepetitPointsLepetitPointsLepetitPointsLepetit gefunden werden. Für die Parameter, die nicht explizit durch DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamName und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValue gesetzt sind, werden die oben genannten Werte für den entsprechenden Punktoperator genommen. Dementsprechend, wenn sowohl DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamName als auch DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValue auf [] gesetzt sind, werden diese Defaultwerte für alle Parameter übernommen.

Beim Optimieren der Punktoperator-Parameter sollten zwischen 50 und 450 Merkmalspunkte extrahiert werden (je nach Textur und Bildgröße von TemplateTemplateTemplateTemplatetemplate). In den meisten Fällen ist es jedoch ausreichend, die Defaultwerte zu übernehmen ([] in DetectorParamNameDetectorParamNameDetectorParamNameDetectorParamNamedetectorParamName und DetectorParamValueDetectorParamValueDetectorParamValueDetectorParamValuedetectorParamValue eingeben).

Deskriptorparameter

Der Punktdeskriptor ist ein Klassifikator, der charakteristische Beschreibungen der Grauwertnachbarschaft der Merkmalpunkte aufbaut. Derzeit ist der Deskriptor durch die so genannten randomized ferns implementiert. Diese entnehmen die Polarität der Grauwertdifferenzen von zufällig ausgewählten Pixelpaaren aus der Nachbarschaft des Punktes. Dieser Deskriptor wird danach in find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel verwendet, um Merkmalspunkte im Suchbild zu klassifizieren, oder mit anderen Worten: um potentielle Modellpunkte auch im Suchbild zu erkennen (matchen).

Der Deskriptor speichert nur die projektiv stabilen Merkmalspunkte (die in vielen projektiven Ansichten des Modellbildes auftauchen). Um die Stabilität einzelner Punkte zu bewerten, wird die folgende Simulation durchgeführt: TemplateTemplateTemplateTemplatetemplate wird vielen affinen Transformationen ausgesetzt, und die Punkte, die in den meisten Ansichten erscheinen, werden als stabil eingestuft. Die affinen Transformationen gelten als eine gute Näherung zu projektiven Transformationen in der lokalen Umgebung der Punkten.

Die folgenden Parameter des Deskriptors und seines Trainings können mit DescriptorParamNameDescriptorParamNameDescriptorParamNameDescriptorParamNamedescriptorParamName und DescriptorParamValueDescriptorParamValueDescriptorParamValueDescriptorParamValuedescriptorParamValue gesetzt werden:

Deskriptorstrukturen-Parameter:

'depth'"depth""depth""depth""depth":

Tiefe des Farns, der für die Punktklassifikation verwendet wird. Ein tieferer Farn kann Merkmalspunkte besser unterscheiden. Andererseits steigt der Speicherbedarf bei Erhöhung der Tiefe um 2 an. Typische Werte sind [5 .. 11], Defaultwert ist 11.

'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns":

Anzahl der Farne. Mehr Farne erhöhen die Erkennungsrobustheit, aber auch die Laufzeit der Punktdetektion. Soll der Speicherverbrauch des Deskriptormodells minimiert werden, sind viele Farne mit geringer Tiefe empfohlen (z.B. 'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns"=150, 'depth'"depth""depth""depth""depth"= 5). Soll hingegen die Detektionszeit verkürzt werden sind wenige Farne mit größerer Tiefe empfohlen (z.B. 'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns"=10, 'depth'"depth""depth""depth""depth"=11). Typische Werte sind [1 .. 150], Defaultwert ist 30.

'patch_size'"patch_size""patch_size""patch_size""patch_size":

Seitenlänge der quadratischen Umgebung eines Merkmalpunktes. Höhere Werte dieses Parameters können zu längeren Trainingszeiten führen. Typische Werte sind [15 .. 33], Defaultwert ist 17.

Die Parameter 'depth'"depth""depth""depth""depth", 'number_ferns'"number_ferns""number_ferns""number_ferns""number_ferns" und 'patch_size'"patch_size""patch_size""patch_size""patch_size" erlauben eine transparente Kontrolle über die Robustheit der Erkennung, die Geschwindigkeit und den Speicherverbrauch.

Simulationparameter:

'tilt'"tilt""tilt""tilt""tilt":

Schalter für projektive Transformationen während des Simulationschrittes. Im eingeschalteten Zustand ('on'"on""on""on""on"), verbessert sich die Robustheit des Modells, indem Objekte mit größerer Neigung gefunden werden können. Im ausgeschalteten Zustand ('off'"off""off""off""off") verkürzt sich die Trainingzeit deutlich, und das Modell kann immer noch projektiv transformierte Objekte erkennen. Mögliche Werte sind ['on'"on""on""on""on", 'off'"off""off""off""off"], Defaultwert ist 'on'"on""on""on""on".

'min_rot'"min_rot""min_rot""min_rot""min_rot":

Minimaler Rotationswinkel um den Normalvektor des TemplateTemplateTemplateTemplatetemplate-Bildes. Typische Werte sind [-180 .. 0], Defaultwert ist -180.

'max_rot'"max_rot""max_rot""max_rot""max_rot":

Maximaler Rotationswinkel um den Normalvektor des TemplateTemplateTemplateTemplatetemplate-Bildes. Typische Werte sind [0 .. 180], Defaultwert ist 180.

'min_scale'"min_scale""min_scale""min_scale""min_scale":

Minimaler Skalierungsfaktor des TemplateTemplateTemplateTemplatetemplate-Bildes. Typische Werte sind [0.1 .. 1.0], Defaultwert ist 0.5.

'max_scale'"max_scale""max_scale""max_scale""max_scale":

Maximaler Skalierungsfaktor des TemplateTemplateTemplateTemplatetemplate-Bildes. Typische Werte sind [1.0 .. 3.5], Defaultwert ist 1.4.

Die Parameter 'min_rot'"min_rot""min_rot""min_rot""min_rot", 'max_rot'"max_rot""max_rot""max_rot""max_rot", 'min_scale'"min_scale""min_scale""min_scale""min_scale" und 'max_scale'"max_scale""max_scale""max_scale""max_scale" ermöglichen eine manuelle Selektion der für das Training durch Affintransformationen erzeugten Ansichten von TemplateTemplateTemplateTemplatetemplate. Eine Einschränkung ist insbesondere in Verbindung mit dem Parameter 'tilt'"tilt""tilt""tilt""tilt" zur Reduzierung der Trainingszeiten hilfreich. Es ist zu beachten, dass die Einstellung dieser Parameter direkten Einfluss auf die Ergebnisse von find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel hat. Deshalb sollten sie mit Bedacht verwendet werden. Falls die Rotationsspanne beispielsweise auf 'min_rot'"min_rot""min_rot""min_rot""min_rot" = -10 bis 'max_rot'"max_rot""max_rot""max_rot""max_rot" = 10 eingeschränkt wird, ist es in find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel nicht möglich, Ansichten von TemplateTemplateTemplateTemplatetemplate zu finden, die außerhalb dieses Bereichs liegen. Eine Einschränkung des Trainingsbereichs hat auch zur Folge, dass weniger Farne / geringere Farntiefen nötig sind, um TemplateTemplateTemplateTemplatetemplate zu erkennen. Eine Ausweitung bedingt folglich mehr Bäume / Baumtiefen.

Bemerkungen

Es ist zu beachten, dass das Training der randomized ferns je nach Rechenleistung mehrere Sekunden bis zu wenigen Minuten dauern kann. Aus diesem Grund kann ein generierter Fern mittels write_descriptor_modelwrite_descriptor_modelWriteDescriptorModelWriteDescriptorModelWriteDescriptorModel abgespeichert und mittels read_descriptor_modelread_descriptor_modelReadDescriptorModelReadDescriptorModelReadDescriptorModel wieder geladen werden.

Alle Parameter sowie die Koordinaten der letztendlichen Merkmalspunkte können über get_descriptor_model_paramsget_descriptor_model_paramsGetDescriptorModelParamsGetDescriptorModelParamsGetDescriptorModelParams und get_descriptor_model_pointsget_descriptor_model_pointsGetDescriptorModelPointsGetDescriptorModelPointsGetDescriptorModelPoints abgerufen werden.

create_uncalib_descriptor_modelcreate_uncalib_descriptor_modelCreateUncalibDescriptorModelCreateUncalibDescriptorModelCreateUncalibDescriptorModel legt den Detektor und den Deskriptor fest. Somit werden beide auch bei jedem nachfolgenden Aufruf von find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel verwendet. Der Referenzpunkt (Ursprung) des Modells ist der Schwerpunkt der ROI des Templates. Er kann über set_descriptor_model_originset_descriptor_model_originSetDescriptorModelOriginSetDescriptorModelOriginSetDescriptorModelOrigin geändert werden.

Ausführungsinformationen

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Dieser Operator liefert ein Handle zurück. Es ist zu beachten, dass der Zustand einer Instanz dieses Handletyps durch bestimmte Operatoren geändert werden kann, obwohl das Handle als Eingabeparameter in diesen Operatoren verwendet wird.

Parameter

Vorgänger

points_lepetitpoints_lepetitPointsLepetitPointsLepetitPointsLepetit, points_harrispoints_harrisPointsHarrisPointsHarrisPointsHarris, reduce_domainreduce_domainReduceDomainReduceDomainReduceDomain

Nachfolger

get_descriptor_model_paramsget_descriptor_model_paramsGetDescriptorModelParamsGetDescriptorModelParamsGetDescriptorModelParams, find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel

Siehe auch

get_descriptor_model_paramsget_descriptor_model_paramsGetDescriptorModelParamsGetDescriptorModelParamsGetDescriptorModelParams, find_uncalib_descriptor_modelfind_uncalib_descriptor_modelFindUncalibDescriptorModelFindUncalibDescriptorModelFindUncalibDescriptorModel

Literatur

V. Lepetit and P. Fua: „Keypoint Recognition using Randomized Trees.„ IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, Nr. 9, pp. 1465-1479, 2006.
M. Ozuysal, P. Fua, and V. Lepetit: „Fast Keypoint Recognition in Ten Lines of Code.„ In Proceedings of Conference on Computer Vision and Pattern Recognition, 2007.

Modul

Matching