create_class_gmmcreate_class_gmmCreateClassGmmcreate_class_gmmCreateClassGmmCreateClassGmm (Operator)

Name

create_class_gmmcreate_class_gmmCreateClassGmmcreate_class_gmmCreateClassGmmCreateClassGmm — Erzeugen eines Gaussian Mixture Models zur Klassifikation

Signatur

Beschreibung

create_class_gmmcreate_class_gmmCreateClassGmmcreate_class_gmmCreateClassGmmCreateClassGmm erzeugt ein Gaussian Mixture Model (GMM), das zur Klassifikation verwendet werden kann. NumDimNumDimNumDimNumDimNumDimnumDim gibt die Anzahl der Dimensionen des Merkmalsraumes an, NumClassesNumClassesNumClassesNumClassesNumClassesnumClasses gibt die Anzahl der zu trainierenden Klassen an. Ein GMM besteht aus einer Anzahl NumCentersNumCentersNumCentersNumCentersNumCentersnumCenters an Gaußschen Zentren je Klasse. NumCentersNumCentersNumCentersNumCentersNumCentersnumCenters kann dabei nicht nur die exakt zu verwendende Anzahl an Zentren spezifizieren, sondern in Abhängigkeit der Anzahl der übergebenen Parameter auch eine Ober- und Untergrenze:

Genau ein Parameter:

Der Parameter entspricht exakt der zu verwendenden Anzahl an Zentren für alle Klassen.

Genau zwei Parameter:

Der erste Parameter entspricht der minimalen Anzahl an Zentren, der zweite der maximalen Anzahl für alle Klassen.

Genau 2*NumClassesNumClassesNumClassesNumClassesNumClassesnumClasses Parameter:

Abwechselnd jeder erste Parameter entspricht der minimalen Anzahl Zentren je Klasse und jeder zweite Parameter der maximalen Anzahl an Zentren je Klasse.

Werden Ober- und Untergrenzen für die Anzahl der Zentren spezifiziert, dann wird die optimale Anzahl an Zentren aus dem Minimale-Nachrichtenlänge-Kriterium (Mimimum Message Length Criterion, MML) bestimmt. Im Allgemeinen ist es empfehlenswert, für das spätere Training mit (zu) vielen Zentren als Maximum und der erwarteten Anzahl Zentren als Minimum zu beginnen.

Ein Zentrum wird jeweils von den Parametern Mittelpunkt , Kovarianzmatrix und Mischungskoeffizient (mixing coefficient) beschrieben. Diese Parameter werden aus den Trainingsdaten mittels des Expectation-Maximization (EM) Algorithmus bestimmt. Ein GMM kann eine beliebige Wahrscheinlichkeitsdichtefunktion annähern, vorausgesetzt es werden genügend Zentren verwendet. Die Kovarianzmatrizen haben eine Größe von NumDimNumDimNumDimNumDimNumDimnumDim x NumDimNumDimNumDimNumDimNumDimnumDim (NumComponentsNumComponentsNumComponentsNumComponentsNumComponentsnumComponents x NumComponentsNumComponentsNumComponentsNumComponentsNumComponentsnumComponents, falls eine Vorverarbeitung verwendet wird) und sind symmetrisch. Weitere Bedingungen werden mit CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType festgelegt:

Für CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType = 'spherical'"spherical""spherical""spherical""spherical""spherical" ist ein skalares Vielfaches der Einheitsmatrix . Die Zentrum-Dichtefunktion p(x|j) wird damit

Für CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType = 'diag'"diag""diag""diag""diag""diag" ist eine Diagonalmatrix . Die zugehörige Zentrum-Dichtefunktion p(x|j) ist

Für CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType = 'full'"full""full""full""full""full" ist eine positiv definite Matrix. Die zugehörige Zentrum-Dichtefunktion p(x|j) ist

Die Komplexität der Berechnungen steigt von CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType = 'spherical'"spherical""spherical""spherical""spherical""spherical" über CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType = 'diag'"diag""diag""diag""diag""diag" bis CovarTypeCovarTypeCovarTypeCovarTypeCovarTypecovarType = 'full'"full""full""full""full""full" an. Gleichzeitig nimmt jedoch die Flexibilität der Zentrum zu. 'spherical'"spherical""spherical""spherical""spherical""spherical" benötigt deshalb im Allgemeinen höhere Werte für NumCentersNumCentersNumCentersNumCentersNumCentersnumCenters als 'full'"full""full""full""full""full".

Die allgemeine Vorgehensweise, um GMM zu benutzen, ist wie folgt: Zuerst wird mit create_class_gmmcreate_class_gmmCreateClassGmmcreate_class_gmmCreateClassGmmCreateClassGmm ein GMM erzeugt. Anschließend werden mit add_sample_class_gmmadd_sample_class_gmmAddSampleClassGmmadd_sample_class_gmmAddSampleClassGmmAddSampleClassGmm Trainingsvektoren hinzugefügt, diese können anschließend mit write_samples_class_gmmwrite_samples_class_gmmWriteSamplesClassGmmwrite_samples_class_gmmWriteSamplesClassGmmWriteSamplesClassGmm in einer Datei gespeichert werden. Mit train_class_gmmtrain_class_gmmTrainClassGmmtrain_class_gmmTrainClassGmmTrainClassGmm werden die o.a. Zentrenparameter bestimmt. Die können weiterhin mit write_class_gmmwrite_class_gmmWriteClassGmmwrite_class_gmmWriteClassGmmWriteClassGmm für spätere Klassifikationen gespeichert werden.

Aus den Mischungskoeffizienten und den Zentren-Dichtefunktionen p(x|j) wird die Wahrscheinlichkeitsdichtefunktion p(x) berechnet:

Eine Funktion der Wahrscheinlichkeitsdichtefunktion p(x) kann mittels evaluate_class_gmmevaluate_class_gmmEvaluateClassGmmevaluate_class_gmmEvaluateClassGmmEvaluateClassGmm für einen Merkmalsvektor x bestimmt werden. classify_class_gmmclassify_class_gmmClassifyClassGmmclassify_class_gmmClassifyClassGmmClassifyClassGmm hingegen sortiert die p(x) und gibt damit die wahrscheinlichsten Klassen des Merkmalsvektors an.

Die Parameter PreprocessingPreprocessingPreprocessingPreprocessingPreprocessingpreprocessing und NumComponentsNumComponentsNumComponentsNumComponentsNumComponentsnumComponents verwendet man, um die Trainingsdaten vorzuverarbeiten. Dabei können die Dimensionen der Daten reduziert werden. Diese Parameter sind in create_class_mlpcreate_class_mlpCreateClassMlpcreate_class_mlpCreateClassMlpCreateClassMlp beschrieben.

create_class_gmmcreate_class_gmmCreateClassGmmcreate_class_gmmCreateClassGmmCreateClassGmm initialisiert die Koordinaten der Zentren mit Zufallszahlen. Damit die Ergebnisse des Trainierens des GMM mit train_class_gmmtrain_class_gmmTrainClassGmmtrain_class_gmmTrainClassGmmTrainClassGmm reproduzierbar werden, wird in RandSeedRandSeedRandSeedRandSeedRandSeedrandSeed der Initialisierungswert des Zufallszahlengenerators angegeben.

Parallelisierung

• Multithreading-Typ: reentrant (läuft parallel zu nicht-exklusiven Operatoren).
• Multithreading-Bereich: global (kann von jedem Thread aufgerufen werden).
• Wird ohne Parallelisierung verarbeitet.

Dieser Operator liefert ein Handle zurück. Es ist zu beachten, dass der Zustand einer Instanz dieses Handletyps durch bestimmte Operatoren geändert werden kann, obwohl das Handle als Eingabeparameter in diesen Operatoren verwendet wird.

Parameter

Beispiel (HDevelop)

* Classification with Gaussian Mixture Models
create_class_gmm (NumDim , NumClasses, [1,5], 'full', 'none',\
                  NumComponents, 42, GMMHandle)
* Add the training data
for J := 0 to NumData-1 by 1
    * Features := [...]
    * ClassID := [...]
    add_sample_class_gmm (GMMHandle, Features, ClassID, Randomize)
endfor
* Train the GMM
train_class_gmm (GMMHandle, 100, 0.001, 'training', 0.0001, Centers, Iter)
* Classify unknown data in 'Features'
classify_class_gmm (GMMHandle, Features, 1, ID, Prob, Density, KSigmaProb)
clear_class_gmm (GMMHandle)

Ergebnis

Sind die Parameterwerte korrekt, dann liefert create_class_gmmcreate_class_gmmCreateClassGmmcreate_class_gmmCreateClassGmmCreateClassGmm den Wert 2 (H_MSG_TRUE). Gegebenenfalls wird eine Fehlerbehandlung durchgeführt.

Nachfolger

add_sample_class_gmmadd_sample_class_gmmAddSampleClassGmmadd_sample_class_gmmAddSampleClassGmmAddSampleClassGmm, add_samples_image_class_gmmadd_samples_image_class_gmmAddSamplesImageClassGmmadd_samples_image_class_gmmAddSamplesImageClassGmmAddSamplesImageClassGmm

Alternativen

create_class_mlpcreate_class_mlpCreateClassMlpcreate_class_mlpCreateClassMlpCreateClassMlp, create_class_svmcreate_class_svmCreateClassSvmcreate_class_svmCreateClassSvmCreateClassSvm

Siehe auch

clear_class_gmmclear_class_gmmClearClassGmmclear_class_gmmClearClassGmmClearClassGmm, train_class_gmmtrain_class_gmmTrainClassGmmtrain_class_gmmTrainClassGmmTrainClassGmm, classify_class_gmmclassify_class_gmmClassifyClassGmmclassify_class_gmmClassifyClassGmmClassifyClassGmm, evaluate_class_gmmevaluate_class_gmmEvaluateClassGmmevaluate_class_gmmEvaluateClassGmmEvaluateClassGmm, classify_image_class_gmmclassify_image_class_gmmClassifyImageClassGmmclassify_image_class_gmmClassifyImageClassGmmClassifyImageClassGmm

Literatur

Christopher M. Bishop: „Neural Networks for Pattern Recognition“; Oxford University Press, Oxford; 1995.
Mario A.T. Figueiredo: „Unsupervised Learning of Finite Mixture Models“; IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 3; March 2002.

Modul

Foundation