apply_dl_model — Anwenden des Deep Learning-basierten Netzwerkes zur Inferenz
auf einer Menge an Bildern.
apply_dl_model( : : DLModelHandle, DLSampleBatch, Outputs : DLResultBatch)
apply_dl_model wendet das durch DLModelHandle gegebene
Deep Learning-basierte Netzwerk auf ein Batch von Eingabebildern an, die
über das Tupel von Dictionaries DLSampleBatch übergeben werden.
Der Operator gibt DLResultBatch zurück, ein Tupel mit einem
Ergebnis-Dictionary DLResult pro Eingabebild.
Für weitere Informationen zum Konzept und den Dictionaries des Deep Learning-Modells in HALCON siehe das Kapitel Deep Learning / Modell.
Um das Netzwerk auf Bilder anwenden zu können, müssen diese über ein Tupel
von Dictionaries DLSampleBatch übergeben werden.
Dabei bezieht sich jedes Dictionary auf ein einzelnes Bild.
Mit Hilfe der Prozedur gen_dl_samples_from_images kann solch ein
Dictionary passend erstellt werden. Das Tupel DLSampleBatch kann
eine beliebige Anzahl Dictionaries enthalten. Der Operator
apply_dl_model verarbeitet stets einen Batch mit bis zu
'batch_size' Bildern simultan. Falls das Tupel mehr Bilder
enthält, iteriert apply_dl_model intern über die notwendige Anzahl
an Batches um alle Bilder zu verarbeiten. Für ein DLSampleBatch
mit weniger als 'batch_size' Bildern wird das Tupel zu einem vollen
Batch aufgefüllt, was also bedeutet, dass die Laufzeit zur Verarbeitung
eines solchen Batches unabhängig davon ist, ob dieser vollständig gefüllt
ist oder nur ein einzelnes Bild enthält. Dies heißt auch, dass das Netzwerk
stets den vollen Speicher benötigt, selbst wenn in einem Operatorenaufruf
weniger als 'batch_size' Bilder verarbeitet werden sollen. Der
aktuelle Wert von 'batch_size' kann mittels
get_dl_model_param abgefragt werden.
Es ist zu beachten, dass die Bilder eventuell vorverarbeitet werden müssen
um die die Netzwerkanforderungen zu erfüllen, bevor sie dem Operator
apply_dl_model übergeben werden können. Mit
get_dl_model_param können die aktuellen Anforderungen des Netzwerks
wie z.B. die Bilddimensionen abgefragt werden.
Die Prozedur preprocess_dl_dataset gibt eine Anleitung für die
Implementierung dieser Vorverarbeitung.
Die Resultate werden in DLResultBatch zurückgegeben, einem Tupel
mit einem Dictionary DLResult für jedes Eingabebild.
Für weitere Informationen zu den Ausgabe-Dictionaries
DLResultBatch und dessen Schlüssel siehe das Kapitel
Deep Learning / Modell.
In Outputs kann spezifiziert werden, welche Daten vom Netzwerk in
den Ergebnis-Dictionaries DLResultBatch ausgegeben werden.
Dabei kann Outputs ein einzelner String, ein Tupel von Strings,
oder ein leeres Tupel, mit dem alle möglichen Ausgaben abgerufen werden
können, sein.
Falls apply_dl_model über eine AI2-Schnittstelle genutzt wird,
kann es notwendig sein, dass 'is_inference_output' = 'true'
für alle Layer in Outputs gesetzt werden muss, bevor das Modell
für die AI2-Schnittstelle optimiert wird, siehe
optimize_dl_model_for_inference und set_dl_model_layer_param
für Details dazu.
Die Werte für Outputs sind abhängig vom Modelltyp des verwendeten
Netzwerks:
Outputs='[]': DLResult, welches folgende Einträge enthält:
'gripping_map': Binärbild, das für jedes Pixel der Szene
angibt, ob das Modell einen Greifpunkt vorhergesagt hat
(Pixelwert = 1.0) oder nicht (0.0).
'gripping_confidence': Bild, das für jeden Punkt der
Szene unverarbeitete, unkalibrierte Konfidenzwerte
enthält.
Outputs='[]': DLResult
enthält ein Bild, in dem jedes Pixel den Score des entsprechenden Pixels
des Eingabebildes erhält.
Zusätzlich enthält es einen Score für das Bild als Ganzes.
Für jeden Wert von Outputs enthält DLResult
ein Bild, in dem jedes Pixel den Score des entsprechenden Pixels
des Eingabebildes erhält.
Zusätzlich enthält es einen Score für das Bild als Ganzes.
Outputs='[]':
Der Score jedes Pixels wird aus der Kombination aller verfügbaren
Netzwerke berechnet.
Outputs='anomaly_image_local':
Der Score jedes Pixels wird nur aus dem Netzwerk mit dem Namen
'local' berechnet.
Falls dieses Netzwerk nicht zur Verfügung steht, wird ein Fehler geworfen.
Outputs='anomaly_image_global':
Der Score jedes Pixels wird nur aus dem Netzwerk mit dem Namen
'global' berechnet.
Falls dieses Netzwerk nicht zur Verfügung steht, wird ein Fehler geworfen.
Outputs='[]': DLResult enthält ein
Tupel mit den Konfidenzwerten in absteigender Reihenfolge sowie
weitere Tupel mit den Klassennamen und Klassen-IDs in entsprechender
Sortierung.
Outputs='[]': DLResult enthält
für alle Modell-Ebenen die
Koordinaten der umschließenden Rechtecke, sowie die geschätzten
Klassen und deren Konfidenzwerte.
Outputs=
'[bboxhead + level + _prediction, classhead + level + _prediction]',
wobei 'level' die ausgewählte Ebene angibt
und einen Wert zwischen 'min_level' und
'max_level' annehmen kann: DLResult enthält
für die ausgewählten Modell-Ebenen die
Koordinaten der umschließenden Rechtecke, sowie die geschätzten
Klassen und deren Konfidenzwerte.
Outputs='[]': DLResult
enthält das erkannte Wort.
Zusätzlich enthält es Kandidaten für jedes Zeichen eines
Wortes und deren Konfidenzwerte.
Outputs='segmentation_image':
DLResult enthält ein Bild, in dem jedes Pixel einen Wert
entsprechend der Klasse erhält, welcher das entsprechende Pixel
zugeordnet wurde.
Outputs='segmentation_confidence':
DLResult enthält ein Bild, in dem jedes Pixel den
Konfidenzwert der Klassifikation des entsprechenden Pixels erhält.
Outputs='[]':
DLResult enthält alle Ausgabewerte.
Systemvoraussetzungen:
Um diesen Operator auf der GPU auszuführen, indem 'device'
auf 'gpu' gesetzt ist (siehe get_dl_model_param),
werden cuDNN und cuBLAS benötigt. Für weitere Details wird auf den
„Installation Guide“,
Abschnitt „Requirements for Deep Learning and Deep-Learning-Based Methods“,
verwiesen.
Dieser Operator unterstützt Cancel-Timeouts und Interrupts.
Dieser Operator unterstützt Break-Timeouts und Interrupts.
DLModelHandle (input_control) dl_model → (handle)
Handle des Deep Learning-Modells.
DLSampleBatch (input_control) dict-array → (handle)
Eingabedaten.
Outputs (input_control) string-array → (string)
Angeforderte Ausgabedaten.
Defaultwert: []
Werteliste: [], 'bboxhead2_prediction', 'classhead2_prediction', 'segmentation_confidence', 'segmentation_image'
DLResultBatch (output_control) dict-array → (handle)
Dictionary mit Ergebnisdaten.
Sind die Parameterwerte korrekt, dann liefert
apply_dl_model den Wert 2 (H_MSG_TRUE). Gegebenenfalls wird eine
Fehlerbehandlung durchgeführt.
read_dl_model,
train_dl_model_batch,
train_dl_model_anomaly_dataset,
set_dl_model_param
Foundation. Dieser Operator verwendet dynamische Lizensierung (siehe ``Installation Guide''). Welches der folgenden Module benötigt wird hängt von der Anwendung des Operators ab:
3D Metrology, OCR/OCV, Deep Learning Inference