Diese Kapitel erklärt das generelle Konzept des Deep Learning-Modells in HALCON und die Daten Handhabung.
Ein Deep Learning-Modell ist in HALCON ein Neuronales Netzwerk. Jedes Neuronale Netzwerk hat seine Architektur, welche seine Funktion definiert und damit bestimmt, für welche Aufgaben es verwendet werden kann. Dabei sind verschiedene Netzwerk-Architekturen für eine Funktionalität möglich. Diese Funktionalitäten werden auch als Methoden oder Typ bezeichnet. Momentan sind folgende Funktionalitäten in HALCON als Modell implementiert:
Objektdetektion, siehe Deep Learning / Objektdetektion.
Semantische Segmentierung, siehe Deep Learning / Semantische Segmentierung.
Für die implementierten Methoden können weitere Informationen zum spezifischen Ablauf, den Daten-Anforderungen und Evaluierungsmöglichkeiten in den jeweiligen Kapiteln gefunden werden. Informationen zu Deep Learning (DL) im Allgemeinen befinden sich im Kapitel Deep Learning.
In diesem Kapitel finden sich Informationen, welche Daten ein DL Modell benötigt und zurück gibt sowie auch wie diese Daten übergeben werden.
Unabhängig von der Methode gelten gewisse Konventionen, wie die Daten
dem Modell übergeben werden.
Der Grundgedanke: Das Modell interagiert mit den Daten über Dictionaries.
Genauer gesagt, für jedes Eingabebild erhält das Modell ein Dictionary
. Dieses Dictionary enthält das Eingabebild selbst
und, im Falle des Trainings und der Evaluierung, Informationen wie z.B.
die Ground Truth Annotationen.
Als Ausgabe gibt das Modell ein Dictionary DLSample
mit den
Resultaten zurück. Eine Darstellung ist unten gegeben.
DLResult
(1) | (2) |
Für das Training und die Evaluierung dient ein weiteres Dictionary
als Datenbank, in welcher auch die Dictionaries
mit den Informationen zu den einzelnen Bildern
(gespeichert unter dem Schlüssel DLDataset
) gesammelt werden.
Aus dieser Datenbank werden die Eingabe-Dictionaries für das Modell
erstellt, die samples
. Siehe auch die folgende Darstellung
und den Abschnitt „Eingabedaten beim Training und der Evaluierung“.
DLSample
Obwohl für das Modell selbst nicht zwingend notwendig, wird das Dictionary
von den Trainings- und Evaluaierungs-Prozeduren
verwendet.
So wird stark empfohlen, aus den vorliegenden
Daten ein Dictionary DLDataset
zu erstellen.
Seine notwendigen Einträge sind unten genauer aufgeführt.
Dieses Dictionary kann bei der Objektdetektion von der Prozedur
DLDataset
read_dl_dataset_from_coco
erstellt, bzw.
bei der Semantischen Segmentierung von der Prozedur
read_dl_dataset_segmentation
.
Bezüglich der genauen Datenanforderungen um diese Prozeduren zu verwenden
wird auf die jeweilige Prozedurendokumentation verwiesen.
Wird
auf anderen Wegen erstellt, muss es zumindest
die Einträge beinhalten, die in der unteren Erklärung nicht mit einer Zahl
markiert sind.
Während der Vorverarbeitung des Datensatzes werden dem Dictionary
DLDataset
die weiteren Einträge von den jeweiligen Prozeduren
hinzugefügt.
DLDataset
Im folgenden werden die verschiedenen Daten erklärt sowie die dazugehörigen Dictionaries. Um zu markieren, welche Methoden (M) den jeweiligen Eintrag nutzt, verwenden wir folgende Abkürzungen: 'A': jede Methode, 'D': Objektdetektion, 'S': Semantische Segmentierung. Die Einträge, die nur auf einzelne Methoden zutreffen, werden in den jeweiligen Kapiteln genauer beschrieben.
Der Datensatz besteht aus Bildern und den dazugehörigen Informationen. Damit das Modell diese verarbeiten kann, müssen sie bestimmte Anforderungen erfüllen. Informationen zu den Bildanforderungen finden sich im unteren Abschnitt „Bilder“.
Die Informationen zu den Bildern und dem Datensatz werden im Dictionary
vermerkt. Dabei dient dieses Dictionary als
Datenbank.
Genauer gesagt, werden darin die generellen Informationen über den
Datensatz gespeichert sowie die Dictionaries der einzelnen Sample
unter dem Schlüssel DLDataset
gesammelt.
Werden die jeweiligen Bilddaten benötigt, wird für jedes erforderte Bild
ein Dictionary samples
erstellt (oder gelesen, falls dieses
bereits existiert).
Der Zusammenhang zwischen diesen Dictionaries ist in der obigen
Darstellung illustriert.
Im Folgenden werden die einzelnen Dictionaries mit ihren
Schlüssel/Wert-Paaren genauer erklärt.
DLSample
DLDataset
Das Dictionary
speichert die generellen
Informationen zum Datensatz und sammelt die Dictionaries der
individuellen Samples.
Dabei sind ikonische Daten nicht in DLDataset
enthalten, aber dei Pfade zu den entsprechenden Bildern.
Das Dictionary hat die folgenden Schlüssel:
DLDataset
Schlüssel | Beschreibung | Format | M |
|
Basispfad zu allen Bildern | String | A |
[1] |
Basispfad zu allen Sample Dateien (sofern vorhanden) | String | A |
|
Namen aller zu unterscheidenden Klassen | Tupeln von Strings | A |
|
IDs aller zu unterscheidenden Klassen (Bereich: 0-65534) | Tupel von ganzzahligen Werten | A |
[1] |
Alle während der Vorverarbeitung verwendeten Parameter | Dictionary | A |
[1] |
Gewichte der verschiedenen Klassen | Tupel von Gleitkommazahlen | S |
|
Basispfad zu allen Segmentierungsbildern | String | S |
read_dl_dataset_from_coco
erstellt, bzw. bei der Semantischen
Segmentierung von der Prozedur read_dl_dataset_segmentation
.
Bezüglich der genauen Datenanforderungen um diese Prozeduren zu
verwenden wird auf die jeweilige Prozedurendokumentation verwiesen.
Die mit [1] markierten Einträge werden von den
Vorverarbeitungsprozeduren eingetragen.
samples
samples
des Dictionary DLDataset
hat als Wert ein Tupel von Dictionaries, eines für jedes Sample
des Datensatzes.
Diese Dictionaries beinhalten die Information der jeweiligen Samples
und haben die folgenden Schlüssel:
Schlüssel | Beschreibung | Format | M |
|
Dateiname des Bildes und sein Pfad relativ zu |
String | A |
|
Eindeutige Bild-ID (Zeichenkodierungsformat: UINT8) | Ganzzahl | A |
[2] |
Gibt den bei der Aufteilung zugordneten Datensatz an ('train' ,'validation' ,'test' ) |
String | A |
[3] |
Dateiname des entsprechenden Dictionary und sein Pfad relativ zu |
String | A |
|
Dateiname des Ground Truth Segmentierungsbildes und sein Pfad relativ zu |
String | S |
|
Ground Truth Label für den Bildausschnitt innerhalb des umschließenden Rechtecks (als ID aus ) |
Tupel von Ganzzahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Zeile 1 | Tupel von Gleitkommazahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Spalte 1 | Tupel von Gleitkommazahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Zeile 2 | Tupel von Gleitkommazahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Spalte 2 | Tupel von Gleitkommazahlen | D |
|
Optional. Für jede innerhalb dieses Bildes enthält dieser Wert ein Dictionary mit allen unverarbeiteten COCO Annotations-Informationen |
Tupel von Dictionaries | D |
DLDataset
und werden als
solche zugleich von der Prozedur
read_dl_dataset_from_coco
im Falle der Objektdetektion, bzw.
read_dl_dataset_segmentation
im Falle der Semantischen
Segmentierung erstellt.
Ausnahme sind dabei die markierten Einträge der Tabelle,
[2]: Die Prozedur split_dl_dataset
fügt den Eintrag
split
hinzu,
[3]: Die Prozedur preprocess_dl_samples
fügt den Eintrag
dlsample_file_name
hinzu.
[4]: Für die umschließenden Rechtecke werden
pixel-zentrierte, subpixel-genaue Koordinaten verwendet.
DLSample
Das Dictionary
dient als Eingabewert des
Modells. Für einen Batch werden sie als Einträge des Tupels
DLSample
übergeben.
DLSampleBatch
Ein solches Dictionary
wird für jedes Bild von
der Prozedur DLSample
gen_dl_samples
aus den Daten in
erstellt.
Es enthält alle Ground Truth Annotationen eines Bildes.
Wird die Vorverarbeitung mit den Standard-Prozedur
DLDataset
preprocess_dl_samples
durchgeführt, werden sie automatisch
von dieser erstellt.
Es gilt zu beachten, dass die Vorverarbeitung zu Aktualisierungen des
entsprechenden
führen kann.
DLSample
DLSample
hat folgende Schlüssel:
Schlüssel | Beschreibung | Format | M |
|
Eingabebild | Bild | A |
|
Eindeutige Bild-ID (wie in ) |
Ganzzahl | A |
|
Bild mit den Ground Truth Segmentierungen, eingelesen von |
Bild | S |
[5] |
Bild mit den Pixel-Gewichten | Bild | S |
|
Ground Truth Label für den Bildausschnitt innerhalb des umschließenden Rechtecks (als ID aus ) |
Tupel von Ganzzahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Zeile 1 | Tupel von Gleitkommazahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Spalte 1 | Tupel von Gleitkommazahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Zeile 2 | Tupel von Gleitkommazahlen | D |
[4] |
Koordinaten des Ground Truth umschließenden Rechtecks: Spalte 2 | Tupel von Gleitkommazahlen | D |
gen_dl_samples
erzeugt.
Eine Ausnahme stellt der markierte Eintrag dar, [5]: wird von der
Prozedur gen_dl_segmentation_weights
erstellt.
[4]: Für die umschließenden Rechtecke werden
pixel-zentrierte, subpixel-genaue Koordinaten verwendet.
Falls die Dictionaries
gespeichert werden sollen,
kann die Prozedur DLSample
write_dl_samples
verwendet werden.
Eingelesen können die gespeicherten
Dictionaries
über die Prozedur DLSample
read_dl_samples
.
Die Eingabedaten bei der Inferenz bestehen aus den blanken Bildern. Damit das Modell diese verarbeiten kann, müssen sie bestimmte Anforderungen erfüllen. Informationen zu den Bildanforderungen finden sich im unteren Abschnitt „Bilder“.
Das Modell ist so konzipiert, dass alle Daten über ein Dictionary
übergeben wird.
Für die Inferenz beinhaltet ein solches Dictionary nur das Bild und
wird von der Prozedur DLDataset
gen_dl_samples_from_images
erstellt.
Diese Dictionaries können einzeln oder als Einträge des Tupels
übergeben werden
.
DLSampleBatch
Als Ausgabe des Operators
gibt das Modell
ein Dictionary train_dl_model_batch
zurück.
In diesem Dictionary befinden sich der aktuelle Wert der
Gesamt-Zielfunktion unter dem Schlüssel DLTrainResult
sowie die
Werte aller weiteren im Modell enthaltenen Zielfunktionen.
total_loss
apply_dl_model
gibt das Modell für
jedes Sample ein Dictionary DLResult
.
Abhängig vom Modell-Typ kann dieses Dictionary die folgenden Einträge
haben:
Schlüssel | Beschreibung | Format | M |
|
Bild mit dem Segmentierungsresultat | Bild | S |
|
Bild mit den Konfidenz-Werten des Segmentierungs-Resultats | Bild | S |
|
Vorhergesagte Klasse für das umschließende Rechteck (als ID aus ) |
Tupel von Ganzzahlen | D |
|
Konfidenz-Wert für die Vorhersage des umschließenden Rechteckes | Tupel von Gleitkommazahlen | D |
|
Vorhergesagte Koordinaten des umschließenden Rechtecks: Zeile 1 | Tupel von Gleitkommazahlen | D |
|
Vorhergesagte Koordinaten des umschließenden Rechtecks: Spalte 1 | Tupel von Gleitkommazahlen | D |
|
Vorhergesagte Koordinaten des umschließenden Rechtecks: Zeile 2 | Tupel von Gleitkommazahlen | D |
|
Vorhergesagte Koordinaten des umschließenden Rechtecks: Spalte 2 | Tupel von Gleitkommazahlen | D |
Unabhängig von der Anwendung stellt das Netzwerk Anforderungen an die
Bilder. Die spezifischen Werte hängen vom Netzwerk selbst ab und können
mit
abgefragt werden.
Um diese Anforderungen zu erfüllen, müssen die Bilder evt.
vorverarbeitet werden.
Die Standard-Vorverarbeitung für den ganzen Datensatz und damit auch der
Bilder kann mit Hilfe der Prozedur get_dl_model_param
preprocess_dl_samples
durchgeführt werden.
Für eine selbst erstellte Vorverarbeitung liefert diese Prozedur eine
Anleitung für die Implementierung.
apply_dl_model
clear_dl_model
deserialize_dl_model
get_dl_model_param
read_dl_model
serialize_dl_model
set_dl_model_param
train_dl_model_batch
write_dl_model