Anwesenheit mit Matching prüfen

Mit diesem Tool können Sie die Anwesenheit von Objekten anhand eines Matching-Vorgangs prüfen.

Dieses Tool wird mit einem Trainingsmodus verwendet. Dies bedeutet, dass ein Training basierend auf ausgewählten Referenzobjekten und festgelegten Parametern durchgeführt werden muss. Das Training beginnt automatisch, wenn Trainingsparameter festgelegt oder geändert werden.

Das Tool verfügt über einen Trainingsbereich auf der linken Seite des Toolboards. Es bietet die Möglichkeit, durch Klicken auf das jeweilige Bild zwischen dem Verarbeitungsmodus für die Suche und dem Trainingsmodus zum Trainieren des Matching-Modells zu wechseln. Im Grafikfenster wird das Bild des derzeit aktiven Modus angezeigt, der im Trainingsbereich blau hervorgehoben wird. Zusätzlich zu den Suchparametern oben links stellt das Tool oben rechts im Tool weitere Parameter für das Training bereit.

Weitere Informationen zur Verwendung von Tools, für die ein Training erforderlich ist, finden Sie unter Im Trainingsmodus arbeiten.

Das Toolboard ist in den Trainingsbereich auf der linken Seite der Toolbar und das Grafikfenster auf der rechten Seite unterteilt.

Trainingsparameter

Trainingsbereich

Grafikfenster

Angezeigte Bilder

Im Trainingsbereich werden drei Bilder angezeigt: das Verarbeitungsbild und zwei Trainingsbilder.

  • Verarbeitungsbild: Das aktuelle „Bild“, das von einem vorherigen Tool stammt.
  • Zwei Trainingsbilder: Sie dienen dazu, die Referenzobjekte und die Referenzpositionen festzulegen, an denen die Objekte in den Bildern erwartet werden.

Trainingseinstellungen definieren

Das Training beginnt automatisch, wenn Trainingsparameter festgelegt oder geändert werden.

Trainingsbilder und Trainingsmodus auswählen

Für das Training sind zwei Trainingsbilder erforderlich:

  • Ein Trainingsbild für den Modus „Objektmodell“. Dieser Modus wird verwendet, um ein Referenzobjekt für das Training zu definieren.
  • Ein Trainingsbild für den Modus „Referenzpositionen“, in dem die erwartete Position der Objekte in den Bildern trainiert wird.

Sie müssen diese Bilder auswählen, indem Sie auf die Schaltfläche klicken, um das Bild in den Trainingsbereich zu verschieben. Die Bilder werden als „nicht verwendet“ markiert und Sie müssen den Modus manuell zuweisen.

Wenn Sie weitere Bilder zum Trainingsbereich hinzufügen, werden diese als „nicht verwendet“ markiert, da jeweils nur ein Bild für die „Referenzpositionen“ und für das „Objektmodell“ ausgewählt werden kann. Sie können jedoch brauchbare Bilder als „nicht verwendet“ vorbereiten und das Training damit prüfen. Zu diesem Zweck können Sie sie mit dem aktuell ausgewählten Bild für das „Objektmodell“ oder die „Referenzpositionen“ austauschen, indem Sie das entsprechende Bild zuerst auf den Modus „nicht verwendet“ einstellen und dann den neuen Modus für das andere Bild festlegen.

Sie können auch andere Bilder für das Training verwenden. Sie müssen die Anwendung lediglich in Einzelschritten ausführen, bis das gewünschte Bild im Grafikfenster und somit im Verarbeitungsbereich angezeigt wird. Klicken Sie auf die Schaltfläche , um das Bild in den Trainingsbereich zu verschieben und den gewünschten Modus für das Trainingsbild festzulegen.

Trainingsparameter festlegen

Referenzobjekt für das Training definieren
  1. Klicken Sie auf das Trainingsbild des „Objektmodells“ im linken Bereich des „Toolboards“. Das Bild wird im Grafikfenster angezeigt und Sie können mit der Auswahl des Referenzobjekts beginnen. Sie können nur ein Referenzobjekt definieren. Das betreffende Referenzobjekt umfasst weitere ROIs.
  2. Zeichnen Sie mindestens eine ROI über dem Objekt, das Sie als Referenzobjekt für die Suche verwenden möchten. Es wird empfohlen, mehrere ROIs zu verwenden, um die Stabilität der Anwesenheitsprüfung zu erhöhen, insbesondere dann, wenn die Form der Referenzobjekte nicht in eine einzelne ROI passt.

Die Trainingsparameter werden oben rechts im Tool angezeigt. Sie werden automatisch an die ausgewählte Modell-ROI angepasst. Jedes Mal, wenn die Modell-ROI geändert wird, werden auch die Trainingsparameter ermittelt.

Erwarteten Anzahl von Vorkommen definieren
  1. Geben Sie im Trainingsparameter „Anzahl an Referenzpositionen“ die Anzahl der Objekte an, die in den Bildern erwartet werden. Es wird empfohlen, den Wert direkt und nicht über den Schieberegler einzugeben, da so eine Durchführung des Trainings bei den einzelnen Zwischenwerten des Schiebereglers verhindert wird.
Positionsreferenzen definieren
  1. Wechseln Sie zum Trainingsbild für den Modus „Referenzpositionen“, um die jeweiligen Referenzpositionen zu definieren, an denen das Referenzobjekt erwartet wird. Das Tool hebt mögliche Objekte im Trainingsbild hervor, die zum Referenzobjekt passen.
  2. Überprüfen Sie im Trainingsbild, ob alle Trainingsobjekte an der richtigen Position gefunden wurden.
  3. Wenn nicht, können Sie ROIs über dem Bildbereich zeichnen, in dem die Objekte in den Bildern erwartet werden, um den Suchbereich auf den Bereich der ROI zu beschränken. Diese ROIs können lediglich verwendet werden, um den Suchbereich einzugrenzen. Die eigentlichen Referenzpositionen können damit nicht definiert werden. Die exakten Positionen der gefundenen Referenzobjekte werden intern als punktförmige ROI gespeichert. Zeichnen Sie mit gedrückter Strg-Taste mehrere ROIs, bis sie der Anzahl der voraussichtlichen Referenzpositionen entsprechen.

Falls die Referenzpositionen des Objektmodells bereits in einem vorherigen Tool verfügbar sind, können Sie stattdessen die bekannten Positionsdaten verwenden und das jeweilige ROI-Ergebnis des vorherigen Tools mit dem Parameter „Referenzpositionen“ verbinden. Weitere Details finden Sie in der Beschreibung des Parameters Referenzpositionen.

Suchparameter anpassen

  1. Klicken Sie auf das Verarbeitungsbild.
  2. Passen Sie die Suchparameter im linken Bereich des Toolboards dem Training entsprechend an. Sie hängen von den Bildern Ihrer Anwendung ab und werden nicht automatisch angepasst.
  3. Überprüfen Sie, ob die aktuellen Einstellungen der Trainings- und Suchparameter geeignet sind, indem Sie die Anwendung mit mehreren Bildern ausführen. Überprüfen Sie in den Bildern, ob die Anwesenheitsprüfung mit dem trainierten Matching-Modell ordnungsgemäß funktioniert.
  4. Nehmen Sie ggf. weitere Anpassungen an den Parametern vor.
Bereichseinschränkungen

Objekte, die teilweise außerhalb des Bildes liegen, werden bei der Verarbeitung ignoriert.

Parameter

Abhängig von der ausgewählten Trainingsmethode am Parameter „Matching-Methode - Training“ sind einige Verbindungsstellen ausgegraut. Das bedeutet, dass sie für die aktuell ausgewählte Trainingsmethode nicht verfügbar sind und somit keine Auswirkung haben.

Standardparameter

Bild:

Dieser Parameter stellt das Eingabebild dar, das für dieses Tool verwendet wird. Es kann entweder als Trainingsbild für die Bestimmung des Matching-Modells oder als Verarbeitungsbild zum Testen der Trainingsdaten verwendet werden.

Bei der Verwendung eines Farbbilds als Eingabebild für dieses Tool wird nur der erste Kanal, d. h. der rote Kanal, für die Verarbeitung verwendet.

Maximaler Abstand:

Dieser Parameter definiert, wie weit die Position der Objekte von der trainierten Referenzposition abweichen darf. Er wird in Pixeln angegeben und ist standardmäßig auf 5 px festgelegt. Dies bedeutet, dass die Position der zu prüfenden Objekte bis zu 5 Pixel von der trainierten Position abweichen darf. Sie können „Maximaler Abstand“über den zugehörigen Parameter in einen Wert zwischen 0 und 100 Pixeln ändern und so die Suchtoleranz anpassen. Wenn „Kalibrierdaten“ verfügbar sind und für die Verarbeitung verwendet werden, wird „Maximaler Abstand“ als kalibrierter Abstand in einem Bereich zwischen 0 und 100 Pixeln dargestellt. Wenn das Ausmaß der Positionsschwankung in den Bildern bekannt ist, können Sie den Wert für „Maximaler Abstand“ entsprechend anpassen.

Mindestbewertung:

Dieser Parameter gibt die Genauigkeit des Matching-Vorgangs an. Er wird für die Suche des Modells verwendet und bestimmt, wie viel des Trainingsmodells im Bild sichtbar sein muss, damit ein übereinstimmendes Objekt gefunden wird. Die Standardeinstellung ist 0,5. Damit kann die Hälfte des Modells im Bild verdeckt sein. Sie können den Wert über die zugehörige Verbindungsstelle ändern. Der Wert kann eine Zahl zwischen „0,1“ und „1“ sein. Je höher die „Mindestbewertung“, desto schneller ist die Suche. Wenn davon auszugehen ist, dass das Modell in den Bildern niemals verdeckt wird, kann ein hoher Wert für die „Mindestbewertung“ eingegeben werden, d. h. 0,8 oder sogar 0,9. Andernfalls müssen Sie u. U. den Wert dieses Parameters verkleinern, um Übereinstimmungen in Bildern zu finden, in denen ein Großteil des trainierten Modells verdeckt ist.

Zur Beschleunigung der Suche wird eine sogenannte Pyramide von verkleinerten Bildern verwendet. Eine Übereinstimmung benötigt eine Bewertung, die auf jeder Ebene groß genug ist, um als solche erkannt zu werden. Dies kann dazu führen, dass Übereinstimmungen ausgeschlossen werden, obwohl deren Bewertung im Originalbild größer ist als die minimale Bewertung, weil sie auf einer höheren Verkleinerungsebene nicht ausreichend erkennbar sind. Diese ausgelassenen Übereinstimmungen können mit einer geringeren Mindestbewertung gefunden werden.

Sie können die aktuelle „Mindestbewertung“ überprüfen, indem Sie die Anwendung schrittweise ausführen und prüfen, ob die Anwesenheit der Objekte in allen Bildern ordnungsgemäß ermittelt wird.

Zusätzliche Parameter

Referenzpositionen:

Dieser Parameter legt die Referenzpositionen fest, an denen die Objekte erwartet werden. Er kann verwendet werden, wenn die erwarteten Referenzpositionen bekannt sind oder bereits in einem vorherigen Tool bestimmt wurden. Sie können die Daten wiederverwenden und das jeweilige ROI-Ergebnis des vorherigen Tools mit diesem Parameter verbinden. Die übertragenen Daten werden dann zum Definieren der Referenzpositionen für das Objektmodell des Trainings verwendet. Die Positionen müssen als punktförmige ROI angegeben werden. Sie müssen daher sicherstellen, dass die verfügbaren Positionen, die von einem vorherigen Tool übergeben werden sollen, in einer punktförmigen ROI ausgegeben werden. Standardmäßig sind keine Referenzpositionen in diesem Parameter definiert.

Wenn keine Referenzpositionen von einem vorherigen Tool verfügbar sind, können Sie die erwarteten Positionen der Objekte in einem Trainingsbild im Modus „Referenzpositionen“ bestimmen (siehe Beschreibung im Abschnitt Festlegen der Trainingsparameter). Wenn jedoch gültige Positionsdaten an den Parameter „Referenzpositionen“ übertragen werden, haben diese Vorrang vor möglichen Positionsreferenzen, die in einem Trainingsbild bestimmt wurden.

Kalibrierdaten:

Dieser Parameter definiert die Kalibrierdaten, die für die Korrektur eventueller Linsenverzerrungen sowie der Position der Kamera in Bezug auf die Bildebene erforderlich sind. Standardmäßig sind keine Kalibrierdaten definiert. Wenn Sie Kalibrierdaten verwenden möchten, müssen Sie den Parameter mit einem geeigneten Ergebnis eines vorherigen Tools, z. B. Kamera kalibrieren, verbinden, damit die Kalibrierdaten an dieses Tool übertragen werden. Sie werden sofort auf das Bild angewendet.

Falls „Kalibrierdaten“ für dieses Tool verwendet werden, werden alle Ergebnisse, die Pixelwerte darstellen, automatisch in die entsprechenden Weltkoordinaten transformiert.

Ausrichtungsdaten:

Dieser Parameter stellt die Ausrichtungsdaten dar, die zum Ausrichten der ROI verwendet werden. Ausrichtungsdaten sind standardmäßig nicht verbunden, sodass keine Auswirkung sichtbar ist. Wenn Sie bestimmte Ausrichtungsdaten verwenden möchten, müssen Sie den Parameter mit einem geeigneten Ergebnis eines vorherigen Tools verbinden, z. B. Ausrichtungsdaten mit Matching bestimmen, Ausrichtungsdaten mittels geradem Rand bestimmen, Bild ausrichten oder Bild drehen.

Fehlgeschlagene Verarbeitung:

Dieser Parameter legt fest, welcher Wert als „Absoluter Abstand“ und „Relativer Abstand“ ausgegeben wird, falls kein Objekt an den definierten Referenzpositionen gefunden wird. Der Parameter ist standardmäßig auf „ignorieren“ festgelegt. Sie können den Parameter an der entsprechenden Verbindungsstelle auf die folgenden Werte einstellen.

Wert

Beschreibung

ignorieren

Es wird kein Wert ausgegeben, wenn ein Objekt nicht gefunden wurde.

-1

-1 wird für jedes nicht gefundene Objekt ausgegeben. Sie können den Wert direkt im Eingabefeld der Verbindungsstelle durch eine beliebige Zahl oder Zeichenfolge ersetzen, die ausgegeben werden soll.

*

* wird für jedes nicht gefundene Objekt ausgegeben. Sie können den Wert direkt im Eingabefeld der Verbindungsstelle durch eine beliebige Zahl oder Zeichenfolge ersetzen, die ausgegeben werden soll.

Deformationstoleranz:

Dieser Parameter definiert die maximal zulässige Deformation der Objekte. Er wird in Pixeln angegeben und ist standardmäßig auf 1 px festgelegt. Dies bedeutet, dass auch Objekte gefunden werden, die in Bezug auf die Form des Referenzobjekts des Trainingsmodells Deformationen von bis zu 1 Pixel aufweisen. Sie können den Wert mit dem Schieberegler der entsprechenden Verbindungsstelle zu einem Wert zwischen 0 und 10 px sowie darüber ändern, wenn Sie den Wert manuell eingeben. Wenn Sie den Wert 0 definieren, werden nur Objekte ohne Deformationen gefunden. Je höher die „Deformationstoleranz“, desto höher ist allerdings das Risiko, dass nicht die richtigen Objekte gefunden werden. Dies gilt vor allem für Objekte mit feinen Strukturen. Die „Deformationstoleranz“ sollte daher so niedrig wie möglich, aber so hoch wie nötig sein. Wenn das Ausmaß der Deformation der Objekte bekannt ist, die in den Bildern zu erwarten ist, können Sie den Wert für die „Deformationstoleranz“ entsprechend anpassen. Die „Deformationstoleranz“ ist nur gültig, wenn „Matching-Methode - Training“ auf „formbasiert“ festgelegt ist.

Maximale Überlappung:

Dieser Parameter legt die maximal zulässige Überlappung der zu findenden Objekte fest, d. h. er definiert eine Toleranz für diese Überlappung. Die Überlappung wird im Hinblick auf das kleinste umgebende Rechteck um das Objekt bestimmt und nicht im Hinblick auf die Fläche des Objekts selbst. Daher ist es möglich, dass zwei Objekte überlappen, obwohl ihre tatsächlichen Flächen sich nicht überschneiden.

Die „Maximale Überlappung“ wird als Prozentwert dargestellt und ist standardmäßig auf 30 % festgelegt. Das bedeutet, dass bis zu 30 % des kleinsten umgebenden Rechtecks eines Objekts im Suchbild verdeckt sein kann und das Objekt trotzdem bei der Anwesenheitsprüfung berücksichtigt wird. Wenn mehr als 30 % des Objekts verdeckt ist, wird es nicht gefunden. Sie können den Wert über die zugehörige Verbindungsstelle ändern und einen Wert zwischen 0 und 100 festlegen. Wenn Sie den Wert 0 festlegen, werden nur Objekte ohne Überlappung gefunden. Je höher allerdings die „Maximale Überlappung“, desto höher ist das Risiko, dass falsche Objekte gefunden werden.

Trainingsparameter

Die Trainingsparameter beeinflussen nur das Training und können während der Ausführung des Tools nicht geändert werden. Sie werden mit dem Suffix „‑‑‑Training“ in ihrem Namen gekennzeichnet, damit sie vom entsprechenden Parameter unterschieden werden können, der bei der Anwendung des Tools verwendet wird.

Standard-Trainingsparameter

Anzahl an Referenzpositionen - Training:

Dieser Trainingsparameter definiert die Anzahl an Referenzpositionen, an denen Objekte im Idealfall erwartet werden. Er definiert somit die Anzahl der erwarteten Objekte. Der Parameter ist standardmäßig auf 1 festgelegt. Dies bedeutet, dass nur eine Referenzposition des Referenzobjekts trainiert wird und daher nur ein Objekt in den Verarbeitungsbildern gesucht wird. Sie müssen die Anzahl an der entsprechenden Verbindungsstelle manuell anpassen. Die Anzahl der Referenzpositionen kann auf maximal 100 festgelegt werden. Wenn der Wert angepasst wurde, werden die entsprechenden Objekte sofort im Trainingsbild für den Modus „Referenzpositionen“ angezeigt. Es wird empfohlen, den Wert direkt über die Tastatur und nicht über den Schieberegler einzugeben, da so eine Durchführung des Trainings bei den einzelnen Zwischenwerten des Schiebereglers verhindert wird.

Matching-Methode - Training:

Dieser Trainingsparameter definiert die Matching-Methode für die Prüfung. Der Parameter ist standardmäßig auf „formbasiert“ festgelegt. Sie können den Parameter „Matching-Methode - Training“ über die zugehörige Verbindungsstelle ändern.

Wert

Beschreibung

formbasiert

Dieser Matching-Ansatz beschreibt das Referenzobjekt im Trainingsmodell anhand seiner Konturformen.

Verwenden Sie diese Methode, wenn die Anwesenheit von Objekten anhand einer Matching-Methode geprüft werden soll, die die besten Übereinstimmungen eines formbasierten Modells in einem Bild findet.

korrelationsbasiert

Dieser Matching-Ansatz beschreibt das Referenzobjekt im Trainingsmodell anhand der Grauwertrelationen der enthaltenen Pixel.

Verwenden Sie diese Methode, wenn die Anwesenheit von Objekten anhand einer Matching-Methode geprüft werden soll, die für die Suche nach übereinstimmenden Objekten und Mustern eine normalisierte Kreuzkorrelation (NCC) verwendet.

Zusätzliche Trainingsparameter

Die zusätzlichen Trainingsparameter werden der jeweiligen Matching-Methode entsprechend aufgelistet. Es ist möglich, Parameter anderer Methoden festzulegen. Diese haben aber keinen Einfluss auf das resultierende Trainingsmodell.

Ergebnisse

Standardergebnisse

Objekt akzeptiert:

Dieses Ergebnis gibt ein Tupel von booleschen Werten aus, die angeben, ob die einzelnen Objekte an der erwarteten Position gefunden wurden. Ist ein Objekt an der richtigen Position vorhanden, wird der boolesche Wert 1 für das betreffende Objekt ausgegeben. Wenn ein Objekt nicht gefunden wurde und somit nicht an der erwarteten Position vorhanden ist, wird der boolesche Wert 0 für das betreffende Objekt ausgegeben. Die resultierenden Werte aller Objekte werden in einem Tupel ausgegeben.

Alle Objekte akzeptiert:

Dieses Ergebnis gibt einen booleschen Wert aus, der angibt, ob alle Objekte an der erwarteten Position gefunden wurden. Sind alle Objekt an der richtigen Position vorhanden, wird der boolesche Wert 1 ausgegeben. Ist mindestens ein Objekt nicht an seiner Position vorhanden, wird der Wert 0 ausgegeben.

Absoluter Abstand:

Dieses Ergebnis gibt die Abstände von der Position der einzelnen gefundenen Objekte zu der jeweils erwarteten Position aus. Die tatsächliche Position gefundener Objekte kann von der trainierten Referenzposition abweichen. Daher enthält „Absoluter Abstand“ den tatsächlichen Abstand zwischen der trainierten Referenzposition und der gefundenen Position. Die Abstände werden in einem Tupel als reelle Zahlen ausgegeben. Wenn ein Objekt nicht im Bild gefunden wurde, wird der unter „Fehlgeschlagene Messung“ festgelegte Wert für das betreffende Objekt ausgegeben. Sind „Kalibrierdaten“ verfügbar und werden diese für die Verarbeitung verwendet, so wird der „absolute Abstand“ als kalibrierter Abstand ausgegeben.

Relativer Abstand:

Dieses Ergebnis gibt den relativen Abstand von der Position der einzelnen gefundenen Objekte zu der jeweils erwarteten Position aus. Die tatsächliche Position gefundener Objekte kann von der trainierten Referenzposition abweichen. „Relativer Abstand“ gibt daher den relativen Wert des „absoluten Abstands“ zum definierten „maximalen Abstand“ aus. Wenn beispielsweise „Absoluter Abstand“ 20 ist und „Maximaler Abstand“ auf 40 festgelegt wird, ist „Relativer Abstand“ 0,5. Die Abstände werden in einem Tupel als reelle Zahlen ausgegeben. Wenn ein Objekt nicht im Bild gefunden wurde, wird der unter „Fehlgeschlagene Messung“ festgelegte Wert für das betreffende Objekt ausgegeben.

Toolstatus:

Toolstatus“ gibt Informationen zum Status des Tools aus und kann daher für die Fehlerbehandlung verwendet werden. Weitere Informationen zu den verschiedenen Toolstatus-Ergebnissen finden Sie unter Toolstatus-Ergebnis.

Zusätzliche Ergebnisse

Akzeptierte Objekte:

Dieses Ergebnis gibt die Konturen der Objekte aus, die an der erwarteten Position gefunden wurden. Sie werden in der definierten Farbeinstellung für „ok“ angezeigt (standardmäßig grün).

Zurückgewiesene Objekte:

Dieses Ergebnis gibt die Konturen der Objekte aus, die nicht an der erwarteten Position gefunden und daher zurückgewiesen wurden. Sie werden in der definierten Farbeinstellung für „zurückgewiesen“ angezeigt (standardmäßig rot).

Mehrdeutige Objekte:

Dieses Ergebnis gibt die Konturen der mehrdeutigen Objekte aus. Werden mehrere Objekte in der Nähe einer Referenzposition gefunden, werden diese Objekte als „Mehrdeutige Objekte“ ausgegeben. Ein hoher Wert für „Maximaler Abstand“ kann zu mehrdeutigen Objekten führen.

Verarbeitungszeit:

Dieses Ergebnis gibt die Dauer der letzten Ausführung des Tools in Millisekunden aus. Das Ergebnis wird als zusätzliches Ergebnis bereitgestellt. Es ist daher standardmäßig ausgeblendet, kann aber über die Schaltfläche neben den Toolergebnissen angezeigt werden. Weitere Informationen finden Sie im Abschnitt Verarbeitungszeit in der Tool-Referenz-Übersicht.

Trainingsergebnisse

Standardtrainingsergebnisse

Verwendete höchste Pyramidenstufe - Training:

Dieses Ergebnis gibt den Wert für „Höchste Pyramidenstufe - Training“ aus, der beim zuletzt ausgeführten Training verwendet wurde.

Zusätzliche Trainingsergebnisse

Referenzpositionen - Ausgabe:

Dieser Parameter legt die Referenzpositionen fest, die beim zuletzt ausgeführten Training verwendet wurden.

Anwendungsbeispiele

Dieses Tool wird in den folgenden MERLIC-Vision-App-Beispielen verwendet:

  • check_bent_leads.mvapp