Mit Matching zählen

Mit diesem Tool können Sie Objekte mit Matching zählen.

Übersicht

Dieses Tool wird mit einem Trainingsmodus verwendet. Dabei wird zunächst ein Training der zu zählenden Objekte mit festgelegten Trainingsparametern durchgeführt. Das Training beginnt automatisch, wenn Trainingsparameter festgelegt oder geändert werden.

Das Ergebnis des Trainings wird sofort im Grafikfenster angezeigt. Das Trainingsmodell kann dann im gleichen Tool mit weiteren Bildern getestet werden.

Wenn Objekte mit Matching gezählt werden, wird zunächst das trainierte Modell der Objekte in den Bildern gesucht. Wird eine Instanz des Modells gefunden, zählt diese als Objekt.

Das Tool verfügt über einen Trainingsbereich auf der linken Seite des Toolboards. Es bietet die Möglichkeit, durch Klicken auf das jeweilige Bild zwischen dem Verarbeitungsmodus für die Suche und dem Trainingsmodus zum Trainieren des Matching-Modells zu wechseln. Im Grafikfenster wird das Bild des derzeit aktiven Modus angezeigt, der im Trainingsbereich blau hervorgehoben wird. Zusätzlich zu den Suchparametern oben links stellt das Tool oben rechts im Tool weitere Parameter für das Training bereit.

Weitere Informationen zur Verwendung von Tools, für die ein Training erforderlich ist, finden Sie unter Im Trainingsmodus arbeiten.

Das Toolboard ist in den Trainingsbereich auf der linken Seite der Toolbar und das Grafikfenster auf der rechten Seite unterteilt.

Trainingsparameter

Trainingsbereich

Grafikfenster

Trainingseinstellungen definieren

Trainingsbild auswählen

Das erste Bild auf der linken Seite des Toolboards zeigt das momentan geladene Bild, das zweite das Trainingsbild.

Für dieses Tool kann nur ein Bild als Trainingsbild verwendet werden. Wenn das Tool eingefügt wird, wird das aktuelle Verarbeitungsbild automatisch als Trainingsbild verwendet. Sie können auch die folgenden Schritte ausführen, um das Trainingsbild zu ändern:

  1. Führen Sie die Anwendung in Einzelschritten aus, bis das gewünschte Bild im Grafikfenster und somit im „Verarbeitungsbereich“ angezeigt wird.
  2. Klicken Sie auf die Schaltfläche im Trainingsbereich auf der linken Seite, um das aktuelle Trainingsbild durch das Bild im „Verarbeitungsbereich“ zu ersetzen. Der Trainingsmodus wird automatisch aktiviert und das neue Trainingsbild wird im Grafikfenster angezeigt.
Matching-Modell auswählen

Für dieses Tool sind easyTouch und easyTouch+ verfügbar. Das heißt, Sie können das Matching-Modell für die Ausrichtung wie folgt interaktiv auswählen:

  1. Klicken Sie auf das Trainingsbild im linken Bereich des Toolboards. Das Trainingsbild wird im Grafikfenster angezeigt und Sie können mit der Auswahl des Matching-Modells beginnen.
  2. Bewegen Sie die Maus über das Bild, um eine Vorschau der ROI für das Modell zu erhalten. Sie können mithilfe der Schaltflächen zur ROI-Auswahl auch eine Modell-ROI zeichnen. Wenn Sie easyTouch verwenden, um das Modell auszuwählen, zeigt die Farbe der in der Vorschau angezeigten Modell-ROI an, inwieweit die ROI, d. h. das Objekt im Rechteck, für das Training geeignet ist. Genauigkeit, Maßstab und Drehungsinvarianz hängen von Kontrast, Größe und Form des zugrunde liegenden Objekts ab. Die verschiedenen Farben haben folgende Bedeutung:
    • Eine wahrscheinlich gute Modell-ROI wird in der definierten Farbe für „akzeptiert“ hervorgehoben (standardmäßig grün).
    • Wird die Modell-ROI in der definierten Farbe für „Warnung“ hervorgehoben (standardmäßig gelb), eignet sie sich nicht sehr gut für das Training, möglicherweise aufgrund fehlender Modellkanten oder einer zu geringen Anzahl von Modellkanten.
    • Eine schlechte Modell-ROI wird in der definierten Farbe für „zurückgewiesen“ hervorgehoben (standardmäßig rot). Wenn das Rechteck sehr nah am Bildrand liegt, erfolgt die Darstellung in Rot, da das Objekt in den verarbeiteten Bildern u. U. nur teilweise sichtbar ist.
  3. Klicken Sie auf die ROI, wenn Sie die hervorgehobene ROI für die Ausrichtung verwenden möchten, um die Auswahl zu bestätigen. Die entsprechenden Trainingsparameter werden automatisch bestimmt.

Um die Stabilität des Trainings im Hinblick auf Abweichungen der Drehung zu vergrößern, wird empfohlen, zwei verschiedene Modell-ROIs auszuwählen und ein Matching-Modell mit zwei ROIs zu trainieren, die im Idealfall auf gegenüberliegenden Seiten des Bildes liegen.

Sucheinstellungen definieren

Suchparameter anpassen

Im Gegensatz zu den Trainingsparametern werden die Suchparameter auf der linken Seite nicht automatisch angepasst. Sie hängen von den Bildern Ihrer Anwendung ab und müssen entsprechend angepasst werden.

Sie können überprüfen, ob die aktuellen Einstellungen der Trainings- und Suchparameter geeignet sind. Wenn Sie die Anwendung mit mehreren Bildern ausführen, können Sie im Grafikfenster sofort feststellen, ob das Matching-Modell in allen Bildern ordnungsgemäß gefunden wurde. Bei Bedarf können Sie weitere Anpassungen an den Parametern vornehmen.

Bereichseinschränkungen

Die Objekte werden innerhalb eines Bereichs gesucht, der durch den „Verarbeitungsbereich“ und die „Such ROI“ bestimmt wird.

Ein Objekt wird ausgegeben, wenn sein Schwerpunkt innerhalb dieses Suchbereichs liegt. Falls der Schwerpunkt außerhalb der Objekte im Suchbereich liegt, ist der Suchbereich so anzupassen, dass der Schwerpunkt innerhalb des Suchbereichs liegt. Dadurch wird sichergestellt, dass das Objekt gefunden wird.

Objekte, die teilweise außerhalb des Bildes liegen, werden bei der Verarbeitung ignoriert.

Parameter

Abhängig von der ausgewählten Trainingsmethode am Parameter „Matching-Methode - Training“ sind einige Verbindungsstellen ausgegraut. Das bedeutet, dass sie für die aktuell ausgewählte Trainingsmethode nicht verfügbar sind und somit keine Auswirkung haben.

Standardparameter

Bild:

Dieser Parameter stellt das Bild dar, in dem die Objekte gezählt werden sollen. Es kann entweder als Trainingsbild für die Bestimmung des Matching-Modells oder als Verarbeitungsbild zum Testen des festgelegten Matching-Modells verwendet werden.

Bei der Verwendung eines Farbbilds als Eingabebild für dieses Tool wird nur der erste Kanal, d. h. der rote Kanal, für die Verarbeitung verwendet.

Mindestbewertung:

Dieser Parameter ist ein numerischer Wert, der die Genauigkeit des Zählvorgangs angibt. Er bestimmt, wie viel des Trainingsmodells im Bild sichtbar sein muss. Die Standardeinstellung ist 0,5. Damit kann die Hälfte des Modells im Bild verdeckt sein. Sie können den Wert über die zugehörige Verbindungsstelle ändern. Der Wert kann eine Zahl zwischen „0,1“ und „1“ sein. Je höher die „Mindestbewertung“, desto schneller ist die Suche. Wenn davon auszugehen ist, dass das Modell in den Bildern niemals verdeckt wird, kann ein hoher Wert für die „Mindestbewertung“ eingegeben werden, d. h. 0,8 oder sogar 0,9.

Zur Beschleunigung der Suche wird eine sogenannte Pyramide von verkleinerten Bildern verwendet. Eine Übereinstimmung benötigt eine Bewertung, die auf jeder Ebene groß genug ist, um als solche erkannt zu werden. Dies kann dazu führen, dass Übereinstimmungen ausgeschlossen werden, obwohl deren Bewertung im Originalbild größer ist als die minimale Bewertung, weil sie auf einer höheren Verkleinerungsebene nicht ausreichend erkennbar sind. Diese ausgelassenen Übereinstimmungen können mit einer geringeren Mindestbewertung gefunden werden.

Sie können die aktuelle „Mindestbewertung“ überprüfen, indem Sie die Anwendung schrittweise ausführen und prüfen, ob das Vorhandensein der Objekte in allen Bildern ordnungsgemäß ermittelt wird.

Orientierungstoleranz:

Dieser Parameter definiert die Toleranz des Rotationswinkels, mit dem das Objekt im Bild erscheinen darf. Er wird in Grad angegeben und ist standardmäßig auf 180° festgelegt. Sie können über die zugehörige Verbindungsstelle die „Orientierungstoleranz“ ändern und einen Winkel zwischen 0° und 180° festlegen.

Zusätzliche Parameter

Such ROI:

Dieser Parameter definiert die ROI für die Verarbeitung. Bildteile außerhalb der Vereinigung von ROI und „Verarbeitungsbereich“ werden nicht verarbeitet.Wenn zudem einer der Bereiche leer ist, wird der Bildteil, der innerhalb des jeweils anderen liegt, verarbeitet. Sind beide leer, wird das gesamte Bild verarbeitet. Bei Verwendung von easyTouch zur Auswahl des Matching-Modells wird jedoch das ganze Bild bei der Verarbeitung verwendet.

Die „Such ROI“ ist standardmäßig als leere „ROI“ definiert. Wenn Sie eine nicht leere „Such ROI“ für die Verarbeitung verwenden möchten, müssen Sie den Parameter mit einem geeigneten ROI-Ergebnis eines vorherigen Tools verbinden, damit eine ROI an dieses Tool übergeben wird, oder mit den verfügbaren ROI-Schaltflächen neue ROIs im Bild zeichnen. Wenn Sie ein ROI-Ergebnis eines vorherigen Tools verwenden, können Sie mit den ROI-Schaltflächen weitere ROIs zeichnen.

Es kann ausreichend sein, wenn nur ein Teil des trainierten Modells, z. B. nur eine der beiden Modell-ROIs, im Suchbereich liegt, um eine Übereinstimmung zu finden. Wenn das trainierte Modell außerhalb dieses Bereichs liegt, wird es nicht gefunden.

Ausrichtungsdaten:

Dieser Parameter stellt die Ausrichtungsdaten dar, die zum Ausrichten der ROI verwendet werden. Ausrichtungsdaten sind standardmäßig nicht verbunden, sodass keine Auswirkung sichtbar ist. Wenn Sie bestimmte Ausrichtungsdaten verwenden möchten, müssen Sie den Parameter mit einem geeigneten Ergebnis eines vorherigen Tools verbinden, z. B. Ausrichtungsdaten mit Matching bestimmen, Ausrichtungsdaten mittels geradem Rand bestimmen, Bild ausrichten oder Bild drehen.

Maximale Anzahl an Objekten:

Dieser Parameter definiert die „Maximale Anzahl an Objekten“, die im Bild gezählt werden sollen. Er kann verwendet werden, um die erwartete Anzahl von Objekten festzulegen. Die Standardeinstellung ist 50. Das bedeutet, wenn mehr als 50 Objekte mit höherer Bewertung als der „Mindestbewertung“ im Bild gefunden werden, dann werden nur die besten 50 Objekte ausgegeben. Sie können den Wert über die zugehörige Verbindungsstelle ändern. Eine Erhöhung des Werts „Maximale Anzahl an Objekten“ kann zu einer längeren Suchdauer führen.

Wird „Maximale Anzahl an Objekten“ auf 0 festgelegt, ist keine Obergrenze für die Anzahl der Objekte definiert. Das bedeutet, dass alle Objekte, die über der „Mindestbewertung“ liegen, gefunden werden.

Deformationstoleranz:

Dieser Parameter definiert die maximal zulässige Deformation des Objekts. Er wird in Pixeln angegeben und ist standardmäßig auf 1 px festgelegt. Dies bedeutet, dass auch Objekte gefunden werden, die hinsichtlich der Form des Trainingsmodells Deformationen von bis zu 1 Pixel aufweisen. Sie können den Wert über die zugehörige Verbindungsstelle ändern und einen ganzzahligen Wert zwischen 0 und 5 px sowie darüber festlegen, wenn Sie den Wert manuell eingeben. Wenn Sie den Wert auf 0 px festlegen, werden nur Objekte ohne Deformationen gefunden. Je höher die „Deformationstoleranz“, desto höher ist allerdings das Risiko, dass nicht die richtigen Objekte gefunden werden. Dies gilt vor allem für Objekte mit feinen Strukturen.

Die „Deformationstoleranz“ sollte daher so niedrig wie möglich, aber so hoch wie nötig sein. Wenn das Ausmaß der Deformation des Modells, die in den Bildern zu erwarten ist, bekannt ist, können Sie den Wert für die „Deformationstoleranz“ entsprechend anpassen. Die „Deformationstoleranz“ ist nur gültig, wenn „Matching-Methode - Training“ auf „formbasiert“ festgelegt ist.

Maximale Überlappung:

Dieser Parameter legt die maximal zulässige Überlappung der zu zählenden Objekte fest, d. h. er definiert eine Toleranz für diese Überlappung. Die Überlappung wird im Hinblick auf das kleinste umgebende Rechteck um das Objekt bestimmt und nicht im Hinblick auf die Fläche des Objekts selbst. Daher ist es möglich, dass zwei Objekte überlappen, obwohl ihre tatsächlichen Flächen sich nicht überschneiden. Die „Maximale Überlappung“ wird als Prozentwert dargestellt und ist standardmäßig auf 50 % festgelegt. Das bedeutet, dass bis zu 50 % des kleinsten umgebenden Rechtecks eines Objekts im Suchbild verdeckt sein kann und das Objekt trotzdem bei der Zählung berücksichtigt wird. Wenn mehr als 50 % des Objekts verdeckt ist, wird es nicht gezählt. Sie können den Wert über die zugehörige Verbindungsstelle ändern und einen Wert zwischen 0 und 100 festlegen. Wenn Sie den Wert 0 festlegen, werden nur Objekte ohne Überlappung gefunden. Je höher allerdings die „Maximale Überlappung“, desto höher ist das Risiko, dass falsche Objekte gefunden werden.

Verarbeitungsbereich:

Dieser Parameter definiert die Region für die Verarbeitung. Bildteile außerhalb der Vereinigung von ROI und „Verarbeitungsbereich“ werden nicht verarbeitet. Wenn zudem einer der Bereiche leer ist, wird der Bildteil, der innerhalb des jeweils anderen liegt, verarbeitet. Sind beide leer, wird das gesamte Bild verarbeitet.

Verarbeitungsbereich“ ist standardmäßig als leere Region definiert. Wenn Sie eine „Verarbeitungsbereich“ angeben möchten, müssen Sie den Parameter mit einem geeigneten Ergebnis eines vorherigen Tools verbinden, damit die Region an dieses Tool übertragen wird.

Bei Verwendung von easyTouch zur Auswahl des Matching-Modells wird das ganze Bild bei der Verarbeitung verwendet.

Trainingsparameter

Standard-Trainingsparameter

Matching-Methode - Training:

Dieser Trainingsparameter definiert das Matching-Modell, das für die Bestimmung des Trainingsmodells verwendet wird. Der Parameter ist standardmäßig auf „formbasiert“ festgelegt. Sie können den Parameter „Matching-Methode - Training“ über die zugehörige Verbindungsstelle ändern.

Wert

Beschreibung

formbasiert

Dieser Matching-Ansatz beschreibt das Trainingsmodell anhand seiner Konturformen.

Verwenden Sie diese Methode, wenn das Trainingsmodell anhand einer Matching-Methode bestimmt werden sollen, die die besten Übereinstimmungen eines formbasierten Modells in einem Bild findet.

korrelationsbasiert

Dieser Matching-Ansatz beschreibt das Trainingsmodell anhand der Grauwertrelationen der enthaltenen Pixel.

Verwenden Sie diese Methode, wenn das Trainingsmodell anhand einer Matching-Methode bestimmt werden sollen, die für die Suche nach übereinstimmenden Objekten und Mustern eine normalisierte Kreuzkorrelation (NCC) verwendet.

Zusätzliche Trainingsparameter

Die zusätzlichen Trainingsparameter werden der jeweiligen Matching-Methode entsprechend aufgelistet. Es ist möglich, Parameter anderer Methoden festzulegen. Diese haben aber keinen Einfluss auf das resultierende Trainingsmodell.

Ergebnisse

Standardergebnisse

Anzahl:

Dieses Ergebnis beschreibt die „Anzahl“ der Objekte, die mit den festgelegten Parametern gezählt wurden. Die Ausgabe erfolgt als Ganzzahl.

Bewertung:

Dieses Ergebnis gibt einen numerischen Wert aus, der das Maß der Übereinstimmung des gezählten Objekts mit dem durchsuchten trainierten Modell angibt. Die Ausgabe erfolgt als reelle Zahl zwischen 0 und 1. Wenn die „Bewertung“ den Wert 1 aufweist, stimmt das gefundene Objekt mit einer Genauigkeit von 100 % mit dem trainierten Modell überein. Wird mehr als ein Objekt gefunden, werden die zugehörigen Bewertungen als Tupel ausgegeben.

Toolstatus:

Toolstatus“ gibt Informationen zum Status des Tools aus und kann daher für die Fehlerbehandlung verwendet werden. Weitere Informationen zu den verschiedenen Toolstatus-Ergebnissen finden Sie unter Toolstatus-Ergebnis.

Zusätzliche Ergebnisse

Modellkanten:

Dieses Ergebnis enthält die Kontur der Kanten des Trainingsmodells.

Orientierungspfeil:

Dieses Ergebnis stellt den „Orientierungspfeil“ der ROI dar, die für das Training verwendet wurde. Es wird als Kontur ausgegeben.

Verarbeitungszeit:

Dieses Ergebnis gibt die Dauer der letzten Ausführung des Tools in Millisekunden aus. Das Ergebnis wird als zusätzliches Ergebnis bereitgestellt. Es ist daher standardmäßig ausgeblendet, kann aber über die Schaltfläche neben den Toolergebnissen angezeigt werden. Weitere Informationen finden Sie im Abschnitt Verarbeitungszeit in der Tool-Referenz-Übersicht.

Anwendungsbeispiele

Dieses Tool wird in den folgenden MERLIC-Vision-App-Beispielen verwendet:

  • check_pen_parts.mvapp
  • count_frozen_dough_with_training.mvapp