Mit Deep Learning alles im Blick

Hohe Anforderungen an die Qualitätsinspektion elektrischer Verbindungen

Bosch Car Multimédia ist als Zulieferer von Elektronikkomponenten für verschiedene Kunden aus der Automobilbranche auf einen hohen Qualitätsstandard der hergestellten Automobilsensoren angewiesen. Um diesen zu gewährleisten, müssen Defekte schnell und zuverlässig erkannt werden. Im konkreten Fall geht es darum, Metallfedern auf Defekte zu prüfen. Diese bilden die elektronische Verbindung zwischen der Hauptplatine und einer Kupferdurchführung auf der Abdeckung eines Sensors. Da der Bearbeitungsprozess manuell durchgeführt wird, können bei der Produktion unterschiedliche Defekte an der Metallfeder auftreten.

Optimierung der Qualitätsinspektion mit machine vision

Bosch setzte bereits zuvor auf einen automatisierten Prüfprozess, wollte diesen jedoch weiter optimieren. Ziel war es, die Qualität der Inspektion insgesamt zu verbessern, die neue Lösung kostengünstiger zu gestalten und die Wartungsarbeiten für die Anwendung zu reduzieren. Dabei entschied sich Bosch für die Machine-Vision-Software MERLIC der MVTec Software GmbH aus München. Bei MERLIC handelt es sich um eine einfach zu bedienende Software für die industrielle Bildverarbeitung, die es ermöglicht, auch ohne Programmierkenntnisse die gängigsten Bildverarbeitungsanwendungen zu lösen.

Deep Learning hilft, Defekte zu erkennen

In der Applikation bei Bosch sieht die Bildverarbeitung wie folgt aus: Eine Fünf-Megapixel-Kamera nimmt für jedes Bauteil ein Bild von oben auf. Auf den aufgenommen Bildern mit den Metallfedern erfolgt mit Global Context Anomaly Detection die Inspektion. Diese Deep-Learning-Technologie verfügt über zwei neuronale Netze. Das „lokale“ Netz prüft, ob kleinflächige Defekte wie Kratzer, Risse oder Verschmutzungen vorliegen. Das „globale“ Netz geht einen Schritt weiter und prüft auf logische Fehler wie beispielsweise verbogene oder fehlende Klammern. Aus der Interferenz der beiden Netze ermittelt Global Context Anomaly Detection einen Anomaly Score. Dieser Wert wird anschließend mit dem im Vorfeld festgelegten Anomaly-Schwellenwert verglichen. Liegt der Anomaly Score darüber, handelt es sich um ein fehlerhaftes Bauteil, das ausgesondert wird. Im Frontend von MERLIC kann außerdem nach der Inspektion jede Aufnahme noch einmal angesehen werden. Besonders hilfreich: Anhand einer Heatmap kann transparent nachvollzogen werden, welche Stellen des Bildes ursächlich für die Anomaly-Bestimmung sind.

Bislang wurde der komplette Inspektionsprozess unter Verwendung regelbasierter Methoden der industriellen Bildverarbeitung durchgeführt. Dies hatte jedoch unter anderem den Nachteil, dass alle möglichen Arten von Defekten anhand von „Schlecht-Bildern“ einzeln extrahiert werden mussten. Für das Training der Deep-Learning-Methoden von MERLIC hingegen werden lediglich Bilder von intakten Bauteilen („Gut-Bilder“) benötigt. Da diese sehr leicht zu beschaffen sind, spart dies Zeit und Kosten.

Einbinden von Machine-Vision-Software in kundenspezifisches Maschinensteuerungssystem

Besonders spannend war für Bosch die Frage, wie die Einbindung einer Machine-Vision-Software in einen bereits bestehenden Produktionsprozess möglich ist, da der Produktionsprozess und die darin integrierte Qualitätsinspektion nicht geändert werden sollten. Somit lag das Hauptaugenmerk auf der Integration der industriellen Bildverarbeitungssoftware in die Maschinensteuerung. Die Anbindung der Software musste direkt an die Maschinen erfolgen, da die Anlage über keine Speicherprogrammierbare Steuerung (SPS) verfügt. Für die so notwendige Machine-to-Machine-Kommunikation sorgt das in MERLIC integrierte Protokoll MQTT. Damit ließ sich die Bildverarbeitungssoftware über Standard-IoT-Kommunikationsprotokolle einfach in den Prozess integrieren. Die Entwicklung des Kalibrierungsprogramms des Bildverarbeitungssystems konnte über die easy-to-use Software beschleunigt werden.

Weitere Projekte mit industrieller Bildverarbeitung geplant

„Wir haben den Proof-of-Concept Ende 2022 erfolgreich abgeschlossen. Dabei wurden alle unsere Ziele hinsichtlich Erkennungsraten, Wartungsaufwand der Anlage sowie der Kosten erreicht. Daher erfolgt Mitte des Jahres 2023 die Inbetriebnahme einer neuen Produktionslinie. Anschließen ist der Rollout auf andere bestehende Linien geplant“, erklärt João Paulo Silva, Prüfexperte aus der Abteilung „Center of Competence Optics and Mechanics“ bei Bosch Automotive Electronics in Portugal. Aufgrund des Potenzials plant Bosch für die Zukunft weitere Automotive Electronics Werke mit Hilfe von Deep Learning zu automatisieren.