Profil schärfen mit Deep Learning im laufenden Straßenverkehr
Sicherheit & Überwachung | Deep Learning | InspektionDie West Nippon Expressway Engineering Shikoku Company Limited sorgt in Japans Winter für sicheren Straßenverkehr: Mit der Bildverarbeitungssoftware HALCON der MVTec Software GmbH automatisiert das Unternehmen die Inspektion von Reifen im laufenden Straßenverkehr. Deep-Learning-Technologien übernehmen die Klassifizierung in Sommer- und Winterreifen.
Hoher manueller Aufwand bei der Reifeninspektion
Die West Nippon Expressway Engineering Shikoku Company Limited (NEXCO) hat sich auf den Bau und den Betrieb von Schnellstraßen und Autobahnen in der Region Shikoku in Japan spezialisiert. Um auch in den Wintermonaten und insbesondere in Bergregionen ein Höchstmaß an Sicherheit zu garantieren, müssen die Fahrzeuge der Verkehrsteilnehmer kontinuierlich auf ihre Verkehrstauglichkeit überprüft werden. Dazu zählt auch die regelmäßige Inspektion der Bereifung. NEXCO führt diese im laufenden Verkehr am Rande von Autobahnen und Bergstraßen durch. Dabei wird geprüft, ob die Autos bei Schneefall oder Eisglätte über Winterreifen mit einer ausreichenden Profiltiefe verfügen. Bisher übernahmen Mitarbeiter diese Aufgabe und kontrollierten jeden einzelnen Reifen manuell, was einen enormen Aufwand nach sich zog.
Automatisierung des Prozesses mit Machine Vision
Um die Zahl der Mitarbeiter zu reduzieren, Wartezeiten zu verkürzen und die Gesamteffizienz des Prozesses zu erhöhen, sollte die Reifenprüfung mit Hilfe von industrieller Bildverarbeitung (Machine Vision) automatisiert werden. Zur Umsetzung der hohen Anforderungen bei der automatisierten Reifenkontrolle arbeiten die Experten bei NEXCO mit einem technischen Setup, an dem die zu prüfenden Fahrzeuge mit einer Geschwindigkeit von etwa 30 km/h vorbeifahren. Der Aufbau besteht aus hochauflösenden Kameras, LED-Beleuchtungssystemen, Tablet-PCs sowie Monitoren zur Visualisierung der Prüfergebnisse. Die in das System integrierte Bildverarbeitungssoftware MVTec HALCON sorgt für die präzise Identifikation des jeweiligen Reifentyps. Bei HALCON handelt es sich um die umfassende Standardsoftware für die industrielle Bildverarbeitung, welche von der MVTec Software GmbH aus Deutschland entwickelt wird.
Falsche Klassifizierungen vermeiden
Der Systemaufbau muss jedoch einigen Herausforderungen genügen: So gibt es je nach Fahrzeugart viele verschiedene Reifentypen, die erkannt und geprüft werden müssen. Darüber hinaus sind die Licht- und Sichtverhältnisse in der winterlichen Umgebung starken Schwankungen unterworfen. Die Entwicklung eines regelbasierten Algorithmus, der mit diesen anspruchsvollen Bedingungen zurechtkommt, erwies sich als äußerst schwierig. Eine weitere Herausforderung: Um die Genauigkeit bei der Erkennung zu verbessern, müssen fehlerhafte Klassifizierungen vermieden werden. Das bedeutet, Sommerreifen dürfen nicht als Winterreifen eingestuft werden. In Testreihen, die auf logistischer Regression basieren, wurde eine hohe Quote an herkömmlichen Reifen fälschlicherweise als Winterreifen identifiziert. Um robustere Erkennungsresultate bei der Reifeninspektion zu erzielen und falsche Klassifizierungen auf ein Minimum zu reduzieren, setzt NEXCO auf die Machine-Vision-Standardsoftware MVTec HALCON. Die darin integrierten Deep-Learning-Algorithmen wurden mit etwa 13.000 Reifenbildern trainiert, was die Präzision bei der Unterscheidung der Reifentypen signifikant verbessert hat. So ließ sich die Rate der normalen Reifen, die fälschlicherweise als Winterreifen erkannt wurden (falsch positive Ergebnisse), auf null reduzieren.
Robuste Erkennungsergebnisse dank Deep Learning
Das System auf Basis von MVTec HALCON wurde im Winter 2019 in den Regionen Fukuchiyama, Oita und Chiyoda eingeführt und hat im praktischen Einsatz zu sehr robusten Erkennungsergebnissen geführt. So wurden keinerlei Sommer- als Winterreifen klassifiziert, was die Verkehrssicherheit auf ein neues Niveau hebt. Zudem unterliegen Reifen, die als nicht wintertauglich eingestuft werden, laut den gesetzlichen Vorschriften in Japan einer manuellen Sichtprüfung. Dank der Leistungsfähigkeit der in HALCON integrierten Deep-Learning-Technologien konnte die Zahl der Fahrzeuge, die einer Sichtprüfung unterzogen werden müssen, auf ein Drittel reduziert werden. Dies spart in hohem Maße Zeit und Kosten ein. Darüber hinaus ließen sich durch die Automatisierung des Inspektionsprozesses lange Staus und Wartezeiten der Autofahrer reduzieren, was den Straßenverkehr im Ergebnis deutlich entlastet. Wegen der hervorragenden Resultate und zahlreichen Vorteile wurde das System im Winter 2020 an weiteren 18 Standorten in Betrieb genommen.
Machine Vision im Straßenverkehr
Aufgrund der positiven Erfahrungen und der hohen Zufriedenheit plant NEXCO bereits weitere Einsatzmöglichkeiten von MVTec HALCON. So sollen mithilfe der Bildverarbeitungssoftware in Zukunft auch Anwendungen für die Bewertung der Integrität von Straßenstrukturen entwickelt werden. „MVTec HALCON adressiert optimal unsere Anforderungen an eine Bildverarbeitungslösung. Die Software verfügt über eine Vielzahl an durchdachten Machine-Vision-Werkzeugen und leistungsfähigen Operatoren. Obendrein ist sie sehr einfach zu bedienen – unsere Anwender benötigen hierfür keine speziellen Vorkenntnisse“, bestätigt Shogo Hayashi, Mitglied der Engineering Division bei NEXCO.