KIsSME – mit künstlicher Intelligenz kritische Verkehrssituationen erkennen
Bosch Research entwickelte im Verbundprojekt KIsSME einen Software-Protoptypen für Testfahrten mit hochautomatisierten Fahrzeugen. Mithilfe von künstlicher Intelligenz werden dabei kritische Verkehrssituationen von unkritischen unterschieden, erkannt, abgespeichert und analysiert. Durch dieses Verfahren erhöht sich die Informationsdichte für das Entwickeln und Erproben automatisierter Fahrfunktionen, und das notwendige Datenvolumen wird signifikant reduziert.
Abbremsen, Gas geben, Schulterblick – scheinbar ohne zu Grübeln lenken geübte Fahrerinnen und Fahrer ihren mobilen Untersatz routiniert durch den Verkehr. Die Erfahrung hilft auch in ungewohnten oder kritischen Situationen, die richtige und sichere Entscheidung zu treffen. Abruptes Abbremsen des vorausfahrenden Fahrzeugs, das Überholen eines Lkw auf der Autobahn oder die Ampel, die plötzlich gelb wird: Das menschliche Gehirn verarbeitet die Situation in Sekundenbruchteilen, bewertet sie und veranlasst Hände und Füße zu angemessenen Manövern.
Schon jetzt unterstützen Assistenzsysteme den Menschen in derartigen Situationen und machen das Fahren sicherer, effizienter und komfortabler. Beim teil- und vollautomatisierten Fahren der Zukunft soll dies in noch größerem Maße geschehen. In fernen Zeiten wird das Fahrzeug Menschen und Waren ganz autark von A nach B bringen und in Echtzeit verlässliche und sichere Entscheidungen treffen. Doch so weit ist es noch nicht. Auf dem Weg zu diesem Ziel sind viele Systeme und Lösungen zu entwickeln und zu erproben.
Bei Testfahrten zur Umgebungserfassung nehmen Sensoren statt Menschen alle im Verkehr anfallenden Informationen auf. Im Visier haben sie die Umgebung und ebenso den Zustand des automatisierten Fahrzeugs. Es fallen riesige Datenmengen von mehreren Gigabyte pro Sekunde an, und das ungefiltert. Diese Informationen zu verarbeiten, zu speichern und zu analysieren ist immens kostenintensiv, zeitaufwendig und mit herkömmlichen Verfahren kaum bis gar nicht zu bewältigen. Außerdem ist dies für Testfahrten häufig auch wenig effizient, denn jede Testfahrt erfolgt unter einer bestimmten Prämisse: So kann das automatisierte System beispielsweise an einer Kreuzung, im fließenden Verkehr oder in Koordination mit anderen Fahrzeugen erprobt werden. Jede Situation erfordert einen anderen Schwerpunkt der Umgebungserfassung.
Effizientes Filtern durch KI
Wenn die Daten, die Sensoren bei Testfahrten aufnehmen, gezielt auf die spezifische Situation hin gefiltert werden könnten, trüge dies zur Effizienz von Testfahrten sowie zu einer schnelleren Entwicklung von automatisierten Fahrzeugsystemen bei. Ein Team von Bosch Research um Dr. Daniel Schmidt, Forschungsingenieur im Bereich der Bewertung von automatisierten Fahrfunktionen sowie Bosch-seitiger KIsSME-Koordinator, hat dies geschafft. Es entwickelte im vom Bundeswirtschaftsministerium geförderten Verbundprojekt „KIsSME“ einen Software-Prototypen für den Einsatz bei Testfahrten mit automatisierten Fahrzeugen. Das Akronym steht für: „Künstliche Intelligenz zur selektiven echtzeitnahen Aufnahme von Szenarien- und Manöverdaten bei der Erprobung von hochautomatisierten Fahrzeugen“. Was kann der Prototyp? „Basierend auf künstlicher Intelligenz identifiziert die Software kritische Verkehrssituationen nach im Vorfeld der Testfahrt bestimmten Parametern“, sagt Daniel Schmidt.
Nur die für den Testfall relevanten Daten werden gespeichert. Mit diesen Daten sollen unter anderem Manöver-Algorithmen trainiert werden, damit automatisierte Fahrzeuge noch besser auf komplexe Verkehrssituationen reagieren können. Der Einsatz von künstlicher Intelligenz (KI) war zentral für das gesamte Projekt. „Wir haben einen Mix von KI-Methoden eingesetzt, von Machine Learning bis hin zum Variational Autoencoder“, sagt Daniel Schmidt. Die KI-Methoden reichen damit von einfachen und wohlbekannten Methoden bis hin zu komplexen neuralen Netzen, die bspw. im Fall des Variational Autoencoder verschiedene Informationen gleichzeitig verarbeiten und auf die wesentlichen Elemente reduzieren, um damit die eigentliche Fragestellung zu beantworten. Die Zusammensetzung dieser Maßnahmen unterstützt den Prozess der Datenerhebung in vielerlei Hinsicht. Die KI kam an vielen Stellen ins Spiel: von der Bilderkennung der Fahrzeugkamera über die Einschätzung bedenklicher Fahrmanöver anderer Verkehrsteilnehmer bis hin zur zuverlässigen Vorhersage künftiger Fahrmanöver der anderen Verkehrsteilnehmer.
Ein fundamentaler Aspekt der KIsSME-Software ist, dass sie modular einsetzbar ist. Das bedeutet: Je nachdem, welches automatisierte System im Fahrzeug getestet werden soll, werden nur die relevanten Daten gesammelt und zur Auswertung gespeichert. „Ob ein System die Funktion haben soll, in Kreisverkehren so sicher und komfortabel zu fahren, dass das Gefährt nicht aus der Kurve fliegt und es die Insassen stets bequem haben, oder ob ein Fahrzeug einen Lkw auf der Autobahn schnell und trotzdem sicher überholen soll, sind zwei komplett verschiedene Ansätze“, erklärt Daniel Schmidt. Die bei Testfahrten eingesetzten Kamera-, Ultraschall-, LIDAR- und Radarsensoren aggregieren jedoch alle fortlaufend Daten.
Mit der KIsSME-Software kann a priori festgelegt werden, welcher Testfall erprobt werden soll, also welche Sensordaten explizit gesammelt werden sollen. Die Software ist dabei wie eine Folie, die um eine Lampe gespannt wird: ausgestanzt an den Stellen, durch die das Licht fallen soll, um ein Muster zu ergeben, das an die Wand oder Zimmerdecke projiziert wird. Durch die definierten Parameter zur Kreisverkehrssituation oder dem Überholmanöver auf der Autobahn lässt die Software nur die jeweils entscheidenden Informationen zum digitalen Speicherort durch. Dadurch entsteht der relevante Datensatz, mit dem die Systeme für das automatisierte Fahren gezielt weiterentwickelt und verbessert werden können. Das spart Zeit und Kosten, doch auch ein ökologischer Aspekt kommt zum Tragen, denn: Je weniger Daten gesammelt und gespeichert werden, desto geringer ist auch die davon beanspruchte Serverleistung, und damit der Verbrauch von Energie.
Gemeinsam stark
Um Funktionen von hochautomatisierten Fahrzeugen abzusichern, sind bisher manöverbasierte Tests und statistische Nachweise nötig, die auf enormen Mengen von Echtzeitdaten gründen. Mit der im KIsSME-Projekt entwickelten Software können die notwendigen Datenmengen reduziert und schon während der Probefahrten lediglich die signifikanten und für kritische Fahrsituationen relevanten Sensordaten erfasst werden. Bosch Research vereinte im KIsSME-Projekt seine Stärken in der Forschung zum automatisierten Fahren und KI mit den Kompetenzen unterschiedlicher Partner: den Unternehmen RA Consulting GmbH, Mindmotiv GmbH und LiangDao GmbH sowie den Wissenschaftspartnern des Fraunhofer Instituts für Kurzzeitdynamik (EMI), des Forschungszentrums Informatik (FZI) und des Karlsruher Instituts für Technologie (KIT). Leiter des Konsortiums war die AVL Deutschland GmbH. Noch ist die KIsSME-Software ein Prototyp, sie wird aber schon bei Testfahrten eingesetzt. Das Projektteam von Bosch Research legt damit die Grundlagen dafür, dass die Bosch-Geschäftsbereiche sichere Assistenzsysteme und Lösungen für automatisierte Fahrzeuge effizient und nachhaltig weiterentwickeln können.
Daniel Schmidt
Daniel Schmidt hat Physik in Stuttgart studiert. In seiner Promotion in Theoretischer Physik an der Friedrich-Alexander-Universität Erlangen-Nürnberg beschäftigte er sich mit stochastischen Simulationen von biologischen Systemen. Seit 2017 nutzt er in der Unfallforschung bei Bosch Research als Forschungsingenieur sein Wissen über stochastische Simulationen, um den Verkehr der Zukunft mit hochautomatisierten und autonomen Fahrzeugen und die damit einhergehenden Veränderungen der Verkehrssicherheit zu untersuchen. In mehreren europäischen und nationalen Forschungsprojekten entwickelte er mit internen und externen Partnern Methoden zur Bewertung von komplexen Verkehrssituationen, so auch im Projekt KIsSME. Darüber hinaus koordinierte er in diesem Projekt von Mitte 2021 bis Ende 2023 die Bosch-seitigen Arbeiten. Vor allem die Frage, wann normaler Verkehr kritisch wird und wie diese Kritikalität gemessen werden kann, zieht sich wie ein roter Faden durch seine Arbeit bei Bosch Research.