KI-System deutet Fußgängerverhalten, um Interaktion zwischen Auto und Passanten zu ermöglichen
Autofahren ist mehr als Gas geben, lenken und bremsen: Eine entscheidende Rolle spielt die Verständigung mit anderen Verkehrsteilnehmern. Das autonome Fahrzeug der Zukunft muss deshalb unter anderem mit Fußgängern interagieren. Dazu muss es erkennen, welche Passanten relevant werden könnten, um sodann deren Verhalten zu erfassen und zu deuten. Einen Prototyp eines Systems, das mittels Künstlicher Intelligenz genau das leisten soll, hat am 29.11.2022 das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe vorgestellt.
Welche Passanten für das Auto relevant sind, hängt davon ab, wo sie sich befinden und in welche Richtung sie laufen – Visualisierung eines im Projekt untersuchten Szenarios – Grafik © INITIATIVE
Will der Fußgänger die Straße überqueren oder nicht? Das ist für Manuel Martin eine Schlüsselfrage für seine Forschung. Was ein menschlicher Autofahrer in der Regel intuitiv und ohne nachzudenken wahrnimmt, etwa anhand von Standort, Blickrichtung und Gestik, muss ein autonomes Fahrzeug erst beigebracht bekommen, um auch in einem Wohngebiet oder vor einer Schule sicher eigenständig agieren zu können. Verfahren der Künstlichen Intelligenz (KI) bieten das Potenzial, Videobilder dahingehend zu analysieren – aber müssen erst anhand großer Mengen an Trainingsdaten lernen, die richtigen Schlüsse zu ziehen. Daran arbeitet der Diplom-Informatiker und wissenschaftliche Mitarbeiter des Fraunhofer IOSB im Rahmen des Forschungsprojekts „Intelligente Mensch-Technik-Kommunikation im gemischten Verkehr“, kurz INITIATIVE.
Stereokamera und KI-Algorithmus
„Wir haben mittlerweile einen Forschungs-Prototypen umgesetzt, der abschätzt, ob ein Fußgänger die Straße überqueren möchte, seine Gesten analysiert und somit die Grundlage für die Interaktion schafft“, erklärt Martin. Das System bestehe aus einer Stereokamera, die räumlich „sehen“ und somit die genaue Position von Passanten erfassen könne, und einem KI-Algorithmus, der die Positionen der Gliedmaßen erfasse und daraus Schlüsse ziehe. „Dieses System haben wir bei einer Projektpräsentation anlässlich der Halbzeit von INITIATIVE erfolgreich demonstriert“, so der IOSB-Forscher. „Nun geht es darum, die KI weiter zu trainieren und das System insgesamt zu verfeinern, damit es in allen denkbaren Situationen die Absichten der Fußgänger möglichst zutreffend erkennen kann.“
Das Fraunhofer IOSB vollzieht damit den Brückenschlag zwischen der Beobachtung des Fahrzeuginnen- und des Außenraums, wie der Leiter der Forschungsgruppe „Perceptual User Interfaces“, Dr. Michael Voit, hervorhebt: „Was bisher getrennte Welten waren, bringen wir nun zusammen: Die intelligente Erfassung des Verhaltens von Fahrer und gegebenenfalls Beifahrern durch unser Advanced Occupant Monitoring System – und die Erfassung anderer Verkehrsteilnehmer und ihrer Intentionen im Rahmen von INITIATIVE.“ Damit sei nun auch die Erfassung von Interaktionen zwischen Fahrer und Passanten möglich, was wiederum den Zugang zu neuen Forschungsfragen und Anwendungen eröffnet.
Kommunikationsschnittstellen für die Interaktion des Fahrzeugs entwickeln
Auch im Forschungsprojekt INITIATIVE ist die Erkennung von Fußgänger-Intentionen nur ein Puzzleteil – das große Ziel ist hier, KI-gestützt die adaptive Kommunikation verschiedener Verkehrsteilnehmer zu ermöglichen, um automatisierte Fahrzeuge in gemischte Verkehrsszenarien integrieren zu können. Dazu sollen letztlich umfassende Kommunikationsschnittstellen für die Interaktion des Fahrzeugs sowohl mit sonstigen Verkehrsteilnehmern als auch mit seinen eigenen Insassen entwickelt werden. Beispielsweise soll das Auto einem überquerungswilligen Fußgänger mittels einer unmissverständlichen Leuchtanzeige mitteilen können, dass es anhalten wird oder vorbeifahren möchte. Gestartet im April 2021, wird INITIATIVE vom Bundesministerium für Wirtschaft über drei Jahre mit insgesamt gut 4 Millionen Euro gefördert. Beteiligt an dem Projekt sind außerdem der Lichttechnik- und Elektronik-Zulieferer HELLA GmbH & Co. KGaA (Koordination), das Würzburger Institut für Verkehrswissenschaften (WIVW), die Electric Special Photronicsysteme GmbH, die version 1 GmbH, das Institut für Rechtsinformatik der Universität des Saarlandes sowie das Lichttechnische Institut und das Institut für Regelungs- und Steuerungssysteme des Karlsruher Instituts für Technologie (KIT).
->Quellen: