Die maschinelle Wahrnehmung der Fahrumgebung ist ein Querschnittsthema der ingenieurwissenschaftlichen Institute im F3. Sie erfolgt durch verschiedene am Fahrzeug verbaute Sensoren wie Kameras (Stereo- oder Mono-Kameras), Radarsensoren, Ultraschallsensoren oder auch Lidarsensoren. Alle diese Sensoren besitzen spezifische Vor- und Nachteile hinsichtlich ihrer Messeigenschaften und werden daher kombiniert. Man spricht von einer Informationsfusion. Ziel der Umgebungserfassung ist ein dynamisches Fahrzeug-Umfeld-Modell, welches andere Verkehrsteilnehmer und deren Zustand repräsentiert und zur weiteren Verarbeitung zur Verfügung gestellt wird. Ferner sollten relevante Infrastruktureinrichtungen wie Verkehrsschilder und Lichtsignalanlagen, aber auch strukturierende Elemente wie Verkehrsinseln, Bordsteine sowie Fahrbahnmarkierungen oder Fußgängerüberwege enthalten sein. Die sich daraus ergebenden Forschungsthemen umfassen unter anderem die Sensordatenverarbeitung zur Detektion und Klassifikation von Objekten, insbesondere unter Nutzung von maschinellen Lernverfahren, sowie neuartige Tracking- und Fusionsverfahren für eine genauere Erfassung der Umgebung in komplexen städtischen Szenarien.

Aufbauend auf Umfeldmodellen aus der Umgebungserfassung im Fahrzeug und in intelligenter Infrastruktur werden im F3 neue Algorithmen zur Realisierung von automatischen Fahrfunktionen entwickelt. Diese beinhalten Methoden für die Situationserkennung aus den Beziehungen aller Einzelkomponenten des Umfeldmodells, für die Berechnung eines maschinellen Szenenverständnisses aus deren Abhängigkeiten sowie für die Situationsprädiktion. Darauf aufbauend werden Algorithmen für eine übergeordnete Handlungsplanung zur Vorgabe des Fahrzeugverhaltens und Strategien für die Trajektorienplanung unter Berücksichtigung von Komfort und Sicherheit untersucht. Auch in diesem Forschungsbereich kommen neben klassischen Methoden verstärkt maschinelle Lernverfahren zum Einsatz. Durch das Zusammenwirken dieser Module wird die Fähigkeit erreicht, auf Aktionen und Reaktionen anderer Verkehrsteilnehmer zu reagieren. Im Rahmen des F3 stehen automatisierte Versuchsfahrzeuge mit Zulassung für den öffentlichen Verkehr zur Verfügung, mit denen wir unsere erforschten Methoden erproben.

Dieser Forschungsbereich beschäftigt sich unter anderem mit der Frage, wie durch die Vernetzung von Fahrzeugen untereinander und mit der Verkehrsinfrastruktur der Verkehr effizienter, sicherer und unsere Mobilität umweltfreundlicher gemacht werden kann. Ein Beispiel ist Bereitstellung von Informationen über andere Verkehrsteilnehmer an unübersichtlichen Stellen oder das kooperative Verhalten an Kreuzungen zur Verbesserung des Verkehrsflusses. Neben der Entwicklung der eigentlichen Funktionen ergeben sich dabei auch eine Vielzahl von Fragestellungen zu Skalierbarkeit, Zuverlässigkeit, Vertrauenswürdigkeit und Servicequalität der Kommunikationsprotokolle, aber auch zu neuen Anforderungen an die Benutzerinteraktion die im F3 ebenfalls bearbeitet werden.

Moderne Fahrzeuge besitzen eine Vielzahl von Kommunikationsschnittstellen, die als Einfallstor für böswillige Hacker dienen. Hier tragen wir seit vielen Jahren mit unserer Forschung dazu bei, unsere Fahrzeuge und die elektronische Straßeninfrastruktur besser gegen Angriffe abzusichern, was angesichts immer ausgefeilterer Angriffstechniken kontinuierliche Forschung und Innovation benötigt. Weiterhin erfasst und verarbeitet das intelligente Fahrzeug zunehmend mehr Daten. Dies bestärkt Befürchtungen, die Datensammlung könnte am Ende zum gläsernen Autofahrer führen. Innovative Ansätze mit datenschutzfreundlichen Technologien können dem entgegentreten, ohne dabei die gewünschte Funktionalität wesentlich einzuschränken.

Immer mehr Fahrfunktionen hängen vom korrekten Funktionieren der Fahrzeugelektronik und -software und dem Austausch korrekter Daten ab. Gerade für Daten aus externen Quellen muss zwingend sichergestellt werden, dass diese inhaltlich plausibel, konsistent und vertrauenswürdig sind, um eigene Fahrentscheidungen darauf stützen zu können, wofür entsprechende Bewertungsmechanismen entwickelt werden müssen. Im F3 werden diese und weitere Fragestellungen erforscht, um intelligente Fahrzeuge und Verkehrssysteme sicherer, datenschutzfreundlicher und vertrauenswürdiger zu gestalten.

Im Bereich Fahrer-Fahrzeug-Schnittstellen wird die Interaktion von Menschen mit intelligenten und automatisierten Fahrzeugen untersucht. Im Mittelpunkt steht, wie Fahrer trotz potenzieller Ablenkungen ihre Aufmerksamkeit steuern, ein verlässliches Situationsbewusstsein aufrechterhalten und durch Fahrzeugautomationen gezielt unterstützt werden können. Dabei rückt zunehmend das Verständnis von Fahrer und Fahrzeug als ein Team, das gemeinsam Verantwortung trägt, in den Fokus. Eine wichtige Rolle spielt dabei die Gestaltung von Übergaben, also Situationen, in denen die Verantwortung zwischen Mensch und System wechselt. Schnittstellen sollen so gestaltet sein, dass Übergaben effizient ablaufen oder durch kooperative Ansätze teilweise vermieden werden können. Unterschiedliche Kommunikationsformen können dazu beitragen, Vertrauen zu stärken, mentale Belastungen zu reduzieren und Aufgaben zu unterstützen. Entscheidend ist, dass die Mensch-Maschine-Interaktion transparent und zuverlässig gestaltet wird. Um dies sicherzustellen, werden Konzepte in Simulationen und Studien getestet und anhand objektiver Kriterien bewertet.

Im Forschungsfeld Mensch-Umwelt-Fahrzeug-Interaktion geht es um das Zusammenspiel automatisierter Fahrzeuge mit ihrer sozialen und physischen Umgebung. Besonders im Fokus steht die Kommunikation mit Fußgängern, Radfahrern und anderen Verkehrsteilnehmenden, die für Sicherheit und Akzeptanz entscheidend ist. Verkehrsteilnehmer müssen sich darauf verlassen können, dass Fahrzeuge auch in riskanten Situationen, etwa mit Kindern oder sehbehinderten Personen, zuverlässig reagieren. Dieses Vertrauen beeinflusst zugleich, ob Fahrende bereit sind, eine Übernahme einzuleiten oder der Automation zu vertrauen. Die Einschätzung der Kritikalität hängt zudem stark vom Verhalten anderer ab, beispielsweise ob Fußgänger abgelenkt oder aufmerksam sind. Eine besondere Herausforderung in der Mensch-Umwelt-Fahrzeug-Interaktion stellen mehrdeutige Situationen dar. Automatisierte Fahrzeuge müssen ihre Absichten klar und transparent mitteilen, damit Menschen ihr Verhalten im Straßenraum anpassen können, ohne Unsicherheit oder Verzögerungen zu erleben.