Klassifikation und Situationsverstehen

Am Institut für Mess-, Regel- und Mikrotechnik werden Methoden des maschinellen Lernens unter anderem für Situationsverstehen, Klassifizierung und Situationsprädiktion verwendet. Hierbei werden aus Beobachtungen der Realität mit Hilfe statistischer Lernverfahren Muster und Gesetzmäßigkeiten gefunden.

Ansprechpartner

Prof. Dr.-Ing. Klaus Dietmayer
Raum: 41.2.222
Telefon: +49 (0)731 50 27000
E-Mail | Homepage

Klassifikation und Situationsverstehen

Für das automatisierte Fahren ist die genaue sensorische Erfassung der Fahrzeugumgebung essentiell. Hierzu werden Kameradaten aber auch Messungen von Lidar- und Radardaten eingesetzt. Machine-Learning Verfahren dominieren inzwischen die Signalverarbeitung, da die Erkennungsleistungen sehr deutlich über den bisher verwendeten deterministischen Ansätzen liegt. Die verwendeten neuronalen Netze unterscheiden sich je nach Daten. Während für Bilder so genannen Convolutional Neural Networks (CNNs) dominieren, haben sich für Lidar und Radardaten PointNets etabliert.  Inzwischen werden aber zahlreiche Derivate hiervon diskutiert und weiter erforscht. Ein für die Klassifikation von Bilddaten geeignetes Verfahren ist das sogenannte Scene Labeling oder Pixelklassifikationsverfahren. Dabei wird ein Bild in Objektklassen (typisch 10-20) eingeteilt, welche dem Verständnis der Szene dienen. Typische Klassen, die unterschieden werden, sind Straße, Fußweg, Fahrbahnmarkierung, Ampeln, Fußgänger, Fahrzeuge, Fahrräder und einige mehr. Das Video rechts zeigt ein Beispiel aus einer Fahrt unseres Versuchsträgers durch Ulm. Jedem Pixel im Eingangsbild wird eine Wahrscheinlichkeit der jeweiligen Klasse mittels einem trainierten CNN zugewiesen, was durch die unterschiedliche klassenspezifische Einfärbung signalisiert ist. Das Netz wurde dazu mithilfe manuell gelabelter Bilder trainiert. Fasst man die Pixel gleicher Klasse jetzt noch zu Objekten zusammen, spricht man von panoptischer Segmentierung.

Scenelabeling auf Kameradaten unseres Versuchsfahrzeugs bei einer Fahrt durch Ulm

Situationsprädiktion

Die Situationsprädiktion zielt auf die Vorhersage einer zukünftigen Szenenentwicklung ab. Da die zukünftige Entwicklung eine Vielzahl von Ausprägungen haben kann, geschieht die Prädiktion probabilistisch. Es wird die Wahrscheinlichkeit einer Fortentwicklung basierend auf einer bekannten Vergangenheit bestimmt.

Ein Beispiel eines am Institut erforschten Verfahrens ist das Variational Bayesian Bernoulli Gaussian Mixture Model (VBBGMM). Dieses ist in der Lage, mit Hilfe von Trainingsdaten die Klassifikationsvorschrift selbständig zu erlernen. Das dadurch beschriebene Wahrscheinlichkeitsmodell erlaubt die Integration von A-priori-Wissen. Hierdurch lässt sich das Modell zu einem späteren Zeitpunkt durch die Integration weiterer Trainingsdaten adaptieren und zwar ohne eine konsistente Speicherung der vorhergehenden Daten.

Relationale Darstellung der Variablen eines Variational Bayesian Bernoulli Gaussian Mixture Models