04/2021: DTLD v2.0 ist online!

Korrigierte Datensatzannotationen sind online verfügbar. Das bisherige .yml Format wurde durch .json ersetzt!

DriveU Traffic Light Dataset (DTLD)

Kamerabild mit Annotationen überlagert mit dem Disparitätsbild.

Datensatzbeispiel mit der höchsten Anzahl an Annotationen pro Bild.

All 11 recording cities and label illustrations

Herzlich Willkommen!

Herzlich Willkommen auf der Homepage des DriveU Traffic Light Datasets (DTLD). Wir präsentieren einen handannotierten Datensatz, welcher an Forscher im Bereich der Erkennung von Lichtsignalanlagen adressiert ist. Die Hauptbeiträge des Datensatzes zum Stand der Technik sind:

Quantität: Der Datensatz übertrifft bisherige Stichproben zur Lichtsignalerkennung in der Anzahl an gelabelten Objekten (11/2018).

Qualität: Dank eines eigenen Annotationstools werden sehr exakt und konsistent annotierte Objekte veröffentlicht. Darüber hinaus sind alle Objekte mit weiteren Attributen wie Orientierung, Piktogramm- und Relevanzinformation versehen. Des Weiteren gibt es Trackidentitätsnummern, welche eindeutige Lichtsignalinstanzen gruppieren.

Weitere Sensordaten: Zusätzlich zu Kamerabildern werden Disparitätsdaten, Kalibrierung sowie weitere Fahrzeugdaten wie GPS, Geschwindigkeit und Gierrate veröffentlicht.

Einblick in den Datensatz

Übersicht zum Datensatz

DTLD enthält mehr als 230 000 annotierte Lichtsignalanlagen in Kamerabildern mit 2 Megapixeln Auflösung. Der Datensatz wurde in 11 deutschen Städten mit einer Bildfrequenz von 15 Hz aufgenommen. Durch eine Vielzahl an annotierten Lichtsignalattributen wie Orientierung, Relevanz, Zustand oder Piktogramm existieren insgesamt 344 unterschiedliche Labelklassen. Zusätzlich zu den Kamerabildern werden Disparitätsbilder veröffentlicht, durch welche eine tiefenbasierte Detektion und tiefenabhängige Auswertungen möglich sind.

Annotation an der Auflösungsgrenze

Das verwendete Annotationstool ermöglicht eine Annotation von Objekten der Breite 5 Pixel oder weniger. Aus diesem Grund besteht DTLD aus einer sehr hohen Anzahl an sehr kleinen Objekten (siehe Abbildung 2). Daher ist der Datensatz auch für Forschungen im Bereich der Objekterkennung bei sehr geringen Auflösungen gut geeignet.

Hohe Varianz des Lichtsignalseitenverhältnisses

Im Datensatz gbt es eine Vielzahl an annotierten Lichtsignalanlagen mit einer, zwei (z.B. Fußgängerpiktogramm), drei oder vier (Bus/Tram) aktiven Lichtelementen. Dadurch ist die Seitenverhältnisvarianz wesentlich höher als in bisherigen Stichproben, welche sich meist auf Lichtsignalanlagen mit 3 aktiven Lichtelementen fokussiert haben.

Hohe örtliche Varianz

Eine bedeutende Eigenschaft von DTLD ist die hohe örtliche Varianz (siehe Bild 4). Örtliche Varianz beschreibt die örtliche Verteilung (Position) der Annotationen im Kamerabild. Dies konnte durch Herausfiltern von statischen Szenen erreicht werden. Es wurden nur statische Szenen hinzugefügt, in denen sich der Zustand von mindestens einer Ampel geändert hat.

Labels

Es werden Annotationen in Form von Bounding Box Koordinaten (linke obere Ecke, Breite, Höhe) aber auch weitere Attribute veröffentlicht, wie:

Perspektivische Orientierung
Relevanz
Orientierung
Anzahl an Lichteinheiten
Zustand
Piktogramm

Diese Attribute werden durch eine sechsstellige Klassenidentitätsnummer zusammengefasst (Anmerkung 04/21: nur DTLD v1.0!). Ab 04/21, DTLD v2.0, wird die Klassenidentitätsnummer durch ein Attribut-Dictionary ersetzt. Zusätzlich zu den bislang annotierten Attributen wird Reflektion beigefügt. Dies gibt an, ob das Lichtsignal lediglich eine Reflektion, z. B. in Schaufenstern, ist Darüber hinaus besitzt jedes Label eine Trackidentitätsnummer (nützlich für die Auswertung von Trackingverfahren). Für jedes Bild exisiert ein Zeitstempel und einige Fahrzeugdaten (GPS Position, Geschwindigkeit, Gierrate).

Klassenidentitätsnummer

Digit I: Perspektivische Orientierung

Beschreibt die Orientierung einer Lichtsignalanlage im Bezug auf das Ego-Fahrzeug. Es gibt vier verschiedene Klassen:

Front: Lichtsignalanlage ist gültig für das Ego-Fahrzeug. Zustand und Piktogramm sind meist gut erkennbar.
Back: Lichtsignalanlage ist gültig für den entgegenkommenden Verkehr und meist komplett um 180° gedreht.
Left: Lichtsignalanlage ist um ca 90 ° nach links gedreht. Gilt meist für Fußgänger.
Right: Lichtsignalanlage ist um ca 90 ° nach rechts gedreht. Gilt meist für Fußgänger.

Digit II: Relevanz/Verdeckung

Relevant: Eine Lichtsignalanlage ist relevant wenn es für die geplante Route des Ego-Fahrzeugs gültig ist.
Occlusion: Fasst verdeckte und abgeschnittene (Bildrand) Lichtsignalanlagen zuammen.

Digit III: Orientierung

Horizontal: Horizontal orientierte Lichtsignalanlagen, häufig in Asien.
Vertical: Vertikal orientierte Lichtsignalanlagen.

Digit IV: Anzahl an Leuchteinheiten

Selbsterklärend.

Digit V: Zustand

Selbsterklärend.

Digit VI: Piktogramm

Beschreibt die Maske des aktiven Lichts (kreisförmig, pfeilförmig, Fußgänger, Fahrrad ...).

Trackidentitätsnummer

Jede Instanz einer Lichtsignalanlage erhält eine Trackidentitätsnummer während einer Sequenz. Eine Sequenz besteht aus allen Bildern einer Kreuzungsanfahrt bis zum Passieren der Haltelinie.

Fahrzeugdaten

DTLD stellt zeitliche Informationen in Form eines Zeitstempels sowie örtliche Informationen in Form von GPS zur Verfügung. Geschwindigkeit und Gierrate sind jedem Bild beigefügt.