driveU

Gated2Depth Seeing Through Fog Pixel Accurate Depth Benchmark Image Enhancement Benchmark Community Contributions

Herzlich Willkommen auf der Homepage der DENSE Datensätze

Das EU-Projekt DENSE hat zum Ziel eines der herausforderndsten Probleme des automatisierten Fahrens zu lösen: die Umgebung unter allen Wetterbedingungen zu erfassen. Schlechtes Wetter - wie z.B. Schnee, starker Regen oder Nebel - stellt eine der letzten noch verbleibenden technischen Herausforderungen dar, die die Markteinführung des selbstfahrenden Autos derzeit noch verhindern. Diese Herausforderung kann nur durch eine neue Technologie zur Umgebungserfassung gelöst werden, die zu jeder Zeit und unter jeder Wetterbedingung zuverlässig arbeit.

Diese Homepage präsentiert eine Vielzahl von Projekten und Datensätzen, die während des Projekts entwickelt wurden.

  • Gated2Depth: Bildgebende Methode, die aus drei Bildern einer Gated-Kamera eine hochauflösende Tiefenkarte erzeugt. Die Tiefengenauigkeit ist dabei mit Lidar-Messungen vergleichbar.  
  • Seeing Through Fog: Demnächst verfügbar...
  • Pixel Accurate Depth Benchmark: Ein Benchmark für Methoden zur 3D-Umgebungserfassung unter verschiedenen Wetterbedingungen mit hochauflösender Tiefe.
  • Image Enhancement Benchmark: Ein Benchmark für Bildverbesserungsmethoden.

Information

Klicken Sie hier zur Registrierung und zum Download der Daten

Gated2Depth

Wir stellen ein bildgebendes Framework vor, das drei Bilder einer kostengünstigen CMOS-Gated-Kamera in hochauflösende Tiefenkarten umwandelt, deren Tiefengenauigkeit mit gepulsten Lidar-Messungen vergleichbar ist. Die wichtigsten Beiträge dieser Arbeit sind:

  • Ein lernbasierten Ansatz zur Schätzung von hochauflösender Tiefe aus Bildern einer Gated Kamera, ohne dass dichte Tiefeninformation beim Training benötigt wird.
  • Validierung der vorgeschlagene Methode in der Simulation und an realen Messungen, die mit einem Prototypensystem in anspruchsvollen und realen Straßenszenarien aufgezeichnet wurden. Wir zeigen, dass die Methode eine dichte Tiefeninformation von bis zu 80m extrahieren kann und die Tiefengenauigkeit dabei mit einem scannenden Lidar vergleichbar ist.
  • Datensatz: Wir stellen den ersten großen Datensatz mit Bildern einer Gated Kamera zur Verfügung, der bei Testfahrten (über 4.000km) in Nordeuropa aufgezeichnet wurde.

Nutzung der Daten

Tools zur Nutzung des Datensatzes stehen in Python zur Verfügung. Zusätzlich ist das Modell in Tensorflow verfügbar.

Github Repository

Klicken Sie hier!

Zitat

Wenn Sie unsere Arbeit zur Tiefenschätzung mit Gated Bildern interessant finden, zitieren Sie bitte unsere Publikation:

@inproceedings{gated2depth2019,
  title     = {Gated2Depth: Real-Time Dense Lidar From Gated Images},
  author    = {Gruber, Tobias and Julca-Aguilar, Frank and Bijelic, Mario and Heide, Felix},
  booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
  year      = {2019}
}

Seeing Through Fog

Demnächst verfügbar...

Pixel Accurate Depth Benchmark

Wir führen eine Bewertungsmethodik für die 3D-Umgebungserfassung ein, die auf hochauflösenden Tiefenmessungen mit einer Winkelauflösung von bis zu 25" (Winkelsekunden) basiert. Diese Auflösung ist mit einer 50-Megapixel-Kamera vergleichbar. Die wichtigsten Beiträge dieses Benchmarks sind:

  • Hochauflösende Ground Truth Tiefe: hochpräzise 3D-Messungen mit einer Winkelauflösung von 25" - das ist eine Größenordnung höher als bei vorhandenen Lidar-Datensätzen mit einer Winkelauflösung von 300".
  • Detaillierte Auswertungen unter definierten Bedingungen: 1.600 Bilder von vier typischen Straßenszenen, die bei definierten Wetter-(Klar, Regen, Nebel) und Beleuchtungsbedingungen (Tag, Nacht) aufgenommen wurden.
  • Multimodale Sensoren: Zusätzlich zu monokularen Kamerabildern bieten wir einen kalibrierten Sensoraufbau mit einer Stereokamera und einem Lidar-Scanner.

Nutzung der Daten

Tools zur Auswertung und Visualisierung des Datensatzes (Python) stehen in unserem github-Repository zur Verfügung.

Github Repository

Klicken Sie hier!

Übersicht

Wir stellen vier typische Outdoor-Straßenszenarien angelehnt an den KITTI-Datensatz nach. Im Einzelnen wurden dabei die folgenden vier realistischen Szenarien aufgebaut: Fußgängerzone, Wohngebiet, Baustelle und Autobahn. Insgesamt besteht dieser Benchmark aus jeweils 10 zufällig ausgewählten Stichproben jedes Szenarios (Tag/Nacht) bei klarem Wetter, leichtem Regen, starkem Regen und 17 Sichtbarkeitsstufen bei Nebel (20-100m in 5m-Schritten), was insgesamt 1.600 Stichproben ergibt.

Sensoraufbau

Um realistische Sensordaten eines Fahrzeuges zu erhalten, die als Grundlage für die in dieser Arbeit bewerteten Methoden zur 3D-Rekonstruktion dienen, wurde ein Forschungsfahrzeug mit einer RGB-Stereokamera (Aptina AR0230, 1920x1024, 12bit) und einem Lidar (Velodyne HDL64-S3, 905 nm) ausgestattet. Alle Sensoren arbeiten in einer ROS-Umgebung und werden durch ein PPS-Signal (Pulse per Second), das von einer proprietären Inertialmesseinheit (IMU) bereitgestellt wird, zeitsynchronisiert.

Video

Zitat

Wenn Sie unsere Arbeit zur Bewertungsmethodik von Tiefenschätzungsmethoden interessant finden, zitieren Sie bitte unsere Publikation:

@inproceedings{PixelAccurateDepthBenchmark2019,
  title     = {Pixel-Accurate Depth Evaluation in Realistic Driving Scenarios},
  author    = {Gruber, Tobias and Bijelic, Mario and Heide, Felix and Ritter, Werner and Dietmayer, Klaus},
  booktitle = {International Conference on 3D Vision (3DV)},
  year      = {2019}
}

Image Enhancement Benchmark

Aufgrund des schlecht gestellten Problems der Datenerfassung innerhalb von Schlechtwetterszenarien, insbesondere Nebel, basieren die meisten Ansätze im Bereich der Bildentnebelung auf synthetischen Datensätzen und Standardmetriken, die meist aus allgemeinen Ansätzen (Denoising oder Deblurring) stammen. Um die Leistung eines solchen Systems bewerten zu können, sind echte Daten und eine angemessene Metrik erforderlich. Wir stellen einen neuartigen kalibrierten Benchmark-Datensatz vor, der unter realen und definierten Wetterbedingungen aufgezeichnet wurde. Deshalb wurden bewegliche kalibrierte Targets in unterschiedlichen Entfernungen bei anspruchsvoller Beleuchtung und in kontrollierten Wetterbedingungen aufgezeichnet. Dies ermöglicht eine direkte Berechnung des Kontrasts zwischen den jeweiligen Targets und eine leicht interpretierbare Verbesserung des Ergebnisses in Bezug auf den sichtbaren Kontrast.

Zusammengefasst sind die wichtigsten Beiträge:

  • Wir stellen einen neuartigen Benchmark-Datensatz zur Verfügung, der unter definierten und einstellbaren realen Wetterbedingungen aufgenommen wurde.
  • Eine Metrik wird eingeführt, die die Leistung von Bildverbesserungsmethoden auf eine intuitivere und besser interpretierbare Weise beschreibt.
  • Eine Vielzahl modernster Bildverbesserungsmethoden und -metriken wird auf der Grundlage unseres neuartigen Benchmark-Datensatzes untereinander verglichen.

Um den Datensatz aufzunehmen wurden 50cm x 50cm große diffusive Zenith-Polymer-Targets entlang der roten Linie unten verschoben und mit Sensoren eines Forschungsfahrzeuges in der Nebelkammer aufgezeichnet. Weitere Informationen entnehmen Sie bitte unserer Publikation. Das verwendete statische Szenario ist Teil des Pixel Accurate Depth Benchmark.

Beispielbilder

Oben zeigen wir Beispielbilder für klare Verhältnisse (links) und Nebelbilder (rechts) für eine Nebelsichtweite von 30-40m.

Zitat

Wenn Sie unsere Arbeit zur Auswertung von Algorithmen zur Bildverbesserung interessant finden, zitieren Sie bitte unsere Publikation:

@InProceedings{Bijelic_2019_CVPR_Workshops,
    author = {Bijelic, Mario and Kysela, Paula and Gruber, Tobias and Ritter, Werner and Dietmayer, Klaus},
    title = {Recovering the Unseen: Benchmarking the Generalization of Enhancement Methods to Real World Data in Heavy Fog},
    booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},    
    month = {June},
    year = {2019}
}

Community contributions

Point Cloud Denoising

Für die anspruchsvolle Aufgabe der Entrauschung von Lidar-Punktwolken werden Daten aus dem Pixel Accurate Depth Benchmark und dem Seeing Through Fog Datensatz verwendet. Diese Daten wurden unter schlechten Wetterbedingungen wie starkem Regen oder dichtem Nebel aufgezeichnet. Insbesondere werden dabei die Punktwolken von einem Velodyne VLP32c Lidar-Sensor verwendet.

Nutzung der Daten

Tools zur Visualisierung (Python) stehen in unserem github-Repository zur Verfügung:

Github Repository

Klicken Sie hier!

Zitat

Wenn Sie unsere Arbeit zur Entrauschung von Lidar-Punktwolken bei ungünstigem Wetter für Ihre Forschung nützlich finden, zitieren Sie bitte unsere Publikation:

@article{PointCloudDeNoising2019,
  author   = {Heinzler, Robin and Piewak, Florian and Schindler, Philipp and Stork, Wilhelm},
  journal  = {IEEE Robotics and Automation Letters},
  title    = {CNN-based Lidar Point Cloud De-Noising in Adverse Weather},
  year     = {2020},
  keywords = {Semantic Scene Understanding;Visual Learning;Computer Vision for Transportation},
  doi      = {10.1109/LRA.2020.2972865},
  ISSN     = {2377-3774}
}

Danksagung

Diese Arbeiten wurden von der Europäischen Union im Rahmen des H2020 ECSEL-Programms als Teil des DENSE-Projekts, Vertragsnummer 692449, finanziert.

Kontakt

Feedback? Fragen? Probleme rund um/mit den Datensätzen? Kontaktieren Sie uns!