Information
Klicken Sie hier zur Registrierung und zum Download der Daten
Gated2Depth Seeing Through Fog Pixel Accurate Depth Benchmark Image Enhancement Benchmark Community Contributions
Das EU-Projekt DENSE hat zum Ziel eines der herausforderndsten Probleme des automatisierten Fahrens zu lösen: die Umgebung unter allen Wetterbedingungen zu erfassen. Schlechtes Wetter - wie z.B. Schnee, starker Regen oder Nebel - stellt eine der letzten noch verbleibenden technischen Herausforderungen dar, die die Markteinführung des selbstfahrenden Autos derzeit noch verhindern. Diese Herausforderung kann nur durch eine neue Technologie zur Umgebungserfassung gelöst werden, die zu jeder Zeit und unter jeder Wetterbedingung zuverlässig arbeit.
Diese Homepage präsentiert eine Vielzahl von Projekten und Datensätzen, die während des Projekts entwickelt wurden.
Klicken Sie hier zur Registrierung und zum Download der Daten
Wir stellen ein bildgebendes Framework vor, das drei Bilder einer kostengünstigen CMOS-Gated-Kamera in hochauflösende Tiefenkarten umwandelt, deren Tiefengenauigkeit mit gepulsten Lidar-Messungen vergleichbar ist. Die wichtigsten Beiträge dieser Arbeit sind:
Tools zur Nutzung des Datensatzes stehen in Python zur Verfügung. Zusätzlich ist das Modell in Tensorflow verfügbar.
Klicken Sie hier!
Wenn Sie unsere Arbeit zur Tiefenschätzung mit Gated Bildern interessant finden, zitieren Sie bitte unsere Publikation:
@inproceedings{gated2depth2019,
title = {Gated2Depth: Real-Time Dense Lidar From Gated Images},
author = {Gruber, Tobias and Julca-Aguilar, Frank and Bijelic, Mario and Heide, Felix},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
year = {2019}
}
Wir stellen einen Datensatz zur Objekterkennung unter schwierigen Witterungsbedingungen vor, der 12000 Proben in realen Fahrszenen und 1500 Beispiele unter kontrollierten Wetterbedingungen in einer Nebelkammer umfasst. Der Datensatz beinhaltet verschiedene Wetterbedingungen wie Nebel, Schnee und Regen und wurde bei mehreren insgesamt über 10.000 km langen Fahrten in Nordeuropa gesammelt. Die gefahrene Strecke mit Städten entlang der Straße ist rechts dargestellt. Insgesamt wurden 100k Objekte mit genauen 2D- und 3D-Bounding-Boxen annotiert. Die wichtigsten Beiträge dieses Datensatzes sind:
Zur Erfassung des Datensatzes haben wir das unten dargestellte Testfahrzeug mit Sensoren aufgebaut. Die Sensorik deckt die das sichtbare-, NIR-, FIR- und mm-Spektrum ab. Insgesamt messen wir die Intensitäten, Tiefe und Wetterbedingungen. Weitere Informationen finden Sie in unserem Datensatzpapier.
Wir stellen dokumentierten Code zur Handhabung des von uns bereitgestellten Datensatzes in Python zur Verfügung.
Klicken Sie hier!
Klicken Sie hier!
Wenn Sie unsere Arbeit zur Objektdetektion bei schlechtem Wetter für Ihre Forschung nützlich finden, würden wir uns über eine Zitation unser Arbeit freuen:
@InProceedings{Bijelic_2020_CVPR,
author = {Bijelic, Mario and Gruber, Tobias and Mannan, Fahim and Kraus, Florian and Ritter, Werner and Dietmayer, Klaus and Heide, Felix},
title = {Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather},
booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2020}
}
Wir führen eine Bewertungsmethodik für die 3D-Umgebungserfassung ein, die auf hochauflösenden Tiefenmessungen mit einer Winkelauflösung von bis zu 25" (Winkelsekunden) basiert. Diese Auflösung ist mit einer 50-Megapixel-Kamera vergleichbar. Die wichtigsten Beiträge dieses Benchmarks sind:
Tools zur Auswertung und Visualisierung des Datensatzes (Python) stehen in unserem github-Repository zur Verfügung.
Klicken Sie hier!
Wir stellen vier typische Outdoor-Straßenszenarien angelehnt an den KITTI-Datensatz nach. Im Einzelnen wurden dabei die folgenden vier realistischen Szenarien aufgebaut: Fußgängerzone, Wohngebiet, Baustelle und Autobahn. Insgesamt besteht dieser Benchmark aus jeweils 10 zufällig ausgewählten Stichproben jedes Szenarios (Tag/Nacht) bei klarem Wetter, leichtem Regen, starkem Regen und 17 Sichtbarkeitsstufen bei Nebel (20-100m in 5m-Schritten), was insgesamt 1.600 Stichproben ergibt.
Um realistische Sensordaten eines Fahrzeuges zu erhalten, die als Grundlage für die in dieser Arbeit bewerteten Methoden zur 3D-Rekonstruktion dienen, wurde ein Forschungsfahrzeug mit einer RGB-Stereokamera (Aptina AR0230, 1920x1024, 12bit) und einem Lidar (Velodyne HDL64-S3, 905 nm) ausgestattet. Alle Sensoren arbeiten in einer ROS-Umgebung und werden durch ein PPS-Signal (Pulse per Second), das von einer proprietären Inertialmesseinheit (IMU) bereitgestellt wird, zeitsynchronisiert.
Wenn Sie unsere Arbeit zur Bewertungsmethodik von Tiefenschätzungsmethoden interessant finden, zitieren Sie bitte unsere Publikation:
@inproceedings{PixelAccurateDepthBenchmark2019,
title = {Pixel-Accurate Depth Evaluation in Realistic Driving Scenarios},
author = {Gruber, Tobias and Bijelic, Mario and Heide, Felix and Ritter, Werner and Dietmayer, Klaus},
booktitle = {International Conference on 3D Vision (3DV)},
year = {2019}
}
Aufgrund des schlecht gestellten Problems der Datenerfassung innerhalb von Schlechtwetterszenarien, insbesondere Nebel, basieren die meisten Ansätze im Bereich der Bildentnebelung auf synthetischen Datensätzen und Standardmetriken, die meist aus allgemeinen Ansätzen (Denoising oder Deblurring) stammen. Um die Leistung eines solchen Systems bewerten zu können, sind echte Daten und eine angemessene Metrik erforderlich. Wir stellen einen neuartigen kalibrierten Benchmark-Datensatz vor, der unter realen und definierten Wetterbedingungen aufgezeichnet wurde. Deshalb wurden bewegliche kalibrierte Targets in unterschiedlichen Entfernungen bei anspruchsvoller Beleuchtung und in kontrollierten Wetterbedingungen aufgezeichnet. Dies ermöglicht eine direkte Berechnung des Kontrasts zwischen den jeweiligen Targets und eine leicht interpretierbare Verbesserung des Ergebnisses in Bezug auf den sichtbaren Kontrast.
Zusammengefasst sind die wichtigsten Beiträge:
Um den Datensatz aufzunehmen wurden 50cm x 50cm große diffusive Zenith-Polymer-Targets entlang der roten Linie unten verschoben und mit Sensoren eines Forschungsfahrzeuges in der Nebelkammer aufgezeichnet. Weitere Informationen entnehmen Sie bitte unserer Publikation. Das verwendete statische Szenario ist Teil des Pixel Accurate Depth Benchmark.
Oben zeigen wir Beispielbilder für klare Verhältnisse (links) und Nebelbilder (rechts) für eine Nebelsichtweite von 30-40m.
Wenn Sie unsere Arbeit zur Auswertung von Algorithmen zur Bildverbesserung interessant finden, zitieren Sie bitte unsere Publikation:
@InProceedings{Bijelic_2019_CVPR_Workshops,
author = {Bijelic, Mario and Kysela, Paula and Gruber, Tobias and Ritter, Werner and Dietmayer, Klaus},
title = {Recovering the Unseen: Benchmarking the Generalization of Enhancement Methods to Real World Data in Heavy Fog},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
month = {June},
year = {2019}
}
Für die anspruchsvolle Aufgabe der Entrauschung von Lidar-Punktwolken werden Daten aus dem Pixel Accurate Depth Benchmark und dem Seeing Through Fog Datensatz verwendet. Diese Daten wurden unter schlechten Wetterbedingungen wie starkem Regen oder dichtem Nebel aufgezeichnet. Insbesondere werden dabei die Punktwolken von einem Velodyne VLP32c Lidar-Sensor verwendet.
Tools zur Visualisierung (Python) stehen in unserem github-Repository zur Verfügung:
Klicken Sie hier!
Wenn Sie unsere Arbeit zur Entrauschung von Lidar-Punktwolken bei ungünstigem Wetter für Ihre Forschung nützlich finden, zitieren Sie bitte unsere Publikation:
@article{PointCloudDeNoising2019,
author = {Heinzler, Robin and Piewak, Florian and Schindler, Philipp and Stork, Wilhelm},
journal = {IEEE Robotics and Automation Letters},
title = {CNN-based Lidar Point Cloud De-Noising in Adverse Weather},
year = {2020},
keywords = {Semantic Scene Understanding;Visual Learning;Computer Vision for Transportation},
doi = {10.1109/LRA.2020.2972865},
ISSN = {2377-3774}
}
Diese Arbeiten wurden von der Europäischen Union im Rahmen des H2020 ECSEL-Programms als Teil des DENSE-Projekts, Vertragsnummer 692449, finanziert.
Des Weiteren möchten wir Cerema für das Bereitstellen Ihrer Nebelkammer und Unterstützung der Messungen in kontrollierten Wetterbedingungen danken. Mehr Informationen zur Nebelkammer können hier gefunden werden.
Feedback? Fragen? Probleme rund um/mit den Datensätzen? Kontaktieren Sie uns!