Reflektanz und Semantik aus Internet-Bilddatenbanken

Foto-Sharing-Plattformen wie z.B. Flickr stellen heute mehrere Milliarden Bilder bereit. Viele der Bilder wurden von Benutzern oder semiautomatisch um textuelle Label erweitert, so dass man gezielt nach Bildern zu speziellen Themen oder Objekten suchen kann. In meinem Vortrag werde ich auf zwei aktuelle Forschungsarbeiten eingehen, in denen wir diesen Datenreichtum nutzen. Der erste Ansatz verfolgt das Ziel, ein fotorealistisches 3D-Modell zu einem Objekt aus Internet-Bildern zu erzeugen. Die Verarbeitungskette beginnt mit der Registrierung der einzelnen Bilder und der Extraktion der 3D-Geometrie. Um das Objekt dann aus neuen Perspektiven und in veränderter Beleuchtung fotorealistisch wiedergeben zu können, rekonstruieren wir zusätzlich die Reflexionseigenschaften aus den Bildern. So könnte in der Zukunft sehr schnell ein fotorealistisches 3D-Modell einer neuen, bisher unbekannten Umgebung für die weitere Verwendung in VR/AR-Applikationen oder für die räumliche Planung erstellt werden. In einem zweiten Forschungsprojekt versuchen wir, die Semantik von Texten und Bildern zu verknüpfen. Eine Anwendung ist zum Beispiel die automatische Bebilderung eines gegebenen Textes. Durch einen neuen Anfragealgorithmus ist es uns gelungen, zu einer Wortfolge Anfragen an Flickr zu stellen, die in bis zu 80% der Fälle semantisch passende Bilder liefern. In der Zukunft möchten wir den Zusammenhang zwischen Text- und Bildsemantik weiter herausarbeiten und damit z.B. eine natürlichsprachliche Schnittstelle mit der Umgebung bereitstellen, in der sprachlich Referenzen mit reale Objekten robust verknüpft werden.

 

Information

Sprecher

Prof. Dr.-Ing. Hendrik Lensch
Institut für Medieninformatik
Universität Ulm

Datum

Montag, 19. Juli 2010, 16 Uhr

Ort

Universität Ulm, Oberer Eselsberg, N27, Raum 2.033