Jedes autonom handelnde System – ob biologisch oder technisch – verfügt in der Regel über eine Reihe von Sensoren, deren Information integriert werden muss, um sinnvoll und zielgerichtet agieren zu können. Dabei nimmt es Information nicht nur passiv auf, sondern agiert idealerweise durch Eigenbewegung so, dass der Informationsgehalt zur Lösung einer bestimmten Aufgabe erhöht wird. Dabei fallen Ströme von Sensorinformation mit einer großen Menge von Daten an, die zumeist hochgradig redundant sind. Grund dafür ist, dass sich die Sensorinformation zu einem bestimmten Zeitpunkt zumeist nur unwesentlich von der unterscheidet, die kurze Zeit später detektiert wird. Nur Veränderungen (verursacht durch Ereignisse) liefern bedeutsame Information. Daher macht es auch Sinn, so wie es uns das neuronale Vorbild der Biologie vormacht, nur Veränderungen in den Datenströmen zu registrieren und zu verarbeiten. Durch diese ereignisbasierte Codierung wird die Energieeffizienz und die Spärlichkeit des Sensorsystems um ein Vielfaches gesteigert. Ziel dieses Projektvorhabens ist es daher, die ereignisbasierte Analyse sowohl visueller als auch auditiver Sensorinformation zu untersuchen und biologisch plausible Modelle der Informationsverarbeitung zu entwickeln. Ein Fokus liegt dabei auf der räumlichen Wahrnehmung und im speziellen auf der Analyse der Interaktion von Ereignissen, die extern bzw. durch Eigenbewegung (z.B. durch Augen- oder Körperbewegung) erzeugt wurden. Eine zentrale Frage dabei ist, wie die multisensorische Information der visuellen und auditiven Sensoren während der Eigenbewegung integriert werden. Entscheidend dafür wird es sein, den Zusammenhang der multisensorischen Ereignisse zu erkennen und die verschiedenen sensorischen Repräsentationen aufeinander abzustimmen. Hierbei wird die Detektion der Korrelation zwischen den Signalen, die Kompensation für Ereignisse erzeugt durch Eigenbewegung und das Lernen der Repräsentationen sowie deren Beziehung zueinander die entscheidende Rolle spielen. Um die Effizienz der sensorischen Verarbeitung und der multisensorischen Integration während der Eigen­bewegung zu demonstrieren, sollen die gewonnenen, biologisch-plausiblen Verarbeitungsmechanismen in neuromorphen Algorithmen implementiert werden, um dann damit eine autonome Roboterplattform zu steuern, die eine multisensorische Suchaufgabe durchführen soll. Dabei wird getestet, inwiefern die Roboter-Kontrollalgorithmen vergleichbare Ergebnisse liefern, wie sie vom Menschen oder der Biologie allgemein bekannt sind. Dazu wird die zur Verfügung stehende Information in Quantität und Qualität variiert, sowie die Übereinstimmung der multisensorischen Informationsquellen manipuliert.

Zusammenfassend heißt dies, dass in diesem Projekt biologisch-plausible Modelle der visuellen und auditiven räumlichen Wahrnehmung während der Eigenbewegung untersucht werden sollen. Aus diesen Ergebnissen können dann Integrationsmechanismen entwickelt werden, die, implementiert in neuromorphen Algorithmen, wiederum zur effizienten Robotersteuerung verwendet werden. 

Dieses Projekt ist eine Kollaboration mit dem Lehrstuhl für Neuroinformatik unter der Leitung von Prof. Heiko Neumann und wird von der Baden-Württemberg Stifung unterstützt.