Grenzen der Informationsverarbeitung

Inhalt

Diese Vorlesung befasst sich mit der folgenden Hauptfrage:
Lässt sich der Prozess der Miniaturisierung in der Informationsverarbeitungs-technologien in den nächsten Jahrzenten mit gleicher Dynamik fortsetzen, oder werden wir vielleicht schon bald an prinzipielle Grenzen stoßen, die auf unumgängliche Naturgesetze fußen?

Schon seit den siebziger Jahren werden Schranken diskutiert, die den minimalen Platz-, Zeit- und Energiebedarf für die Verarbeitung eines Bits an Information festlegen. In diese Argumente gehen die Informationstheorie, Thermodynamik und Quantenphysik ein. Die Informationstheorie behandelt die Frage, wie viel Informationsübertragung noch möglich ist, wenn die Übermittlung der einzelnen Bits fehlerhaft abläuft. Sie bietet die besten Methoden, um die Grenzen der Informa-tionsverarbeitung in Rahmen eines mathematischen Modells zu formulieren und effizient zu berechnen. Die Thermodynamik erklärt die Entstehung von Fehlern in physikalischen Systemen. Die Quantenphysik ermöglicht als einzige physikalische Theorie die Beschreibung von physikalischen Vorgängen auf (sub)molekularer Ebene.

In den nächsten Jahren werden wir diesen Grenzen schon nahekommen. Welche Technologien im Bereich der Informationsverarbeitung könnten dann und weiter in der Zukunft angewendet werden? Sind beispielsweise biologische Systeme bereits an diesen Grenzen angelangt? Mögliche Antworten auf diese Fragen sollen in der Vorlesung diskutiert werden.

Die Vorlesung richtet sich an Studierende der Elektrotechnik, Informatik, Physik und Mathematik oder verwandten Fächern. Grundkenntnisse aus der Physik werden nicht vorausgesetzt.

Themen

Vom Moore'schen Gesetz zum 2020-Gesetz
Informationsverarbeitung der Zukunft und Nanotechnologien
Grundlagen der Informationstheorie
Grundlagen der statistischen Entscheidungstheorie,
Bayes'scher Wahrscheinlichkeitsbegriff und die Vertrauensfortpflanzung
(engl.: belief propagation)
Herleitung der asymptotischen Grenzen in der statistischen Entscheidungstheorie
Kanalcodierungstheorem, Kanalkapazität, und die Fehlerexponent-Funktion
Zeitdiskretes Kanalmodell mit Gauß'schem Rauschen (AWGN-Kanalmodell)
Herleitung der AWGN-Kanalkapazität
Informationsverarbeitung als Kommunikationsproblem
Fundamentale Schranke für den minimalen Energieeinsatz bei der Informationsverarbeitung
Entstehung von Fehlern in informationsverarbeitenden Systemen: thermodynamische Betrachtung
Physikalische und biologische Grenzen der Informationsübermitlung
Methoden der Quanteninformationsverarbeitung
Algorithmische Grenzen der Informationsverarbeitung
Grundbegriffe der Komplexitätstheorie
Kolmogorovs Lösung des 13. Hilbert'schen Problems
Das Superpositionsprinzip und Neurale Netze
Grenzen der Informationsverarbeitung mit Neuronalen Netzen

Es existiert bis dato noch kein einführendes Lehrbuch oder Skript zum Thema Grenzen der Informationsverarbeitung. Daher werden ausgewählte Kapitel aus folgenden Bücher empfohlen:

Hauptliteratur

C.H. Bennett, R. Landauer: Grundsätzliche physikalische Grenzen beim Rechnen, Spektrum der Wissenschaft – Dossier: Rechnerarchitekturen, 4/00, pp. 28-37,www.spektrum.de
T.D. Schneider: Theory of Molecular Machines. I. Channel Capacity of Molecular Machines, J. theor. Biol., 148, pp. 83-123, 1991.
S. Aaronson: Die Grenzen der Quanten, Spektrum der Wissenschaft, pp. 90-97, Juli 2008, www.spektrum.de
Claude E. Shannon: Communication in the Presence of Noise, PROCEEDINGS OF THE IRE, vol. 37, no. 1, pp. 10-21, Jan. 1949.
H. Marko: Physikalische und Biologische Grenzen der Informationsübermittlung,Nachrichtentechnische Berichte - Schriftenreihe desLehrstuhls für Nachrichtentechnik der Technischen Universität München,Band 7, München 1982
Richard P. Feynman: “Feynmans Lectures on Computation”, Addison-Wesley, 1996.
David J.C. MacKay: Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2005.
Hans H. Diebner (Hrsg.): “Studium Generale zur Komlexität”, Genista Verlag, Tübingen, 2001.

Weiterführende Literatur

T. D. Schneider: Sequence logos, machine/channel capacity, Maxwell’s demon, and molecular computers: review of the theory of molecular machines, Nanotechnology, pp. 1-18, No. 5, 1994.
J. Grolle: Konkurrenz für Gott, Der Spiegel, pp. 110-119, Nr. 1/4. Jan. 2010, www.spiegel.de
S. Kauffman (Interview): „Das ist Futter, das ist Gift“, Der Spiegel, pp. 120-122, Nr. 1/4. Jan. 2010,www.spiegel.de
U. Bahnsen: Ein Schöpfungsakt, Die Zeit, pp. 39-40, Nr. 22/27. Mai 2010,www.zeit.de
M. Lange: Nachwuchs in Bastellaune, Die Zeit, p. 40, Nr. 22/27. Mai 2010,www.zeit.de
J. Maier: Bausätze aus Regensburg, Die Zeit, p. 40, Nr. 22/27. Mai 2010,www.zeit.de
A. L. Caplan: Zu welchem Zweck? (Gastkommentar), Die Zeit, p. 39, Nr. 22/27. Mai 2010,www.zeit.de
I. Stewart: Wie man einen Brief frankiert, Spektrum der Wissenschaft, pp.74-79, Oktober 2008, www.spektrum.de.
B. Hayes: Gene und Pfankuchen, Spektrum der Wissenschaft, pp. 80-86,Oktober 2008, www.spektrum.de.
M. Maisch und D. Lazich: Eröffnet die Kolmogorovsche Lösung des 13.Hilbertschen Problems einen neuen Zugang zur Komplexitätsbeherrschung?Studium generale zur Kompläxitet, pp. 133-150, Genista Verlag,Tübingen 2001, Vortrag