Diese Vorlesung führt in das Gebiet der multimodalen Sprachdialogtechnologie ein. Einen besonderen Schwerpunkt bilden dabei die akustische Signalverarbeitung, Sprachsignalanalyse, Spracherkennung, natürliches Sprachverstehen, Dialogmanagement und Sprachsynthese. Die Themen werden in praktischen Übungen und Demonstratoren von Produkten und Anwendungen nähergebracht. Vor Ort ansässige Industrieunternehmen, die im Bereich der multimodalen Sprachdialogsysteme arbeiten, werden Gastvorlesungen halten.

1. Menschliche Kommunikation.

• Sprachliche Kommunikation, Struktur und Eigenschaften von Sprache, Sprachproduktion, Sprachwahrnehmung.

2. Sprachverarbeitung im Überblick.

• Teilgebiete der Sprachverarbeitung, geschichtlicher Überblick, Sprachcodierung, Sprachsynthese, Spracherkennung, Sprecheridentifikation/-verifikation, semantische Analyse, Dialogmodellierung.

3. Sprachsignale.

• Darstellung und Eigenschaften, Kurzzeitanalyse, Kurzzeitspektrum, Periodogramm, Autokorrelation, lineare Prädiktion, homomorphe Analyse.

4. Wahrscheinlichkeitstheorie.

• Grundlagen, Hidden Markov Modelle (HMMs), zeitdiskreter Markov-Prozess, Entry- und Exit-Zustände, HMM-Parameter, HMM-Typen (links-rechts, diskret, kontinuierlich), Parameterschätzung, Dekodierung, Viterbi Algorithmus, Stärken und Schwächen von HMMs.

5. Sprachsynthese.

• Zusammenhang zwischen Lautsprache und Schrift, Teile der Sprachsynthese, Lautinventar, Verfahren der Sprachsignalproduktion, Sprachsynthese nach dem Verkettungssatz, Prosodiesteuerung.

6. Spracherkennung.

• Problem der Spracherkennung, Ebenen der natürlichen Sprache, Sprachmerkmale, Sprachmustervergleich.

7. Statistischer Ansatz in der Sprachverarbeitung.

• Datenaufnahmen, Datensegmentierung, Wahl der Grundelemente (kontextabhängige und –unabhängige Beobachtungen), Codebuchgenerierung, HMM-Training, Implementierungsprobleme: limitierte Trainingsdaten, Back-off Techniken, Wörter außerhalb des Vokabulars (OOVs).

8. Semantische Analyse.

• Theorie der formalen Sprachen, Chomsky-Hierarchie, Wortproblem, endliche Automaten, Parsing, syntaktische vs. semantische Grammatiken, regelbasierte vs. statistische Ansätze zur semantischen Analyse, Einführung in die Dialogmodellierung.

9. Anwendungen und Produkte.

• Evaluierung von Spracherkennungs- und Dialogsystemen, Spracherkennungs- und Dialogsysteme in der Forschung und im kommerziellen Einsatz.

Praktische Übungen.

• Praktische Entwicklung von Sprachdialogsystemen mit Schwerpunkt auf Spracherkennung und VXML-basiertem Dialogmanagement.