Institute of Communications Engineering

Dialogue Systems

Inhalt

Diese Vorlesung führt in das Gebiet der multimodalen Sprachdialogtechnologie ein. Einen besonderen Schwerpunkt bilden dabei die akustische Signalverarbeitung, Sprachsignalanalyse, Spracherkennung, natürliches Sprachverstehen, Dialogmanagement und Sprachsynthese. Die Themen werden in praktischen Übungen und Demonstratoren von Produkten und Anwendungen nähergebracht. Vor Ort ansässige Industrieunternehmen, die im Bereich der multimodalen Sprachdialogsysteme arbeiten, werden Gastvorlesungen halten.

1. Menschliche Kommunikation.

  • Sprachliche Kommunikation, Struktur und Eigenschaften von Sprache, Sprachproduktion, Sprachwahrnehmung.

2. Sprachverarbeitung im Überblick.

  • Teilgebiete der Sprachverarbeitung, geschichtlicher Überblick, Sprachcodierung, Sprachsynthese, Spracherkennung, Sprecheridentifikation/-verifikation, semantische Analyse, Dialogmodellierung.

3. Sprachsignale.

  • Darstellung und Eigenschaften, Kurzzeitanalyse, Kurzzeitspektrum, Periodogramm, Autokorrelation, lineare Prädiktion, homomorphe Analyse.

4. Wahrscheinlichkeitstheorie.

  • Grundlagen, Hidden Markov Modelle (HMMs), zeitdiskreter Markov-Prozess, Entry- und Exit-Zustände, HMM-Parameter, HMM-Typen (links-rechts, diskret, kontinuierlich), Parameterschätzung, Dekodierung, Viterbi Algorithmus, Stärken und Schwächen von HMMs.

5. Sprachsynthese.

  • Zusammenhang zwischen Lautsprache und Schrift, Teile der Sprachsynthese, Lautinventar, Verfahren der Sprachsignalproduktion, Sprachsynthese nach dem Verkettungssatz, Prosodiesteuerung.

6. Spracherkennung.

  • Problem der Spracherkennung, Ebenen der natürlichen Sprache, Sprachmerkmale, Sprachmustervergleich.

7. Statistischer Ansatz in der Sprachverarbeitung.

  • Datenaufnahmen, Datensegmentierung, Wahl der Grundelemente (kontextabhängige und –unabhängige Beobachtungen), Codebuchgenerierung, HMM-Training, Implementierungsprobleme: limitierte Trainingsdaten, Back-off Techniken, Wörter außerhalb des Vokabulars (OOVs).

8. Semantische Analyse.

  • Theorie der formalen Sprachen, Chomsky-Hierarchie, Wortproblem, endliche Automaten, Parsing, syntaktische vs. semantische Grammatiken, regelbasierte vs. statistische Ansätze zur semantischen Analyse, Einführung in die Dialogmodellierung.

9. Anwendungen und Produkte.

  • Evaluierung von Spracherkennungs- und Dialogsystemen, Spracherkennungs- und Dialogsysteme in der Forschung und im kommerziellen Einsatz.

Praktische Übungen.

  • Praktische Entwicklung von Sprachdialogsystemen mit Schwerpunkt auf Dialogmanagement.

  • J. Allen: Natural Language Understanding, The Benjamin/Cummings Publishing Company, Inc., 1988.
  • B. Pfister, T. Kaufmann: Sprachverarbeitung - Grundlagen und Methoden der Sprachsynthese und Spracherkennung, Springer, 2008.
  • L.R. Rabiner and B.H. Juang: An introduction to Hidden Markov Models, IEEE Transactions on Acoustics: Speech and Signal Processing, 3:1, pp. 4-16, 1986.
  • Folienkopien
  • Semesterapparat
Informationen

Vorlesung und Übung werden in Deutsch gehalten.

Die Veranstaltungsnummern im LSF lauten ENGC 70423 und CS8400.001

Voraussetzungen

Bachelor. Es sind im Wesentlichen keine Vorkenntnisse aus anderen Vorlesungen notwendig. Die Vorlesung ist auch für Studenten aus anderen Fakultäten geeignet. Kenntnisse in den Bereichen digitale Signalverarbeitung und Statistik sind hilfreich.

Prüfung

In der Regel mündliche Prüfung, ansonsten schriftliche 90-minütige Prüfung. Voraussetzung für die Prüfungszulassung ist der Erwerb eines Übungsscheins, welcher die erfolgreiche Teilnahme an den Übungen bestätigt.