MIN115: Sprachbasierte Systeme

Kernmodule

MIN115: Sprachbasierte Systeme

Kurzporträt MIN115: Sprachbasierte Systeme
Worum geht es? Sprachbasierte Systeme behandelt die technische Grundlage moderner Sprach- und Dialogsysteme. Dazu gehören Audioverarbeitung, Speech-to-Text, Text-to-Speech, Sprachmodelle, Information Retrieval, Wissensanbindung und die Integration zu einem lauffähigen Assistenzsystem.
Wofür braucht man es? Die Kompetenzen werden gebraucht, um sprachbasierte Schnittstellen, Unternehmenssuche, Dialogsysteme oder intelligente Assistenten fachlich fundiert zu entwickeln und zu bewerten. Sie verbinden maschinelles Lernen, Softwarearchitektur und Mensch-Maschine-Interaktion.
Wieso ist es interessant? Interessant ist das Modul, weil Sprache für Menschen selbstverständlich wirkt, technisch aber aus vielen schwierigen Teilschritten besteht. Studierende sehen, wie akustische Signale, Textmodelle, Retrieval und Dialoglogik zusammenwirken.
Modulverantwortung

Prof. Dr. Klaus Weidenhaupt

Lehrperson(en)
  • Prof. Dr. Michael Gref
  • Prof. Dr. Klaus Weidenhaupt
Verwendbarkeit

Master Informatik

Fächergruppe

Informatik

Modultyp
Wahlpflicht
Sprache

Deutsch

Angebot

Wintersemester

Dauer

1 Semester

Credits

5 ECTS

Benotung

Deutsche Notenskala 1-5

SWS

4SL

Workload
Präsenzstudium: 45 Std. Selbststudium: 90 Std.
Engl. Titel

Language-Based Systems

Empfohlene Voraussetzungen

Programmierkenntnisse in Python, mathematische Grundlagen (lineare Algebra, Stochastik), Grundlagen des maschinellen Lernens

Lernergebnisse / Kompetenzen
WAS

Mit erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage, ein vollständiges Sprachdialogsystem auf Basis eines fundierten algorithmischen Verständnisses der zugrunde liegenden Sprach- und Textmodelle softwaretechnisch zu konzipieren, zu implementieren und systematisch zu evaluieren.

WOMIT

Die Studierenden erreichen dieses Lernergebnis, indem sie * in einer projektbasierten Arbeitsweise die konzeptionellen und algorithmischen Prinzipien der Sprach- und Informationsverarbeitung analysieren und praktisch anwenden. * akustische Modelle für Speech-to-Text/Text-to-Speech, moderne Deep-Learning-Architekturen (wie Transformer) für das Textverständnis und die Textgenerierung sowie formale Information-Retrieval-Verfahren für die Anbindung externer Wissensquellen trainieren, parametrisieren, adaptieren und kombinieren. * sie die innere Funktionsweise dieser Modelle reflektieren, theoriegeleitete Architekturentscheidungen treffen und die Teilsysteme sowie vortrainierte Modelle anhand etablierter quantitativer Metriken evaluieren. * aktuelle Forschungsansätze auf dem Gebiet der sprachbasierten Systeme analysieren, anwenden und ihre Stärken und Schwächen bewerten. * Ergebnisse zielgruppengerecht dokumentieren und präsentieren.

WOZU

Die Studierenden nutzen diese Kompetenzen, um robuste Mensch-Maschine-Schnittstellen für komplexe Anwendungsdomänen (wie intelligente Assistenzsysteme oder smarte Unternehmenssuche) nicht nur als “Blackbox” zu nutzen, sondern Sprach-Pipelines zielgerichtet zu adaptieren, zu optimieren und fundiert in umfassende Softwarearchitekturen zu integrieren.

Inhalte

Das Modul verbindet das theoriegeleitete Verständnis von Sprachtechnologien mit der praktischen Realisierung eines umfassenden Sprachdialogassistenten (Project-Based Learning). Die Inhalte teilen sich in auditive Sprachsignalverarbeitung (Speech) und textbasierte Sprachverarbeitung (Language & IR) auf: * Systemarchitektur moderner Sprachassistenten: Pipeline-Architekturen im Vergleich zu End-to-End-Systemen * Herausforderungen der multimodalen Mensch-Maschine-Interaktion * Auditive Signalverarbeitung: digitale Audiosignalverarbeitung und Merkmalsextraktion (z. B. Mel-Spektrogramme, MFCCs) * Speech-to-Text (ASR): akustische und sprachliche Modelle, Voice Activity Detection und Wake-Word Detection * Text-to-Speech (TTS): generative Ansätze der Sprachsynthese * Textrepräsentation: Vektorraummodelle und hochdimensionale Text Embeddings * Deep Learning für NLP: Transformer-Architekturen und Large Language Models für Textverständnis und -generierung * Dialogmodellierung: Intent-Erkennung, Entitätsextraktion und Modellierung von Konversationsflüssen * Information Retrieval: klassische probabilistische und algebraische Modelle (z. B. BM25), semantische Suche und neuronale Reranking-Verfahren * Wissensintegration: Anbindung externer Datenquellen an Sprachmodelle, insbesondere Retrieval-Augmented Generation, Knowledge Graphs und Graph-RAG * Systemintegration: Zusammenführung von Audio- und Text-Pipelines zu einem reaktiven Gesamtsystem * Systematische Evaluation: fachspezifische Metriken und deren statistische Aussagekraft (z. B. WER, Precision/Recall, BLEU/ROUGE)

Prüfungsvorleistung

Erfolgreiche Präsentation von Projektmeilensteinen im Semesterverlauf (z. B. Architekturkonzept und erste Teilsystem-Demonstration).

Prüfungsleistung

Studien- oder Projektarbeit. Sie wird als Projektarbeit ausgestaltet und umfasst die Implementierung eines lauffähigen sprachbasierten Softwaresystems, eine Begleitdokumentation mit methodisch-algorithmischer Begründung der Designentscheidungen sowie eine abschließende Präsentation und ein Fachgespräch.

Literatur
  • Jurafsky, D., & Martin, J. H. (2026): Speech and Language Processing. (Aktuellste Auflage / Online Draft). Prentice Hall.
  • Alammar, J., & Grootendorst, M. (2024): Hands-On Large Language Models: Language Understanding and Generation. O’Reilly Media.
  • Manning, C. D., Raghavan, P., & Schütze, H. (2008): Introduction to Information Retrieval. Cambridge University Press.
  • Rabiner, L. R., & Schafer, R. W. (2011): Theory and Applications of Digital Speech Processing. Pearson.
  • Yu, D., & Deng, L. (2015): Automatic Speech Recognition: A Deep Learning Approach. Springer.
  • Semesteraktuelle wissenschaftliche Publikationen und Fachartikel zur Erarbeitung neuester Ansätze (z.B. aus Interspeech, ACL, SIGIR).