BIN104: Multimodale KI-Systeme

Lernpfad Daten und Künstliche Intelligenz

BIN104: Multimodale KI-Systeme

Kurzporträt BIN104: Multimodale KI-Systeme
Worum geht es? Das Modul erweitert Machine Learning auf Anwendungen, die mehrere Datenarten gleichzeitig nutzen. Die Studierenden arbeiten mit Bildern, Texten, Audio-, Sensor- oder strukturierten Daten und setzen einfache Verarbeitungspipelines mit passenden Modellen und Bibliotheken um. Ein Schwerpunkt liegt auf der Kombination von Modalitäten und der Bewertung der Ergebnisse.
Wofür braucht man es? Viele moderne KI-Anwendungen verarbeiten nicht nur eine einzelne Datenquelle, sondern kombinieren verschiedene Signale. Diese Kompetenzen werden für Assistenzsysteme, Dokumentanalyse, Mensch-Computer-Interaktion, industrielle Sensorik und KI-gestützte Softwarefunktionen benötigt. Das Modul unterstützt Studierende dabei, solche Systeme fachlich einzuordnen und praktisch zu prototypisieren.
Wieso ist es interessant? Multimodale Systeme wirken besonders anschaulich, weil sie Informationen aus unterschiedlichen Quellen zusammenführen. Spannend ist, dass gute Ergebnisse nicht nur vom Modell abhängen, sondern auch von Repräsentationen, Vorverarbeitung, Fusion und Evaluation. Das Modul zeigt, wie solche Systeme aus bekannten Bausteinen entstehen und wo ihre Grenzen liegen.
Modulverantwortung

Prof. Dr. Duc Duy Pham

Lehrperson(en)

Alle Lehrenden des Studiengangs

Verwendbarkeit

Bachelor Informatik

Fächergruppe

Informatik

Modultyp
Pflicht
Sprache

Deutsch

Angebot

Wintersemester

Dauer

1 Semester

Credits

5 ECTS

Benotung

Deutsche Notenskala 1-5

SWS

2 V | 1 Ü | 1 P | - S

Workload
Präsenzstudium: 45 Std. Selbststudium: 90 Std.
Engl. Titel

Multimodal AI Systems

Empfohlene Voraussetzungen
  • BIN103: Machine Learning: Modelltraining, Evaluation, Python-Workflows.
Lernergebnisse / Kompetenzen
WAS

Mit erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage, multimodale KI-Systeme für anwendungsnahe Problemstellungen zu analysieren, geeignete Datenrepräsentationen und Modellbausteine auszuwählen, Verarbeitungspipelines prototypisch umzusetzen und deren Ergebnisse, Grenzen und Einsatzvoraussetzungen fachlich begründet zu bewerten.

WOMIT

Die Studierenden erreichen dieses Lernergebnis, indem sie

  • grundlegende Eigenschaften unterschiedlicher Datenmodalitäten und Repräsentationen einordnen,
  • vortrainierte Modelle und geeignete Bibliotheken für ausgewählte Aufgaben nutzen,
  • Verarbeitungspipelines mit unterschiedlichen Datenmodalitäten praktisch umsetzen,
  • grundlegende Prinzipien zur Fusion von Modalitäten in Pipelines und Modellarchitekturen nachvollziehen,
  • Ergebnisse mit passenden Baselines und Gütemaßen prüfen,
  • typische Fehlerquellen, Abhängigkeiten und Grenzen multimodaler Systeme analysieren.
WOZU

Die Studierenden nutzen diese Kompetenzen, um multimodale KI-Funktionen in Software- und Anwendungssystemen fachlich fundiert einzuordnen, prototypisch umzusetzen und kritisch zu bewerten, beispielsweise für Anwendungen mit Bild-, Text-, Audio-, Sensor- oder anderen Datenquellen.

Inhalte
  • Einordnung multimodaler KI-Systeme als Erweiterung bekannter Machine-Learning-Workflows
  • Datenmodalitäten und Repräsentationen wie Bild, Text, Audio, Sensorik und strukturierte Daten
  • Verarbeitungsschritte monomodaler und multimodaler KI-Systeme
  • Auswahl und Nutzung vortrainierter Modelle und Modellbibliotheken
  • Kombination und Fusion von Datenmodalitäten
  • Aufbau und prototypische Umsetzung einfacher multimodaler Verarbeitungspipelines
  • Evaluation und Fehleranalyse multimodaler KI-Systeme
Prüfungsvorleistung

Testat durch erfolgreiche Bearbeitung semesterbegleitender Aufgaben zur praktischen Anwendung von multimodalen KI-Systemen.

Prüfungsleistung

Computergestützte Klausurarbeit (120 Minuten). Das Prüfungskonzept kann theoretische, analytische und praktische Aufgaben umfassen, bei denen Studierende im Kontext multimodaler KI-Systeme Problemstellungen einordnen, Verfahren auswählen, Modelle anwenden oder implementieren, Ergebnisse interpretieren und methodische Entscheidungen begründen.

Literatur
  • Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning. MIT Press, 2016.
  • Simon J. D. Prince: Understanding Deep Learning. MIT Press, 2023.
  • Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola: Dive into Deep Learning. Cambridge University Press, 2023.
  • Christopher M. Bishop, Hugh Bishop: Deep Learning: Foundations and Concepts. Springer, 2024.