MIN121: Fortgeschrittenes Deep Learning

Kernmodule

MIN121: Fortgeschrittenes Deep Learning

Kurzporträt MIN121: Fortgeschrittenes Deep Learning
Worum geht es? Fortgeschrittenes Deep Learning behandelt moderne neuronale Architekturen und Lernparadigmen für komplexe datenbasierte Aufgaben. Dazu gehören Transformer, Repräsentationslernen, Foundation Models, generative Modelle, multimodales Lernen, effiziente Anpassung und Evaluation.
Wofür braucht man es? Die Kompetenzen werden benötigt, um Deep-Learning-Verfahren für anspruchsvolle Anwendungen auszuwählen, anzupassen und kritisch zu bewerten. Sie sind relevant für KI-Entwicklung, Forschung, datengetriebene Produkte und die Bewertung moderner Modellfamilien.
Wieso ist es interessant? Interessant ist das Modul, weil viele aktuelle KI-Durchbrüche auf wenigen grundlegenden Ideen beruhen, die sehr unterschiedlich kombiniert werden. Studierende lernen, Hype, technische Leistungsfähigkeit und reale Grenzen auseinanderzuhalten.
Modulverantwortung

Prof. Dr. Michael Gref

Lehrperson(en)

Prof. Dr. Michael Gref

Verwendbarkeit

Master Informatik

Fächergruppe

Informatik

Modultyp
Wahlpflicht
Sprache

Deutsch oder Englisch

Angebot

Wintersemester

Dauer

1 Semester

Credits

5 ECTS

Benotung

Deutsche Notenskala 1-5

SWS

4SL

Workload
Präsenzstudium: 45 Std. Selbststudium: 90 Std.
Engl. Titel

Advanced Deep Learning

Empfohlene Voraussetzungen

Empfohlen werden Kenntnisse des maschinellen Lernens und Deep Learning, insbesondere überwachte Lernverfahren, Grundlagen neuronaler Netze, gradientenbasierte Optimierung, Modelltraining, Evaluation und praktische Erfahrung mit datengetriebenen Modellen.

Lernergebnisse / Kompetenzen
WAS

Mit erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage, fortgeschrittene Deep-Learning-Architekturen und Lernparadigmen für komplexe datenbasierte Problemstellungen auszuwählen, prototypisch umzusetzen oder zu adaptieren, experimentell zu evaluieren und hinsichtlich Leistungsfähigkeit, Grenzen, Aufwand und Anwendungskontext kritisch zu bewerten.

WOMIT

Die Studierenden erreichen dieses Lernergebnis, indem sie

  • fortgeschrittene Deep-Learning-Architekturen und Lernparadigmen, insbesondere für Sequenzmodellierung, Repräsentationslernen, generative Modellierung und multimodale Aufgabenstellungen, analysieren und voneinander abgrenzen,
  • zentrale Modellierungsprinzipien fortgeschrittener Deep-Learning-Verfahren nachvollziehen und für geeignete Aufgabenstellungen begründet auswählen,
  • eigene Modelle trainieren sowie vortrainierte Modelle auswählen, anwenden, anpassen und experimentell untersuchen,
  • unterschiedliche Modellfamilien sowie Verfahren zur effizienten Modellanpassung hinsichtlich ihrer Prinzipien, Einsatzmöglichkeiten und Grenzen vergleichen,
  • Modelle und Experimente qualitativ und quantitativ evaluieren und Ergebnisse im Hinblick auf Generalisierung, Robustheit, Verzerrungen, Interpretierbarkeit und praktische Einsetzbarkeit bewerten,
  • aktuelle wissenschaftliche Publikationen und technische Entwicklungen erschließen, reproduzierbare Experimente ableiten und Ergebnisse strukturiert dokumentieren, präsentieren und verteidigen.
WOZU

Die Studierenden nutzen diese Kompetenzen, um moderne Deep-Learning-Verfahren in forschungs- und entwicklungsnahen Informatik-Kontexten fachlich fundiert auszuwählen, anzupassen, kritisch zu bewerten und gegenüber fachkundigen Zielgruppen nachvollziehbar zu begründen.

Inhalte
  • Vertiefung neuronaler Netze und Deep-Learning-Training: Modellarchitektur, Optimierung, Regularisierung, Generalisierung und experimentelle Analyse
  • Sequenzmodellierung und Transformer: rekurrente Architekturen, Attention, Encoder-Decoder-Strukturen und Skalierung
  • Repräsentationslernen und Foundation Models: selbstüberwachtes Lernen, Pretraining, Transfer Learning, Fine-Tuning sowie One-/Few-Shot- und metrisches Lernen
  • Generative und multimodale Modelle: Autoencoder, Diffusion Models, gemeinsame Repräsentationen und Text-Bild-Modelle
  • Effiziente Modellanpassung und Modellkompression: Adapterverfahren, Low-Rank-Ansätze, Quantisierung und Distillation
  • Robustheit, Sicherheit und Interpretierbarkeit moderner Deep-Learning-Modelle
  • Evaluation: Metriken, Benchmarking, Fehleranalyse, Bias, Fairness und Grenzen automatisierter Bewertung
  • Wissenschaftliches Arbeiten: aktuelle Publikationen erschließen, Experimente reproduzieren und Ergebnisse kritisch einordnen
Prüfungsvorleistung

Erfolgreiche Bearbeitung semesterbegleitender Aufgaben, z. B. zur Analyse, Implementierung, Adaption oder Evaluation fortgeschrittener Deep-Learning-Verfahren.

Prüfungsleistung

Studien- oder Projektarbeit. Sie wird als Projektarbeit oder Hausarbeit mit Präsentation und Fachgespräch ausgestaltet. Die Prüfung umfasst die eigenständige Bearbeitung einer fortgeschrittenen Deep-Learning-Fragestellung einschließlich theoretischer Einordnung, praktischer Umsetzung oder experimenteller Analyse, Dokumentation der Ergebnisse sowie fachlicher Verteidigung.

Literatur
  • I. Goodfellow, Y. Bengio, A. Courville: Deep Learning.
  • C. M. Bishop: Pattern Recognition and Machine Learning.
  • Aktuelle wissenschaftliche Publikationen und technische Dokumentationen zu fortgeschrittenen Deep-Learning-Architekturen, Foundation Models, generativen Modellen und effizienter Modellanpassung.