BWP521: Reinforcement Learning (mit Praktikum)

Wahlpflichtmodule

BWP521: Reinforcement Learning (mit Praktikum)

Kurzporträt BWP521: Reinforcement Learning (mit Praktikum)
Worum geht es? In diesem Modul lernen Studierende, wie technische Systeme durch Rückmeldungen und Belohnungen schrittweise bessere Entscheidungen treffen können. Studierende beschäftigen sich mit Agent-Umwelt-Interaktion, Q-Lernen, Policy-Gradient-Methoden und Monte-Carlo-Ansätzen. An Beispielen aus Robotik, Medizintechnik, vorausschauender Wartung, Maschinensteuerung sowie Energie- und Prozesstechnik setzen Studierende einfache Reinforcement-Learning-Lösungen praktisch um.
Wofür braucht man es? Diese Kompetenzen werden gebraucht, um geeignete Aufgaben für Reinforcement Learning zu erkennen und passende Lösungsstrategien zu entwickeln. Die Kompetenzen helfen außerdem dabei, Ergebnisse eigener Umsetzungen oder externer Spezialisten fachlich zu bewerten und zu verbessern.
Wieso ist es interessant? Wer verstehen möchte, wie Maschinen aus Erfahrung lernen können, findet hier einen anwendungsnahen Einstieg. Das Modul zeigt, wie aus technischen Fragestellungen lernfähige Entscheidungsprobleme werden.
Modulverantwortung

Prof. Dr. Jaan Unger

Lehrperson(en)

Prof. Dr. Jaan Unger

Verwendbarkeit
  • Bachelor Elektrotechnik
  • Bachelor Maschinenbau
  • Bachelor Mechatronik und Robotik
Fächergruppe

Ingenieurwissenschaften

Modultyp
Wahlpflicht
Sprache

Deutsch

Angebot

jährlich

Dauer

1 Semester

Credits

5 ECTS

Benotung

Deutsche Notenskala 1-5

SWS

2 V | 1 Ü | 1 P | - S

Workload
Präsenzstudium: 45 Std. Selbststudium: 90 Std.
Engl. Titel

Reinforcement Learning

Empfohlene Voraussetzungen
  • BB007: Mathematische Grundlagen für Ingenieurwissenschaften: Analysis, Gleichungen, Funktionen und mathematische Modellierung technischer Zusammenhänge.
  • BMB101: Lineare Algebra: lineare Algebra, Differenzialgleichungen, Eigenwerte und Vektorräume.
  • BB004: Grundlagen der Mechanik: Statik, Freischnitt und mechanische Grundmodelle.
  • BMB102: Dynamik: Kinematik und Kinetik bewegter mechanischer Systeme.
  • BB008: Informatik für Ingenieurwissenschaften: Programmiergrundlagen, Algorithmen und strukturierte Datenverarbeitung.
  • BMB103: Regelungstechnik: Modellbildung, Regelkreisstrukturen und Bewertung dynamischer Systeme.
  • BET204: Data Science für Industrie 4.0: Datenaufbereitung, Merkmalsbildung, maschinelles Lernen und Bewertung datengetriebener Modelle.
Lernergebnisse / Kompetenzen
WAS

Die Studierenden verstehen welche Fragestellungen mit Reinforcement Learning (RL) bearbeitet werden können und können für einfache Beispiele RL anwenden und zu Ergebnissen kommen, die sie bewerten können.

WOMIT

Die Studierenden erreichen dieses Lernergebnis, indem sie

für Fragestellungen aus dem Ingenieurwesen insb. dem Maschinenbau relevante physikalische Größen identifizieren und die reale Fragestellung formal in ein RL-Learning Problem überführen könne. Indem Sie für verschiedene Fragestellungen die jeweils geeignete RL-Methode auswählen, implementieren und die Ergebnisse bewerten. Indem sie ihre Kompetenzen im Rahmen von kleinen Projekten festigen und anwenden.

WOZU

Um in der Lage zu sein für RL geeignete Aufgabenstellungen zu identifizieren, für diese auf konzeptioneller Ebene in der Lage zu sein Lösungsstrategien zu entwickeln und diese bei Bedarf selbst umzusetzen oder diese mit externen Dienstleistern oder internen Spezialisten zu kommunizieren. Um in der Lage zu sein eigene und extern generierte Ergebnisse zu bewerten und zu verbessern.

Inhalte
  • Einführung: Agent-Umwelt Interaktion, Belohnungen und Zielfunktionen
  • Q-Lernen
  • Policy Gradient Methoden
  • Monte Carlo Methoden
  • Überblick über weitergehende Fragestellungen und deren Lösungsansätze
  • Bearbeitung von Anwendungsbeispielen aus den Bereichen Robotik, Medizintechnik, Vorausschauende Wartung, Maschinensteuerung, Energie- und Prozesstechnik
Prüfungsvorleistung

aktive Praktikumsteilnahme

Prüfungsleistung

Studienarbeit (10-20 Seiten) mit Fachgespräch (20 Minuten)

Literatur
  • Lorenz: Reinforcement Learning, Springer Vieweg; Auflage: 1., Aufl. 2020
  • Stutton, Barto: Reinforcement Learning, The MIT Press; Auflage: 2., Aufl. 2020