BIN101: Data Engineering
Lernpfad Daten und Künstliche Intelligenz
BIN101: Data Engineering
Prof. Dr. Klaus Weidenhaupt
Prof. Dr. Klaus Weidenhaupt
Bachelor Informatik
Informatik
Deutsch
Wintersemester
1 Semester
5 ECTS
Deutsche Notenskala 1-5
2 V | 1 Ü | 1 P | - S
Data Engineering
Keine angegeben.
WAS
Mit erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage, Datenarchitekturen für operative und analytische Zwecke zu entwerfen, diese mittels SQL und modernen Engineering-Tools zu implementieren sowie automatisierte, qualitätsgesicherte und sichere Datenpipelines zu entwickeln und zu betreiben.
WOMIT
Die Studierenden erreichen dieses Lernergebnis, indem sie
- SQL-Abfragen von einfachen Selektionen bis zu komplexen Analysen mit Window Functions und Common Table Expressions sicher formulieren,
- Datenbankschemata mittels Datendefinitionssprache erstellen und geeignete Datentypen sowie Integritätsbedingungen zur Datenkonsistenz wählen,
- Anwendungsanforderungen in Entity-Relationship-Modelle überführen und durch Normalisierung in relationale Strukturen transformieren,
- analytische Datenmodelle für Data-Warehouse-Szenarien entwerfen und spaltenorientierte Speicherung technisch begründen,
- automatisierte ETL- und ELT-Pipelines für heterogene Datenquellen implementieren,
- DataOps-Prinzipien durch Versionierung, Orchestrierung und automatisierte Qualitätskontrollen anwenden,
- Datensicherheitskonzepte und regulatorische Anforderungen durch Zugriffskontrollen, Maskierung und Anonymisierung berücksichtigen,
- NoSQL-Datenbanken und verteilte Data-Processing-Systeme anhand technischer Kriterien einordnen.
WOZU
Die Studierenden nutzen diese Kompetenzen, um als Data Engineers die Brücke zwischen Softwareentwicklung, IT-Betrieb und Data Science zu schlagen. Sie stellen sicher, dass Daten in hoher Qualität, skalierbar, sicher und unter Berücksichtigung moderner Entwicklungsprozesse für geschäftskritische Anwendungen und Analysen zur Verfügung stehen.
- Einführung in das Data Engineering: Rollenbilder und Data Engineering Lifecycle
- Relationaler Einstieg und SQL
- Fortgeschrittenes SQL mit Window Functions und CTEs
- Datenmodellierung, Integrität und Normalisierung
- DBMS-Performance, Transaktionsmanagement und Indizierung
- Analytical Engineering mit OLTP, OLAP und Dimensional Modeling
- Datenintegration und ETL-/ELT-Pipelines
- DataOps, Versionierung, Orchestrierung und Monitoring
- Datenqualität, Governance und Data Lineage
- Datensicherheit, Datenschutz und Zugriffskontrolle
- CAP-Theorem und verteilte Datenverarbeitung
- NoSQL und Big-Data-Speicherformen
Erfolgreiche Bearbeitung semesterbegleitender Aufgaben zur praktischen Anwendung von Data-Engineering-Konzepten und Methoden.
Computergestützte Klausurarbeit (120 Minuten). Das Prüfungskonzept umfasst den Entwurf von Datenmodellen, das Schreiben von SQL- und NoSQL-Abfragen, die Implementierung von Data Pipelines sowie den Transfer von Konzepten zu DataOps, Sicherheit und Data-Engineering-Architekturen.
- Alfons Kemper, Andre Eickler: Datenbanksysteme: Eine Einführung. 10. Auflage, De Gruyter Oldenbourg, 2015.
- Alan Beaulieu: Learning SQL. 3rd Edition, O’Reilly Media, 2020.
- Joe Reis, Matt Housley: Fundamentals of Data Engineering. 1st Edition, O’Reilly Media, 2022.
- Martin Kleppmann: Designing Data-Intensive Applications. 2nd Edition, O’Reilly Media, 2026.
- Ralph Kimball, Margy Ross: The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling. 3rd Edition, Wiley, 2013.
- Michael Kaufmann, Andreas Meier: SQL und NoSQL Datenbanken. 9. Auflage, Springer Vieweg, 2023.