Automatische Datenprozessierung mit gleichzeitiger Transformation des Schemas unter Nutzung von Apache Nifi

Ulm University

BA Abschlussvortrag, Lukas Wagner, Ort: Zoom, Datum: 01.09.2021, Zeit: 12:00 Uhr

Die Menge an Daten, welche durch Informationssysteme eines Unternehmens wie beispielsweise Amazon, Netflix oder Twitter, ausgewertet und abgespeichert werden müssen, wächst von Jahr zu Jahr exponentiell. Neben Datenverarbeitung spielt auch die Datenspeicherung eine wesentliche Rolle. Darüber hinaus steigt die Komplexität moderner Informationssysteme durch die Kommunikation zu vielen unterschiedlichen IoT-Devices. Primär Entwickler und Systemadministratoren müssen sich diesen Herausforderungen stellen. Für fortschrittliche Herangehensweisen an solche Problematiken, bietet die Apache Software Foundation mit NiFi und Kafka, lösungsorientierte Ansätze. Ziel dieser Arbeit ist es, einen performancestarken Anwendungsfall mit Hilfe von Apache NiFi zu schaffen. Dabei werden auch Teile eines Kafka-Systems mitein- gebunden. Durch das zu realisierenden Systems können die Herausforderungen beim Replizieren einer Datenquelle überwunden werden. Konkreter soll eine Datenbank eines Microsoft SQL Servers auf eine Datenbank eines MariaDB Servers übertragen werden. Hierbei wird auch die Transformation der Datenschemata bewerkstelligt.