Die Softwareentwicklerkonferenz
zu Internet of Things und Industrie 4.0
Köln, KOMED, 1.-3. April 2019

building IoT 2019 » Programm »

// Unsere abenteuerliche Reise von Batch-Verarbeitung zu Streaming in Spark

Für einen Kunden in der Automobilbranche entwickeln und betreiben wir ein System zur Aufnahme und Verarbeitung von Fahrzeugdaten. Das ursprüngliche tägliche Batch-Verfahren erfüllte die geschäftliche Anforderungen nicht mehr und ein Umstieg auf Echtzeitverarbeitung war notwendig.
In unserem Vortrag berichten wir über die Schritte, die wir bei der Migration von Spark Batch auf Spark Structured Streaming durchgeführt haben. Zusätzlich schildern wir die Hürden, die wir bewältigen mussten und die konzeptuellen Unterschiede zwischen Batch und Streaming. Schließlich erklären wir unsere Systemarchitektur und die Gedankengänge dahinter.

Vorkenntnisse
Allgemeine Vorkenntnisse zu HDFS, Spark, Kafka, Java und Scala

Lernziele
* Aufbau einer Data-Analytics-Architektur mit Spark Structured Streaming
* konzeptuellen Unterschiede zwischen Batch und Streaming kennen
* Herausforderungen bei der Umstellung von Batch auf Streaming wie Scala/Java-Integration, Checkpointing und Serialisierung in Spark sowie Neugenerierung historischer Daten

// Laura Stockinger Laura Stockinger

ist Softwarearchitektin bei der MaibornWolff GmbH. Sie gestaltet, entwickelt und betreut Lösungen in den Bereichen Big Data und IoT. Am liebsten entwirft und implementiert sie die Softwarearchitektur komplexer Systeme zusammen mit ihrem Team.


// William Rogan William Rogan

ist Data Scientist bei der MaibornWolff GmbH. Er hat viele Jahre Erfahrung als Consultant und Entwickler in zahlreichen Branchen und Umfeldern. Er findet Daten spannend und ist am glücklichsten, wenn er mit neuen Technologien rumspielen und neue Datenvisualisierungen ausprobieren kann.