as building IoT 2024 – Die Softwareentwicklerkonferenz zu Internet of Things und Industrial Internet of Things

Unsere abenteuerliche Reise von Batch-Verarbeitung zu Streaming in Spark

Für einen Kunden in der Automobilbranche entwickeln und betreiben wir ein System zur Aufnahme und Verarbeitung von Fahrzeugdaten. Das ursprüngliche tägliche Batch-Verfahren erfüllte die geschäftliche Anforderungen nicht mehr und ein Umstieg auf Echtzeitverarbeitung war notwendig.
In unserem Vortrag berichten wir über die Schritte, die wir bei der Migration von Spark Batch auf Spark Structured Streaming durchgeführt haben. Zusätzlich schildern wir die Hürden, die wir bewältigen mussten und die konzeptuellen Unterschiede zwischen Batch und Streaming. Schließlich erklären wir unsere Systemarchitektur und die Gedankengänge dahinter.

Vorkenntnisse

Allgemeine Vorkenntnisse zu HDFS, Spark, Kafka, Java und Scala

Lernziele

* Aufbau einer Data-Analytics-Architektur mit Spark Structured Streaming
* konzeptuellen Unterschiede zwischen Batch und Streaming kennen
* Herausforderungen bei der Umstellung von Batch auf Streaming wie Scala/Java-Integration, Checkpointing und Serialisierung in Spark sowie Neugenerierung historischer Daten

Speaker

 

Laura Stockinger
Laura Stockinger ist Softwarearchitektin bei der MaibornWolff GmbH. Sie gestaltet, entwickelt und betreut Lösungen in den Bereichen Big Data und IoT. Am liebsten entwirft und implementiert sie die Softwarearchitektur komplexer Systeme zusammen mit ihrem Team.

William Rogan
William Rogan ist Data Scientist bei der MaibornWolff GmbH. Er hat viele Jahre Erfahrung als Consultant und Entwickler in zahlreichen Branchen und Umfeldern. Er findet Daten spannend und ist am glücklichsten, wenn er mit neuen Technologien rumspielen und neue Datenvisualisierungen ausprobieren kann.

building-IoT-Newsletter

Sie möchten über die building IoT
auf dem Laufenden gehalten werden?

 

Anmelden