Aus dem Kurs: Apache Kafka lernen

So erhalten Sie Zugriff auf diesen Kurs

Werden Sie noch heute Mitglied und erhalten Sie Zugriff auf mehr als 23.200 Kurse von Branchenfachleuten.

Evolution der Daten

Evolution der Daten – Tutorial zu Kafka

Aus dem Kurs: Apache Kafka lernen

Evolution der Daten

Nicht nur Systeme oder Architekturen verändern sich, sondern auch die Art und Weise, wie Daten verarbeitet werden. Traditionell hat man Daten oft über bestimmte Zeiträume gesammelt und auf diesem Datenbestand dann ein oder mehrere Programme ausgeführt. Dieses Vorgehen nennt man Batching. Batching ist unserer heutigen und schnelllebigen Zeit nicht mehr zielführend, denn fast immer dauern Batch Jobs sehr lange. Und dann sind entweder die Daten bereits veraltet oder es ist zu spät, auf der Grundlage des Ergebnisses, dann noch betriebsrelevante Entscheidungen zu treffen. Zusätzlich sind Batches sehr limitierend. Stellen Sie sich vor, mitten in der Verarbeitung tritt ein Fehler auf. Bricht der Job ab? Macht er weiter? Was ist mit dem fehlerhaften Datensatz? Stimmen jetzt noch die Folgedaten? Wurde eventuell sogar ein Rollback gemacht? Oder haben wir Duplikate? Das alles könnte bei einem Batch Job passieren. Stellen Sie sich vor, ein Folgebatch ist von dem korrekten Ausführen und dem…

Inhalt