Aus dem Kurs: Apache Kafka lernen
So erhalten Sie Zugriff auf diesen Kurs
Werden Sie noch heute Mitglied und erhalten Sie Zugriff auf mehr als 23.200 Kurse von Branchenfachleuten.
Evolution der Daten – Tutorial zu Kafka
Aus dem Kurs: Apache Kafka lernen
Evolution der Daten
Nicht nur Systeme oder Architekturen verändern sich, sondern auch die Art und Weise, wie Daten verarbeitet werden. Traditionell hat man Daten oft über bestimmte Zeiträume gesammelt und auf diesem Datenbestand dann ein oder mehrere Programme ausgeführt. Dieses Vorgehen nennt man Batching. Batching ist unserer heutigen und schnelllebigen Zeit nicht mehr zielführend, denn fast immer dauern Batch Jobs sehr lange. Und dann sind entweder die Daten bereits veraltet oder es ist zu spät, auf der Grundlage des Ergebnisses, dann noch betriebsrelevante Entscheidungen zu treffen. Zusätzlich sind Batches sehr limitierend. Stellen Sie sich vor, mitten in der Verarbeitung tritt ein Fehler auf. Bricht der Job ab? Macht er weiter? Was ist mit dem fehlerhaften Datensatz? Stimmen jetzt noch die Folgedaten? Wurde eventuell sogar ein Rollback gemacht? Oder haben wir Duplikate? Das alles könnte bei einem Batch Job passieren. Stellen Sie sich vor, ein Folgebatch ist von dem korrekten Ausführen und dem…