Databricks – Datenpipelines und Lakehouse-Bestände nachvollziehbar aufbauen

Sie führen einen kleinen Datenbestand von der Rohdatenanlieferung bis zu einer geprüften Auswertung. Mit Databricks entsteht eine Pipeline, deren Verarbeitungsschritte und Ergebnisse nachvollziehbar bleiben. Sie behandeln verspätete Daten, erneute Verarbeitung und fehlerhafte Datensätze als normale Aufgaben des Datenbetriebs.

Dauer: 3 Tage.

• Eine kleine Lakehouse-Pipeline nachvollziehbar aufbauen.
• Wiederholung und verspätete Daten kontrollieren.
• Datenqualität und Betriebsaufwand an Messwerten bewerten.

• Einen Datenfluss mit Herkunft, Verarbeitungsstufen und fachlicher Zielauswertung entwerfen; Verantwortlichkeiten pro Bestand festhalten.
• Workspace, Rechenressourcen und Speicherzugriffe für eine begrenzte Testumgebung einrichten und Kostenrahmen bestimmen.
• Rohdaten aufnehmen und mit Spark-Verarbeitung sowie Delta-Tabellen strukturieren; Schemaannahmen und fehlerhafte Datensätze prüfen.
• Inkrementelle Verarbeitung, Schlüssel und wiederholte Läufe so planen, dass keine unbemerkten Doppelbestände entstehen.
• Notebooks und Jobs in einen nachvollziehbaren Ablauf überführen; Parameter, Abhängigkeiten und Fehlschläge behandeln.
• Ausgabequalität, Laufzeit und Ressourcenverbrauch prüfen; Quelländerungen und erneute Verarbeitung dokumentieren.

• Dateianlieferungen zu einer auswertbaren Tabelle verarbeiten und Mengen, Schlüssel sowie fachliche Summen zwischen den Stufen abgleichen.
• Eine Lieferung doppelt sowie eine verspätet einspielen und die Wirkung auf das Ergebnis mit passenden Regeln kontrollieren.
• Einen Jobfehler nach einer teilweise abgeschlossenen Verarbeitung beheben und den Wiederanlauf ohne doppelte Ergebnisse nachweisen.

Data Engineers, technisch orientierte Analysten und Entwickler von Datenpipelines.

Sichere SQL-Grundlagen und erste Python-Erfahrung; Verständnis tabellarischer Daten und einfacher Datenmodelle.

Cloudanbieter, Databricks-Workspace, Rechenmöglichkeiten und Testbudget werden vorab abgestimmt. Die Übungsdaten sind synthetisch und enthalten keine produktiven Kundendaten.

Sie erhalten eine Teilnahmebescheinigung von SCN.

Praxiseinstieg für Teilnehmende mit den genannten technischen Vorkenntnissen.

Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.

Diese Angebote behandeln ergänzende Schwerpunkte. Wählen Sie nach Ihren Aufgaben und den jeweiligen Voraussetzungen; eine verbindliche Kursreihenfolge ist damit nicht vorgegeben.

• Databricks – Zugriffe, Datenqualität und Betriebsabläufe kontrollieren