Apache Airflow

Entstehung

Airflow entstand 2014 bei Airbnb und wurde 2016 Apache-Projekt. Es orchestriert komplexe Data-Pipelines als Code über gerichtete azyklische Graphen (DAGs).

Vorteile

Pipelines als Python-Code, versionierbar
Große Auswahl an Operatoren
Etablierter Standard im Data Engineering

Nachteile

Für Streaming weniger geeignet als spezialisierte Tools
Skalierung erfordert Executor-Wahl (Celery, Kubernetes)

Ausgewählte Projekte

Alle Projekte

Energiewirtschaft

Datenbasis für Preis- und Szenariosteuerung im Energievertrieb

In einem Energievertriebsumfeld wurde die Weiterentwicklung und der Betrieb einer zentralen Datenlösung für Preissteuerung, Planung und Szenarioanalysen unterstützt. Die Lösung verarbeitet umfangreiche fachliche und technische Datenflüsse, prüft deren Qualität und konsolidiert sie zu verlässlichen Ausgangsdaten für operative sowie mittelfristige Entscheidungen. Dazu gehörten die Modellierung und Automatisierung von Datenpipelines, die Bereitstellung relevanter Kennzahlen und die Absicherung einer nachvollziehbaren Datenbasis für Reporting und Steuerung.

Mehr erfahren

Projekt mit Apache Airflow geplant?

Wir bringen erfahrene Experten in Ihr Vorhaben. Sprechen Sie uns an.

Gespräch anfragen