Apache Airflow

Ontstaan

Airflow ontstond in 2014 bij Airbnb en werd in 2016 een Apache-project. Het orkestreert complexe data-pipelines als code via gerichte acyclische grafen (DAG's).

Voordelen

Pipelines als Python-code, versiebeheerbaar
Grote selectie aan operators
Gevestigde standaard in Data Engineering

Nadelen

Minder geschikt voor streaming dan gespecialiseerde tools
Schaalvergroting vereist Executor-keuze (Celery, Kubernetes)

Geselecteerde projecten

Alle projecten

Energiesector

Databasis voor prijs- en scenariosturing in energiedistributie

In een omgeving voor energiedistributie werd de verdere ontwikkeling en exploitatie van een centrale datapoplossing voor prijsbeheer, planning en scenarioanalyses ondersteund. De oplossing verwerkt uitgebreide functionele en technische datastromen, controleert de kwaliteit ervan en consolideert deze tot betrouwbare uitgangsgegevens voor operationele en middellange termijn beslissingen. Dit omvatte de modellering en automatisering van datapijplijnen, de levering van relevante KPI's en het waarborgen van een traceerbare databasis voor rapportage en sturing.

Meer weten

Project met Apache Airflow gepland?

Wij brengen ervaren experts in uw project. Neem contact met ons op.

Gesprek aanvragen