Apache Airflow

Origine

Airflow est né en 2014 chez Airbnb et est devenu un projet Apache en 2016. Il orchestre des Data Pipelines complexes en tant que code via des graphes acycliques dirigés (DAGs).

Avantages

Pipelines comme code Python, versionnable
Large choix d'opérateurs
Standard établi en Data Engineering

Inconvénients

Moins adapté au streaming que des outils spécialisés
L'évolutivité nécessite le choix de l'exécuteur (Celery, Kubernetes)

Projets sélectionnés

Tous les projets

Secteur de l'énergie

Base de données pour le pilotage des prix et des scénarios dans la distribution d'énergie

Dans un environnement de distribution d'énergie, le développement et l'exploitation d'une solution de données centrale pour le pilotage des prix, la planification et l'analyse de scénarios ont été soutenus. La solution traite d'importants flux de données techniques et métier, vérifie leur qualité et les consolide en données de base fiables pour les décisions opérationnelles et à moyen terme. Cela incluait la modélisation et l'automatisation des pipelines de données, la fourniture d'indicateurs pertinents et la sécurisation d'une base de données traçable pour le reporting et le pilotage.

Un projet avec Apache Airflow ?

Nous apportons des experts confirmés à votre projet. Parlons-en.

Demander un échange