Apache Airflow

Origem

O Airflow surgiu em 2014 no Airbnb e tornou-se um projeto Apache em 2016. Orquestra pipelines de dados complexos como código através de grafos acíclicos direcionados (DAGs).

Vantagens

Pipelines como código Python, versionável
Grande seleção de operadores
Padrão estabelecido em Data Engineering

Desvantagens

Menos adequado para streaming do que ferramentas especializadas
A escalabilidade exige a escolha do Executor (Celery, Kubernetes)

Projetos selecionados

Todos os projetos

Setor Energético

Base de Dados para Controle de Preços e Cenários em Vendas de Energia

Num ambiente de vendas de energia, foi apoiado o desenvolvimento e a operação de uma solução central de dados para controle de preços, planeamento e análises de cenários. A solução processa fluxos de dados técnicos e especializados extensos, verifica a sua qualidade e consolida-os em dados de saída confiáveis para decisões operacionais e de médio prazo. Isso incluiu a modelagem e automação de pipelines de dados, a disponibilização de KPIs relevantes e a garantia de uma base de dados rastreável para relatórios e controlo.

Saber mais

Um projeto com Apache Airflow?

Levamos especialistas experientes ao seu projeto. Fale connosco.

Pedir contacto