Expert Minds
Apache KafkaAlle teknologier dbt

Data

Apache Airflow

Opprinnelse

Airflow oppsto i 2014 hos Airbnb og ble et Apache-prosjekt i 2016. Det orkestrerer komplekse datamengder som kode via rettede asykliske grafer (DAGs).

Fordeler

  • Pipelines som Python-kode, versjonsstyrbare
  • Stort utvalg av operatorer
  • Etablert standard innen Data Engineering

Ulemper

  • Mindre egnet for strømming enn spesialiserte verktøy
  • Skalering krever valg av 'executor' (Celery, Kubernetes)

Utvalgte prosjekter

Energibransjen

Datagrunnlag for pris- og scenariostyring innen energisal

I et energisalgs-miljø ble videreutviklingen og driften av en sentral dataløsning for prisstyring, planlegging og scenarioanalyser støttet. Løsningen behandler omfattende faglige og tekniske dataflyter, kontrollerer deres kvalitet og konsoliderer dem til pålitelige utgangsdata for operative samt mellomlangsiktige beslutninger. Dette inkluderte modellering og automatisering av datapipliner, levering av relevante nøkkeltall og sikring av et sporbart datagrunnlag for rapportering og styring.

Les mer

Et prosjekt med Apache Airflow?

Vi bringer erfarne eksperter til prosjektet ditt. Ta kontakt.

Be om en samtale