강의 소개

Airflow 3 실전 입문

매일 같은 시간에 데이터를 모으고, 실패하면 다시 돌리고, 끝나면 다음 작업을 이어 주는 도구가 Apache Airflow입니다. 2026년 11월에 나온 3.4.0을 내 컴퓨터에 직접 설치해 돌려 보며, 첫 DAG부터 서울 날씨를 매시간 모으는 파이프라인까지 만듭니다.


실습 DAG 다섯 개가 모두 성공한 Airflow 3.4 DAG 목록
이 교안의 실습 DAG 다섯 개를 Airflow 3.4.0에서 실제로 돌린 화면입니다(2026-11-22). 매일 9시 DAG, 재시도 DAG, 매시 정각 날씨 수집 DAG와 저장이 끝나면 이어 도는 요약 DAG, 3.4 신기능인 반복(Loop) DAG까지 실패 0건입니다.
3.4.02026-11-06 출시 버전 기준
11장설치부터 운영 판단까지
5개직접 돌려 본 실습 DAG
10문항사전·사후 평가

2026년에도 Airflow를 배워야 하나요

배울 가치가 있습니다. 2026년 11월 6일에 3.4.0이 나왔고, PyPI에서는 본체 패키지만 한 달에 650만 번 넘게 내려받습니다(2026-11-21 pypistats 기준). 레딧 데이터 엔지니어 커뮤니티에서도 "처음 고르는 오케스트레이터라면 Airflow가 무난한 선택"이라는 답이 가장 많은 추천을 받습니다. 다만 인터넷에 있는 튜토리얼 상당수가 Airflow 2 기준이라 그대로 따라 하면 3에서는 오류가 납니다. 이 교안은 처음부터 3.4 문법으로 씁니다.

지금

cron과 스크립트로 돌릴 때

  • 실패해도 아무도 모릅니다
  • 앞 작업이 끝났는지 확인하지 않고 다음 작업이 돕니다
  • 지난주 빠진 날짜를 다시 돌리려면 손으로 날짜를 바꿉니다
강의 후

Airflow로 돌릴 때

  • 실패하면 정해 둔 횟수만큼 다시 시도하고 화면에 빨갛게 남습니다
  • 앞 작업이 성공해야 다음 작업이 돕니다
  • 빠진 날짜는 백필 한 번으로 채웁니다

강의 흐름

기본

띄우고, 만들고, 돌리기

설치해서 화면을 띄우고, 첫 DAG를 만들고, 스케줄·시간대·백필·재시도를 직접 겪어 봅니다.

  • 00 Airflow가 하는 일
  • 01 설치하고 화면 띄우기
  • 02 첫 DAG 만들기
  • 03 스케줄과 시간대, 백필
  • 04 실패와 재시도
실전

진짜 데이터로 파이프라인

공공 날씨 API를 매시간 받아 검증하고 DuckDB에 저장한 뒤, 저장이 끝나면 요약 DAG가 자동으로 돕니다.

  • 05 API → 검증 → 저장
  • 06 Asset으로 DAG 잇기
최신

3.4 새 기능과 옮기기, AI와 같이 쓰기

Task Loops와 AI 작업을 써 보고, Airflow 2 코드를 3으로 옮기는 점검법, AI가 쓴 DAG를 검증하는 순서, 운영 방식 고르는 기준까지 다룹니다.

  • 07 Task Loops와 AI 작업
  • 08 Airflow 2 코드 옮기기
  • 09 AI에게 DAG 맡기고 검증하기
  • 10 운영 방식과 도구 고르기

이런 분께 맞습니다

Python 함수를 읽을 수 있으면 따라올 수 있습니다. 터미널 명령은 그대로 복사해 붙여 넣으면 됩니다.

다음
00. Airflow가 하는 일
이어보기 →