NAVER, Airflow 3.0 PoC에서 겪은 Python fork·GC 문제와 해결·업스트림 기여 과정 공개
발표 2026년 10월 8일
무슨 일인가
NAVER 데이터 입수 플랫폼팀이 Airflow 2.10.2에서 3.0으로 옮기는 PoC 경험을 2편짜리 글로 공개했다. Airflow가 task 프로세스를 fork로 만들면서 생긴 worker 메모리 증가와 MySQL 환경의 dag-processor 간헐 재시작이 모두 Python GC와 fork가 만나 생긴 문제였다고 설명했다. 원인 추적, 해결, 기여 과정도 함께 정리했다.
의미
대규모 배치 파이프라인을 Airflow 3으로 옮기려는 팀에게 실전 참고 자료다.