NAVER公开Airflow 3.0 PoC中遇到的Python fork与GC问题及其解决和上游贡献过程
发布 2026年10月8日
已核实(事实)
NAVER数据接入平台团队以两篇文章公开了从Airflow 2.10.2迁移到3.0的PoC经验。文章解释称,Airflow以fork方式创建task进程导致的worker内存增长,以及MySQL环境下dag-processor的间歇性重启,都是Python GC与fork相互作用引起的问题。文章还整理了原因追踪、解决和贡献过程。
意义(解读)
对计划将大规模批处理流水线迁移到Airflow 3的团队来说是实战参考资料。
来源
更多关于 NAVER
-
据报道,韩国议员崔亨斗称政府26万张GPU中81%为企业公布计划的加总,政府份额也按合同和订单统计
韩国国会科学技术信息广播通信委员会国民力量党干事、议员崔亨斗公开了从科学技术信息通信部和韩国信息通信产业振兴院(NIPA)获取的国政监查资料。资料显示,政府称正推进确保的26万张GPU中,民间份额21万张(约81%)是将企业公布的计划相加得出的数字,这些企业与政府之间并无协...
-
NAVER Cloud 与越南 FPT 签署共同推进 AI 工厂的 MOU,扩大韩国、日本、越南 GPUaaS 业务(报道)
NAVER Cloud 与越南 IT 企业 FPT 签署谅解备忘录(MOU),将共同探讨 AI 工厂业务的规划、开发和运营,目标是在韩国、日本、越南等亚太市场共同扩大 GPUaaS 业务。FPT 被介绍为 NVIDIA 云合作伙伴。
-
NAVER 地图成为韩国首个支持 AI 眼镜语音导航的地图应用,先支持 Meta,Google 和三星眼镜年内跟进(报道)
NAVER 于 12 日表示,将把 NAVER 地图导航扩展到 AI 眼镜,这在韩国地图服务中尚属首次。该功能先在 Meta 的“Ray-Ban Meta”和“Oakley Meta”上提供,之后也将用于计划年内推出的 Google...
-
韩国公务员用泛政府AI平台搭载LLM:国产4款、外国6款,由Samsung SDS和NAVER Cloud搭建(报道)
根据金长谦议员办公室(韩国国会科学技术信息广播通信委员会)从科学技术信息通信部获得的资料,泛政府超大规模AI公共基础平台共搭载11款LLM,其中Samsung SDS平台5款、NAVER...