DynaFlow: 자유형 멀티 에이전트 오케스트레이션 학습

문제

멀티 에이전트 시스템은 역할과 통신 구조를 미리 정해 두는 경우가 많아, 단순 질문에도 불필요한 협업 비용이 들고 과제별 요구에 맞추기 어렵다. 자동 워크플로 설계 연구도 정해진 연산자 템플릿을 쓰거나, 중간 실행 결과를 보지 않고 한 번에 전체 구조를 만드는 한계가 있다.

방법

메인 에이전트의 행동 공간에 '직접 답하기', '일반 도구 호출', '워크플로 프로그램 작성·실행'을 넣는다. 워크플로는 JavaScript로 하위 에이전트 역할, 순차·병렬 실행, 중간 결과 전달·검증을 정의하며, 실행 결과와 trace를 보고 다음 행동(후속 워크플로 등)을 정한다. 학습은 메인 에이전트만 대상으로 한다. 1단계에서 Teacher 모델(GLM-5.3 Max)이 만든 정답 Trajectory 2,031개의 첫 턴을 Distill해 QLoRA로 SFT하고, 2단계에서 LLM Judge로 근거 없는 전제 주입, 편향된 검증 지시, 정보 흐름 결함이 있는 예시를 걸러낸 712개로 추가 학습한다. 하위 에이전트는 모두 학습하지 않은 Qwen3.5-27B로 고정한다.

결과

• 6개 벤치마크(AIME 2024~2026, PolyMATH, GPQA-Diamond, HotpotQA) 688문항 전체 정확도가 Forced 모드 88.08%로, 최강 기준선 Self-Refine(77.18%)보다 10.90%p 높았다.
• Dynamic 모드는 87.94%로 Forced와 비슷한 정확도를 내면서 47.1%의 문항은 워크플로 없이 답했다.
• 학습 전 메인 에이전트는 Forced 모드 75.87%, Dynamic 모드 65.12%에 그쳐, 워크플로가 학습 뒤에야 도움이 됐다. Forced 모드는 AIME 세 해 모두 100%를 기록했다.
• GPQA-Diamond에서는 Forced 84.85%로 Base Forced(77.78%)보다 높았지만 Self-Refine(88.38%)과 AFlow(87.37%)에는 못 미쳤다.
• HotpotQA에서는 Dynamic 84.50%, Forced 83.50%로 Base + Web search(77.50%)보다 6~7%p 높았다.

한계

평가는 688문항, 단일 백본(Qwen3.5-27B)과 같은 모델의 고정 하위 에이전트 조합에 한정된다. 2단계 데이터 선별은 LLM Judge에 의존한다. 도구 없는 기준선은 HotpotQA에서 검색 권한이 없어 직접 비교가 어렵다고 저자들도 밝혔다. 워크플로 실행에 따른 추가 계산 비용과 지연은 제공된 본문 범위에서 정량적으로 확인하지 못했다.

의미

하위 모델은 그대로 두고 조율자만 학습해도 성능이 크게 오를 수 있음을 보여준다. 기존 사전학습 모델을 재학습 없이 실행기로 재사용하는 멀티 에이전트 설계에 실용적인 시사점을 준다. 중간 결과를 명시적으로 전달하고 검증하는 정보 흐름이 핵심 품질 요소라는 분석도 참고할 만하다.

핵심 용어

오케스트레이션(Orchestration)

여러 모델·도구 호출의 순서, 병렬 여부, 결과 전달을 조직해 과제를 푸는 일이다.

Forced / Dynamic 모드

Forced는 첫 행동으로 반드시 워크플로를 실행하게 하는 설정이고, Dynamic은 직접 답할지 워크플로를 쓸지를 모델이 고르는 설정이다.

Premise injection(전제 주입)

메인 에이전트가 문제에 없는 답 결정적 주장을 하위 에이전트에게 확정된 전제처럼 넘기는 결함이다. 2단계 데이터 선별에서 걸러내는 대상이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Ruhao Liu, Qi Li, Shizun Wang, Xinchao Wang · 게시 2026-10-25 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.