멀티 에이전트 시스템: 역할 분담과 협업의 득실

왜 필요했나: 한 모델에게 전부 맡기는 방식의 한계

LLM 하나에 시스템 프롬프트 하나, 도구 몇 개를 붙인 단일 에이전트는 만들기 쉽고 동작을 추적하기도 쉽다. 하지만 일이 길고 복잡해지면 한 에이전트가 계획도 세우고, 자료도 찾고, 코드도 고치고, 결과도 검증해야 한다. 컨텍스트 윈도(모델이 한 번에 볼 수 있는 글의 양)는 금세 차고, 스스로 쓴 답을 스스로 검토하는 데에도 한계가 있다.

멀티 에이전트 시스템은 이 일을 여러 에이전트에게 나눠 맡기는 설계다. MANTA논문는 LLM 기반 멀티 에이전트 시스템이 복잡한 문제를 잘 푸는 이유로 과제 분해, 에이전트 전문화, 정보 교환, 중간 검증 네 가지를 든다. 사람 조직이 기획·실무·검수를 나누는 것과 같은 논리다.

또 하나의 동기는 '다른 관점'이다. 법률 추론에 멀티 에이전트 숙의를 적용한 연구논문는 법정 절차에서 착안한 두 가지 프레임워크를 제안했는데, 전체 성능은 단일 LLM과 비슷했지만 내놓는 답이 상당히 달랐다. 단일 모델이 못 푼 사건을 멀티 에이전트가 풀기도 하고, 그 반대도 있었다. 여러 관점에서 비판적으로 따져 봐야 하는 질문에서 특히 멀티 에이전트 쪽이 나은 사례가 보였다고 한다.

다만 '나누면 더 잘한다'는 기대가 언제 맞는지는 분명하지 않았다. 이 글은 역할 분담이 어떻게 설계되는지와 함께, 협업이 실제로 값을 하는지를 따진 최근 실험까지 함께 다룬다.

핵심 아이디어: 프로젝트 팀을 꾸리는 일

멀티 에이전트 시스템은 프로젝트 팀을 꾸리는 일에 비유할 수 있다. 팀장은 일을 쪼개고(과제 분해), 쪼갠 일을 누구에게 맡길지 정하고(역할 배정), 회의 구조를 정하고(누가 누구에게 보고하고 누가 누구와 상의하나), 프로젝트가 끝나면 누가 잘했고 누가 발목을 잡았는지 평가한다(공로 배분).

이 비유에서 중요한 점은 팀원 수를 늘린다고 성과가 따라오지 않는다는 것이다. 회의가 많아지면 소통 비용이 늘고, 각자 맡은 부분만 보다가 전체 그림을 놓치기도 하며, 실패했을 때 누구 책임인지 가리기 어렵다. 멀티 에이전트 시스템도 똑같은 문제를 겪는다. ACTS논문는 '누가 누구와 언제 말할지'를 정하는 일이 협업 성능과, 에이전트 수에 따라 지수적으로 늘어나는 토큰 비용 사이의 균형 문제라고 정리한다.

그래서 이 분야 연구는 크게 네 질문으로 나뉜다. 일을 어떻게 나눌까, 어느 모델이 어떤 역할에 맞을까, 소통 구조를 어떻게 짤까, 팀 전체가 받은 하나의 보상을 각 에이전트에게 어떻게 나눠 줄까(Credit assignment, 공로 배분). 뒤의 절들은 모두 이 네 질문 중 하나 이상에 대한 답이다.

어떻게 작동하나: 분해, 배정, 소통, 검증

가장 흔한 형태는 계층형이다. 메인 에이전트(계획자 또는 오케스트레이터)가 과제를 받아 하위 과제로 나누고, 이를 서브에이전트(특정 하위 작업을 맡는 보조 에이전트)에게 넘긴다. M-GRPO논문가 다루는 구조가 이것으로, 계획을 맡는 메인 에이전트 하나와 여러 차례 도구를 호출하며 실제 작업을 하는 서브에이전트 여럿으로 이뤄진다.

첫 단계는 과제 분해다. DeOrch논문는 이 단계에서 어떤 작업자가 있는지 모르는 채로 먼저 과제를 나누게 한다. 작업자 정보와 계획을 묶어 두면 작업자 풀(pool)이 바뀔 때마다 계획자를 다시 학습해야 하기 때문이다. 둘째 단계는 배정이다. DeOrch는 고정된 탐색용 문제 묶음에 대한 작업자들의 행동을 보고 적합도를 추정하는 가벼운 매처(matcher)를 두고, 실행 중에는 문맥 밴딧(상황에 따라 선택지를 고르며 결과로 배우는 단순한 강화학습 기법)으로 계속 보정한다. 동적 역할 배정 연구논문는 본 토론에 앞서 '역할을 누가 맡을지'를 정하는 Meta-Debate를 연다. 후보 모델들이 각 역할에 맞춘 주장을 내놓고(제안), 데이터와 역할별 기준으로 서로 점수를 매겨(동료 평가) 자리마다 가장 맞는 모델을 고른다.

셋째 단계는 소통이다. 에이전트들이 메시지를 주고받는 연결 구조를 토폴로지라고 부른다. 모두가 모두와 이야기하게 하면 정보는 풍부하지만 토큰이 폭증하고, 한 줄로만 잇게 하면 싸지만 정보가 막힌다. MANTA논문는 과제에 맞춘 초기 토폴로지에서 출발해, 실행 중 협업 기록을 지켜보다가 현재 조직이 부족하다고 판단되면 역할·연결·실행 순서·정보 공개 범위·검증 경로를 정해진 범위 안에서 고친다. 이때 과제 입출력 형식과 에이전트 예산은 바꾸지 않는다.

마지막은 검증·종합과 학습이다. 결과가 나오면 팀 전체가 하나의 성공·실패 신호를 받는데, 이를 계획 잘못인지 작업자 잘못인지로 나눠야 다음에 고칠 곳이 보인다. DeOrch는 분해 결정과 협업 결정에 공로를 조건부로 나눠 주고, M-GRPO는 메인 에이전트와 서브에이전트 각각에 대해 그룹 상대 이득을 계산해 계층별로 공로를 나눈다.

발전 흐름: 출발점 연구들이 새로 한 것

2025년의 출발점 연구들은 '여러 주체에게 일을 어떻게 나눠 맡기나'를 운영과 학습 양쪽에서 다뤘다. CrowdAgent논문는 실제 크라우드소싱 회사에서 착안해 데이터 라벨링 전 과정을 멀티 에이전트로 관리한다. LLM, 소형 언어 모델(SLM), 사람 전문가라는 서로 다른 라벨링 주체에게 과제를 배정하고 품질과 비용 사이의 균형까지 함께 관리하는 것이 핵심이다. 역할 분담이 '모델끼리'만이 아니라 사람까지 포함한 자원 배분 문제임을 보여 준다.

M-GRPO논문는 학습 쪽 문제를 정면으로 다뤘다. 기존에는 모든 에이전트를 하나의 LLM으로 학습했는데, 역할마다 다루는 데이터 분포가 달라 성능에 한계가 있다고 봤다. 에이전트마다 다른 LLM을 학습하려면 새 문제가 생긴다. 에이전트마다 호출 빈도가 다르고, Rollout(모델이 실제로 한 번 실행해 보는 과정)마다 서브에이전트 호출 횟수가 달라지며, 서로 다른 서버에 올라가 있어 역전파가 끊긴다. M-GRPO는 호출 수가 달라도 고정 크기 배치를 만드는 Trajectory Alignment 방식과, 서버끼리 최소한의 통계만 공유 저장소로 주고받는 분리형 학습 파이프라인으로 이를 풀었다. GAIA, XBench-DeepSearch, WebWalkerQA에서 단일 에이전트 GRPO보다 꾸준히 나았다고 보고한다.

2026년에는 역할과 구조 자체를 유연하게 만드는 연구가 이어졌다. 동적 역할 배정논문은 기존 토론 시스템 위에 얹었을 때 모든 역할을 같은 모델로 채우는 방식보다 최대 74.8%, 무작위 배정보다 최대 29.7% 나았다(과제와 배정 조합에 따라 다름). MANTA논문는 정보 탐색, 도구 사용, 계획, 워크플로 실행, 수학 추론에 걸친 다섯 벤치마크에서 평균 74.0점으로 가장 강한 기준선보다 5.8%p 높았다. DeOrch논문는 경쟁하는 학습형 오케스트레이터보다 작업자 호출을 덜 쓰면서도 성능이 높았고, 한 번도 본 적 없는 작업자 풀로 옮겨도 재학습 없이 효과가 유지됐다.

같은 시기에 '협업이 정말 되는가'를 따지는 연구도 나왔다. CRAFT논문는 각 에이전트가 3D 구조물의 일부만 볼 수 있어 자연어로만 협응해야 하는 벤치마크다. 오픈웨이트 모델 8개와 추론 모델을 포함한 프런티어 모델 7개를 시험한 결과, 추론 능력이 강하다고 협응을 잘하지는 않았고 작은 오픈웨이트 모델이 프런티어 모델과 비슷하거나 앞서기도 했다. 개인의 소통이 나아져도 팀의 성공으로 이어지지 않았다. 실패를 공간 이해, 상대의 생각 추정(믿음 모델링), 맥락에 맞는 소통 오류로 나눠 진단하는 틀도 함께 내놓았다.

협업은 언제 값을 하나: 득과 실의 실험

2026년 10월에 나온 두 연구는 멀티 에이전트의 이점을 통제된 실험으로 따졌다. 사용자 대화 환경을 다룬 연구논문는 기존에 제시된 '능력 포화 규칙'을 검증했다. 이 규칙은 단일 에이전트가 약할 때는 협업이 돕고 강해지면 오히려 해가 되며, 그 경계가 단일 에이전트 정확도 45% 근처라는 내용인데, 사용자가 없는 자율 벤치마크에서 나온 것이다. 연구진은 사용자와 에이전트가 함께 상황을 바꾸는 τ²-bench의 항공·소매·통신 분야에서 같은 모델로 만든 단일 에이전트와 중앙집중형 멀티 에이전트를 비교했다. 세 계열 여섯 모델로 약 7,950번의 시뮬레이션 대화를 돌렸고, 실험 계획을 미리 공개 등록했다.

결과는 멀티 에이전트에 불리했다. 고정된 시뮬레이션 사용자 아래에서 유효한 13칸 중 12칸에서 멀티 에이전트가 더 나빴고 나머지 한 칸은 비겼다. 가중 평균으로 -28점이었다. 규칙이 이득을 예측한 두 칸에서도 13점, 22점 졌고, 예산 상한을 없애도 단일 에이전트의 5.5배 토큰을 써서야 겨우 비슷해졌다. 연구진은 멀티 에이전트의 계획자가 도구 스키마를 보지 못했다는 한계도 스스로 밝혔다. 즉 이 결과는 '이 구성의 멀티 에이전트'에 대한 것이지만, 계획자와 실행자 사이 정보 단절이 얼마나 큰 손실을 낼 수 있는지 보여 주는 사례이기도 하다.

금융 검토 연구논문는 '일을 나누면 문서 검토를 더 잘한다'는 실무 통념을 좁게 시험했다. 신용평가 메모 300건(합성 데이터)을 여섯 가지 요건에 비춰 검토하는데, 한 에이전트가 여섯 요건을 한 번에 보는 방식과, 같은 모델 세 개가 두 요건씩 나눠 보는 방식을 비교했다. 팀은 결함을 0.08~0.10 더 잡았지만 네 모델 모두에서 오탐(문제가 없는데 문제라고 한 경우)도 늘었다. 둘을 합친 균형 정확도 변화는 0.02 이하였고, 토큰은 2.2~2.4배 들었다. 오히려 단일 에이전트를 세 번 실행해 한 번이라도 걸리면 표시하는 방식이 일부 모델에서 팀보다 균형 정확도가 높았다. 각 에이전트에게 자기가 맡지 않은 요건도 보여 주면 늘어난 오탐이 줄었는데, 이는 '자기 몫만 보는' 분업의 부작용을 시사한다.

두 연구를 합치면 실무에 쓸 기준이 하나 나온다. 멀티 에이전트의 이점을 판단할 때는 단일 에이전트 한 번 실행이 아니라, 같은 토큰 예산을 단일 에이전트에 썼을 때(여러 번 샘플링, 더 긴 추론 등)와 비교해야 공정하다.

요즘 어디로 가고 있나: 소통 구조를 배우는 시스템

최근 흐름은 역할과 소통 구조를 사람이 미리 정해 두지 않고, 상황에 따라 학습하거나 바꾸게 하는 쪽이다. 앞서 본 MANTA논문가 실행 중 구조를 고치는 쪽이라면, DeOrch논문는 계획과 작업자 선택을 떼어 놓아 작업자가 바뀌어도 시스템을 다시 학습하지 않게 하는 쪽이다. 둘 다 '팀 구성을 고정된 설계 선택이 아니라 운영 중에 조정하는 대상'으로 본다.

ACTS논문는 이 흐름을 소통 일정 문제로 좁혀 다룬다. 기존 방식은 소통 그래프를 고정해 문제 풀이 상태에 따라 바꾸지 못하거나, 역할끼리의 보완 관계를 무시했다는 것이 출발점이다. ACTS는 중앙집중 학습·분산 실행(CTDE, 학습할 때는 팀 전체 정보를 쓰고 실행할 때는 각자 판단하는 방식) 틀 안에서 두 종류의 어텐션을 쓴다. 하나는 역할과 현재 실행 상태를 보고 이번에 이야기할 상대를 고르는 모듈이고(상대 수도 매번 달라질 수 있다), 다른 하나는 이렇게 만들어진 방향 있는 소통 그래프를 팀 가치 분해에 직접 반영해 공로를 더 정확히 나누는 모듈이다. 코드 생성, 다단계 추론, 일반 지식, 수학 경시 문제에 걸친 9개 벤치마크에서 평가했다.

이 연구들의 공통점은 '더 많은 대화'가 아니라 '필요한 대화만'을 목표로 한다는 점이다. 앞 절의 실험들이 보여 준 토큰 비용과 정보 단절 문제를 생각하면 자연스러운 방향이다. 다만 이런 학습형 오케스트레이션이 사용자 대화형 업무에서도 단일 에이전트를 넘는지는 아직 입력 자료 안에서 확인되지 않는다.

한계와 쟁점

첫째, 비용이다. 에이전트 사이 메시지도 모두 토큰이고, 역할이 늘수록 같은 맥락을 여러 번 읽힌다. 금융 검토 실험논문의 2.2~2.4배, τ²-bench 실험논문의 5.5배 같은 수치는 성능 차이가 작을 때 비용이 결정적인 판단 기준이 된다는 것을 보여 준다.

둘째, 정보 단절과 책임 소재다. 분업은 각 에이전트가 전체를 보지 못하게 만든다. τ²-bench 실험에서 계획자가 도구 스키마를 못 본 점, 금융 실험에서 다른 요건을 보여 주자 오탐이 준 점은 같은 문제의 두 얼굴이다. 실패했을 때 어느 에이전트의 잘못인지 가리는 공로 배분은 학습의 핵심 난제로 남아 있고, DeOrch논문·M-GRPO논문·ACTS논문가 모두 이를 다루는 이유이기도 하다.

셋째, 협응 능력 자체가 아직 약하다. CRAFT논문는 강한 추론 모델도 부분 정보 아래 협응에서는 잘 못하며, 이 문제가 근본적으로 풀리지 않았다고 결론 내린다. 법률 숙의 연구논문처럼 멀티 에이전트가 '다른 답'을 내는 것은 사람이 검토할 후보를 넓히는 데는 쓸모 있지만, 그 자체가 정확도 향상을 뜻하지는 않는다.

넷째, 일반적인 설계 관점에서 보면 에이전트와 연결이 늘수록 메시지가 지나가는 경로와 권한도 늘어난다. 각 에이전트에 필요한 도구와 정보만 주는 최소 권한 원칙, 에이전트 사이 메시지 형식 검사 같은 장치가 단일 에이전트보다 더 중요해진다.

더 공부하려면

협업의 득실을 먼저 감 잡고 싶다면 금융 검토 비교 연구논문부터 읽기를 권한다. 설정이 단순하고, 놓친 결함과 오탐을 따로 재기 때문에 '분업이 무엇을 바꾸는지'가 선명하게 보인다. 이어서 사용자 대화 환경 연구논문를 읽으면 능력 포화 규칙과 공정한 비교 설계(사전 등록, 토큰 장부)가 무엇인지 알 수 있다.

설계 방법을 공부하려면 역할 배정의 동적 역할 배정논문, 소통 구조의 MANTA논문와 ACTS논문, 계획·작업자 분리의 DeOrch논문 순으로 읽으면 네 가지 결정(분해·배정·소통·공로 배분)이 하나씩 짚어진다. 학습까지 관심이 있다면 계층형 시스템을 강화학습으로 훈련하는 M-GRPO논문가 실제 인프라 문제(서버 분리, 가변 Rollout)를 함께 다뤄 도움이 된다.

협업이 왜 어려운지를 깊이 보고 싶다면 CRAFT논문의 실패 분류를, 사람과 모델을 함께 배치하는 운영 관점은 CrowdAgent논문를, 도메인 적용 사례로는 법률 숙의 연구논문를 보면 좋다.