MASS(다중 에이전트 자기 지도): 에이전트끼리 서로를 가르치는 법

왜 필요했나: 사람 라벨의 비용과 혼자 하는 채점의 한계

AI 모델을 더 낫게 만들려면 '이 답은 좋고 저 답은 나쁘다'는 신호가 필요하다. 전통적인 방법은 사람이 정답을 달아 주는 데이터 라벨링이나 사람의 선호를 모아 학습하는 RLHF(인간 피드백 강화학습)다. 하지만 과제가 길고 전문적일수록(여러 단계를 거치는 에이전트 작업, 코드, 3D 설계 등) 사람이 하나하나 확인하는 비용은 빠르게 늘어난다.

그 대안으로 모델이 스스로 답을 채점하게 하는 방법이 있다. 그러나 한 모델이 자기 답을 다시 읽으면, 답을 만들 때 놓친 부분을 채점할 때도 놓치기 쉽다. 같은 지식, 같은 버릇으로 두 번 보는 셈이기 때문이다. 사용자의 말에 맞장구치는 아첨(Sycophancy)이 자기 평가에도 나타날 수 있다.

MASS(다중 에이전트 자기 지도)는 이 두 문제 사이에서 나온 발상이다. 사람 대신 AI가 지도 신호를 만들되, 하나가 아니라 역할이 다른 여러 에이전트가 서로를 감시하게 해서 혼자 하는 채점의 맹점을 줄이려 한다.

참고로 이번에 모은 입력 자료에는 'MASS'라는 이름의 AI 방법론 논문이 없었다. 'mass(질량)'를 다룬 천체물리·이론물리 논문이 대부분이어서 근거로 쓰지 않았다. 아래 개념 설명은 일반적인 원리 수준이고, 특정 논문의 수치나 주장은 관련 있는 최근 연구 두 편에서만 가져왔다.

핵심 아이디어: 편집국처럼 역할을 나눈다

신문 편집국에 비유하면 이해하기 쉽다. 기자가 기사를 쓰고, 데스크가 논리와 빠진 부분을 지적하고, 교열 기자가 사실과 표기를 확인한다. 기자 혼자 자기 기사를 고칠 때보다 서로 다른 관점을 가진 사람이 여럿 볼 때 실수가 더 잘 걸린다. 그래도 사실 확인은 결국 외부 자료(통계 원본, 취재원)와 맞춰 봐야 끝난다.

MASS도 같은 구조다. 답을 만드는 생성 에이전트, 답의 약점을 찾는 비평 에이전트, 그리고 가능하면 모델 바깥의 기준(코드 실행 결과, 물리 시뮬레이터, 규칙 검사기)으로 확인하는 검증 단계를 둔다. 이 과정을 통과한 결과와 비평 기록이 다음 학습의 재료, 곧 '자기 지도' 신호가 된다.

여기서 '자기 지도'는 사람이 라벨을 붙이지 않고 시스템 안에서 학습 신호를 만든다는 뜻이다. 사람이 빠진다는 뜻은 아니다. 사람은 매 사례를 채점하는 대신 기준을 정하고 표본을 점검하는 쪽으로 역할이 바뀐다.

어떻게 작동하나

일반적인 MASS 흐름은 다섯 단계로 볼 수 있다. 첫째, 과제를 정한다. 문제 하나일 수도 있고 에이전트가 수행할 여러 단계의 작업일 수도 있다. 둘째, 생성 에이전트가 답이나 행동 기록(Trajectory)을 만든다. 같은 과제에 대해 여러 개를 뽑아 비교 재료로 쓰기도 한다.

셋째, 비평 에이전트가 결과를 읽고 틀린 곳, 빠진 조건, 근거 없는 주장을 지적한다. 이 지적은 생성 에이전트에게 돌아가 수정본을 만드는 데 쓰일 수 있다. LLM-as-a-Judge(LLM 평가자)를 여러 역할로 나눠 놓은 모습이라고 보면 된다. 넷째, 외부 검증기가 있으면 결과를 실제로 돌려 본다. 코드는 테스트를 실행하고, 3D 물체는 물리 시뮬레이터에 넣어 쓰러지거나 부딪히지 않는지 본다.

다섯째, 여러 에이전트의 판정과 검증 결과를 모아 통과한 것만 고르거나 좋은 답과 나쁜 답을 짝지어 학습 데이터로 저장한다. 이 데이터로 SFT(지도 미세조정)나 DPO(직접 선호 최적화) 같은 방식으로 모델을 다시 학습시키고, 나아진 모델이 다시 생성 에이전트가 된다. 이렇게 고리가 돌며 데이터 플라이휠처럼 쌓인다.

발전 흐름: 세 갈래의 생각이 만나는 곳

입력 자료에는 MASS의 출발점이 되는 AI 논문이 없어서, 특정 논문 사이의 계보를 그리지 않는다. 대신 개념적으로 어떤 생각들이 만나는지만 정리한다.

첫째 갈래는 자기 지도 학습이라는 오래된 발상이다. 데이터 자체에서 정답 역할을 하는 신호를 꺼내 쓰는 방식으로, 사람의 라벨 없이 대규모 사전학습을 가능하게 한 기본 원리다. 둘째 갈래는 LLM이 다른 LLM의 출력을 평가하는 LLM-as-a-Judge다. 사람 평가를 흉내 내 비용을 줄이지만 평가자 자신의 편향이 문제로 꼽혀 왔다. 셋째 갈래는 여러 에이전트가 역할을 나눠 협업하는 멀티 에이전트 시스템이다.

MASS는 이 셋을 묶는다. 자기 지도의 '라벨 없이 신호 만들기', LLM 평가자의 '모델이 모델을 채점하기', 멀티 에이전트의 '역할 분담'을 합쳐, 평가를 한 모델에 맡기지 않고 서로 다른 역할에 나눠 맡긴다.

요즘 어디로 가고 있나: 바깥 기준을 붙이기

최근 연구에서 눈에 띄는 방향은 에이전트끼리의 판단에만 기대지 않고 모델 바깥의 검증 신호를 고리에 넣는 것이다. Artisan논문은 움직이는 관절이 있는 3D 물체를 만드는 연구로, 기존 방법 Articraft를 확장해 물리 시뮬레이션 피드백을 받는 다중 에이전트 파이프라인을 제안했다. 겉모습만 비슷한 물체가 아니라 움직일 때 부딪히지 않는지, 중력을 받아도 서 있는지, 질량과 재질 속성이 맞는지까지 확인하게 했다.

이 연구는 평가용 벤치마크도 함께 만들었다. ArtVIP와 LightWheel에서 가져온 100개의 참조 자산, 50개의 안정성 프롬프트, 참조 질량이 있는 50개의 ABO 물체로 구성되며, 10개가 넘는 대표 모델을 비교한 결과 Artisan은 비교한 방법 가운데 충돌률이 가장 낮고 안정성은 가장 높았다고 보고했다. 시뮬레이터가 '이 물체는 쓰러진다'고 알려 주면, 에이전트끼리 '괜찮아 보인다'며 넘어가는 일을 막을 수 있다.

또 하나는 사람 판단을 기준점으로 쓰는 방향이다. 만화 연구 프레임워크 PAGE논문는 비전-언어 모델(VLM)이 사람이 쓴 코드북(분류 지침)을 따라 페이지마다 주석을 달게 하고, 그 판독의 일부 표본을 사람 주석과 맞춰 본다. 미국 만화책 3,929권과 일본 만화 87권에 적용했다. 다중 에이전트 연구는 아니지만, AI가 대규모로 만든 판독을 사람이 표본으로 점검한다는 구조는 MASS를 운영할 때 그대로 쓸 수 있다.

한계와 쟁점

가장 큰 위험은 '같은 눈'이다. 생성·비평·검증 에이전트가 모두 같은 기반 모델에서 나왔다면 역할 이름만 다를 뿐 지식의 빈틈과 편향이 같다. 그러면 서로의 오류를 찾아내기보다 함께 맞다고 판단할 수 있다. 서로 다른 모델을 섞거나 외부 검증기를 두는 이유가 여기에 있다.

둘째는 보상 해킹(Reward hacking)이다. 생성 에이전트가 실제로 좋은 답을 내는 대신 비평 에이전트가 좋아하는 형식이나 말투를 배우면, 점수는 오르지만 품질은 그대로다. 셋째는 모델 붕괴(Model Collapse)다. 모델이 만든 데이터로 모델을 거듭 학습시키면 다양성이 줄고 드문 사례를 잊을 수 있어서, 사람 데이터나 외부 신호를 섞어 주어야 한다.

넷째는 비용과 평가의 신뢰성이다. 에이전트를 여러 개 돌리면 추론 비용이 몇 배로 늘고, 학습에 쓴 과제가 평가 세트와 겹치면 데이터 오염으로 성능이 부풀려진다. 결국 사람은 모든 답을 채점하지 않더라도 기준을 정하고, 표본을 점검하고, 이상한 패턴을 잡아내는 최종 책임을 진다.

더 공부하려면

입력 자료 가운데서는 Artisan논문을 먼저 읽기를 권한다. 다중 에이전트 파이프라인에 물리 시뮬레이션이라는 외부 검증기를 붙였을 때 무엇을 잴 수 있는지, 벤치마크를 어떻게 공간 충실도·물리적 타당성·하위 과제 성능·전반적 품질이라는 네 측면으로 나눴는지 보면 '검증 신호 설계'에 대한 감을 잡을 수 있다.

다음으로 PAGE논문에서 VLM 판독을 사람 주석과 맞춰 보는 부분을 읽으면, AI가 만든 대량의 라벨을 어떻게 믿을 만하게 만드는지에 대한 실무적인 힌트를 얻을 수 있다.

개념 쪽으로는 이 사이트의 LLM-as-a-Judge, 멀티 에이전트, 합성 데이터, 모델 붕괴, 보상 해킹 항목을 함께 보면 MASS가 어디서 힘을 얻고 어디서 무너지기 쉬운지 연결해서 이해할 수 있다.