Agent-Reflex: 언어 에이전트가 성찰하며 행동하도록 학습시키기

문제

실제 배포 환경의 MCP 도구는 타임아웃이나 서비스 오류를 돌려주고, 사용자는 실행 도중 에이전트를 바로잡으려 개입한다. 그런데 기존 에이전트 학습 환경은 깨끗한 피드백과 최소한의 사용자 개입을 가정한다. 그래서 실패를 감지하고 회복하는 성찰 능력을 학습시킬 감독 신호가 부족하다.

방법

3단계로 구성된다. (1) RSD: MCP 기반 실행 환경 557개를 만든다. 실제 벤치마크에서 수집한 오류 반환 24,510건을 실패 유형 8개로 묶어 도구 응답에 확률적으로 주입한다. 다양한 LLM 9개의 성공·실패 Trajectory 쌍을 비교해 환경별 성찰 메타 스킬 1,170개를 추출한다. (2) ReSFT: 스킬을 이용해 오류 지점부터 다시 수행하는 Self-Reflection, 처음부터 재시작하는 Skill Recovery, 사용자 교정 메시지를 넣는 User-Centric Reflection 데이터를 만든다. 검증을 통과한 샘플만 남기고, 스킬 프롬프트는 제거한 뒤 SFT한다. (3) ORPO: 깨끗한 Rollout과 노이즈 Rollout을 섞은 그룹으로 검증 가능한 보상 기반 강화학습을 한다. 같은 토큰을 스킬 컨텍스트가 있을 때와 없을 때로 다시 채점하고, 그 차이를 신뢰도 가중 On-policy Distillation 신호로 더해 토큰 단위의 촘촘한 감독을 준다.

결과

• Qwen3-8B 기반으로 장기 도구 사용 벤치마크 5종 종합 58.6점을 기록했다고 저자들은 보고했다
• AgentNoiseBench에서 29.1점으로, 환경 확장 계열과 성찰 계열 기준선보다 높았다고 보고했다
• 저자들은 노이즈에 대한 강건성이 높아지고 학습 과정도 안정적으로 유지됐다고 보고했다

한계

모델 실험이 Qwen3-8B 하나에 집중돼 있다. 노이즈는 실패 유형 8개로 정형화한 주입 방식이라 실제 배포 환경의 모든 실패를 대표하지는 않는다. 사용자 교정은 시뮬레이터가 만든 것이다. 제공된 본문이 중간에서 잘려 기준선별 세부 수치와 ablation은 확인하지 못했다.

의미

실제 서비스에서 에이전트가 실패하는 주요 원인은 불안정한 도구 응답과 사용자 개입이다. 이 논문은 실제 오류 로그에서 출발해 회복 행동을 학습 데이터로 바꾸는 파이프라인을 제시한다.

핵심 용어

성찰 메타 스킬

같은 과제의 성공·실패 Trajectory를 비교해 뽑은 환경별 회복 규칙으로, '이런 잘못된 패턴이면 이렇게 고친다'는 형태다. 같은 환경의 다른 과제에도 재사용할 수 있다.

On-policy Distillation

현재 정책이 직접 생성한 Rollout 위에서 더 많은 정보를 가진 Teacher(여기서는 스킬 컨텍스트가 붙은 같은 모델)의 토큰별 확률을 따라가도록 학습시키는 방법이다.

노이즈 주입(Noise injection)

학습 중 도구 응답 일부를 실제로 관측된 오류 메시지로 확률적으로 바꿔, 에이전트가 실패 감지와 회복을 익히도록 하는 기법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• Hugging Face

저자: Guanting Dong, Xinyu Yang, Jiajie Jin, Yuyang Hu, Xiaoshuai Song, Yifei Chen, Xiaoxi Li, Jiejun Tan, 외 · 게시 2026-10-13 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.