← 주제 탐구

주제 탐구 · 2026-11-18 · 기초 · 작성자 bombong

에이전트 평가: Trajectory 채점과 버전 간 회귀 감지

에이전트를 '최종 답이 맞았나'로만 채점하면 운 좋게 통과한 실행과 제대로 푼 실행을 구분하지 못한다. 이 노트는 실행 과정(Trajectory)을 채점하는 방법과, 버전을 바꿀 때 성능이 몰래 나빠지는 일(회귀)을 잡으려면 무엇을 고정하고 비교해야 하는지 정리한다.

목차
핵심 정리
  • 결과만 보는 채점은 시행착오 끝에 통과한 실행과 원칙대로 푼 실행을 같게 본다. SWE 에이전트 연구에서는 통과한 Trajectory의 10.7%가 이런 'Lucky Pass'였다.
  • Trajectory 채점은 행동을 탐색·구현·검증 같은 단계로 나누고, 같은 과제를 제대로 푼 기준 경로와 비교해 낭비와 순서 오류를 점수로 만든다.
  • 버전 간 회귀를 잡으려면 먼저 평가 하네스 자체가 반복 측정에서 안정적인지, 실행을 똑같이 재현할 수 있는지(난수·숨은 상태)부터 확인해야 한다.
  • LLM 채점기에게 무엇을 보여 주느냐가 판정을 바꾼다. 실행 기록 전체를 보는 채점은 글만 보는 채점보다 오경보가 적었고, 기록을 요약·위임으로 가리면 판정이 크게 흔들렸다.
  • 기능 평가와 보안 레드팀은 서로 다른 실패를 찾으므로 하나로 대신하지 않는다.

왜 필요했나: '통과/실패' 한 비트의 한계

AI 에이전트는 한 번 답하고 끝나는 챗봇과 달리, 여러 번 생각하고 도구를 부르고 결과를 보면서 과제를 푼다. 이 과정에서 남는 생각·도구 호출·관찰의 순서 기록을 Trajectory라고 부른다. 그런데 지금까지 에이전트 평가는 대부분 마지막 결과만 봤다. 코딩 에이전트라면 '최종 패치가 테스트를 통과했나'라는 한 비트가 점수의 전부였다.

AgentLens논문는 이 방식이 원칙대로 푼 실행과 시행착오를 거듭한 실행을 똑같이 취급한다고 지적하고, 실제로 그 둘이 같지 않다는 것을 보였다. 8개 모델 백엔드가 SWE-bench Verified 60개 과제를 푼 OpenHands Trajectory 2,614개를 분석했고, 그중 평가 기준을 만들 수 있었던 47개 과제의 1,815개 Trajectory를 따로 모았다. 여기서 통과한 Trajectory의 10.7%는 고쳤다가 다시 망가뜨리는 반복, 이유 없는 재시도, 검증 생략, 탐색·구현·검증의 순서 뒤섞임을 보였다. 연구진은 이것을 Lucky Pass(운 좋은 통과)라고 불렀다.

비슷한 문제는 다른 분야에서도 나왔다. 혼합 동기 게임에서 에이전트의 사회적 행동을 본 M3-BENCH논문는 결과만 보는 평가가 사회적 능력의 큰 차이를 놓친다고 보고했다. 안전 평가 프레임워크 ForesightSafety-SAGE논문도 손으로 쓴 시나리오, 고정된 프롬프트, 최종 출력 판정에 기대는 기존 평가로는 실행 중에 생기는 다양한 위험을 잡기 어렵다는 점을 출발점으로 삼았다.

핵심 아이디어: 답안지가 아니라 풀이 과정을 채점한다

수학 시험에 비유하면 이해하기 쉽다. 답만 채점하면 찍어서 맞힌 학생과 제대로 푼 학생이 같은 점수를 받는다. 한 번의 시험에서는 큰 문제가 아닐 수 있지만, 찍어서 맞힌 학생은 다음 시험에서 틀릴 가능성이 높다. 풀이 과정을 함께 보면 이 위험을 미리 알 수 있다.

Trajectory 채점이 바로 이 일을 한다. 에이전트가 무엇을 먼저 살폈는지, 고친 뒤 확인했는지, 같은 시도를 의미 없이 되풀이했는지를 본다. 결과 채점을 버리는 게 아니라 그 위에 과정이라는 축 하나를 더하는 것이다. 무엇을 맞바꾸는지도 분명하다. 결과 채점은 싸고 기준이 명확하다. 반면 과정 채점은 무엇이 '좋은 과정'인지 정해야 하고, 그 정의를 만들고 유지하는 데 비용이 든다.

버전 관리 관점에서 이 차이는 더 중요해진다. 모델이나 프롬프트를 바꿨는데 통과율이 그대로라면 결과 채점만으로는 '변화 없음'이라고 판단하게 된다. 하지만 그 사이 Lucky Pass의 비율이 늘었다면 품질은 이미 나빠지기 시작했을 수 있다. 과정 지표가 있어야 이런 숨은 회귀가 보인다.

결과 채점 대 Trajectory 채점

결과 채점최종 답·테스트만 본다

  • 싸고 기준이 명확함
  • 운 좋은 통과를 구분 못 함
  • 통과율이 같으면 회귀가 안 보임

Trajectory 채점풀이 과정까지 본다

  • 낭비·검증 생략·순서 오류를 잡음
  • 기준 경로를 만들고 관리해야 함
  • 숨은 품질 저하를 드러냄

공통 둘 다 같은 과제 세트와 고정된 실행 조건이 있어야 버전 비교에 쓸 수 있다

Trajectory 채점은 결과 채점을 대신하지 않고 그 위에 과정이라는 축을 하나 더한다.

어떻게 작동하나: 기록 → 단계 라벨 → 기준 경로와 비교

AgentLens논문의 방식을 따라가면 Trajectory 채점의 기본 흐름이 보인다. 첫 단계는 실행 기록을 모으는 것이다. 같은 과제를 여러 모델이나 여러 번의 실행으로 풀게 해서 Trajectory를 쌓는다.

두 번째 단계는 행동마다 '무엇을 하려던 행동인가'를 붙이는 것이다. AgentLens는 각 행동을 탐색(Exploration), 구현(Implementation), 검증(Verification), 조율(Orchestration) 중 하나로 분류한다. 이때 어떤 도구를 썼는지만 보지 않고 앞선 기록의 맥락까지 본다. 같은 파일 열기라도 처음 구조를 파악하는 중이면 탐색이고, 수정 직후 결과를 확인하는 중이면 검증일 수 있기 때문이다.

세 번째 단계는 기준 경로와 비교하는 것이다. AgentLens는 같은 과제를 통과한 여러 풀이를 합쳐 PTA(Prefix Tree Acceptor, 여러 경로의 공통 앞부분을 나무 모양으로 합친 구조)라는 과제별 기준을 만든다. 정답 경로를 하나로 못 박지 않고 '좋은 풀이들이 대체로 지나간 길'을 기준으로 삼는 것이 핵심이다. 새 Trajectory가 이 기준에서 어디서 갈라졌는지(분기점), 어디서 낭비가 생겼는지(낭비 신호)를 따져 품질 점수를 매긴다. 이 점수로 통과한 Trajectory를 Lucky, Solid, Ideal 세 등급으로 나누고, Lucky Pass는 다시 다섯 가지 반복되는 원인으로 쪼갠다.

버전 비교에 쓸 때는 이 흐름을 이전 버전과 새 버전에 똑같이 돌린 뒤, 결과 채점과 과정 채점을 나란히 놓고 본다. 대화형 에이전트처럼 사용자 입력이 필요한 경우에는 사용자 시뮬레이터가 입력을 만든다. 시뮬레이터가 얼마나 다양한 사용자를 흉내 내는지가 평가 결과를 좌우한다는 점은 다음 절에서 다룬다.

Trajectory 채점과 버전 비교 흐름과제·시나리오 세트 → 에이전트 v1·v2; 사용자 시뮬레이터 → 에이전트 v1·v2; 에이전트 v1·v2 → Trajectory 기록; Trajectory 기록 → 결과 채점; Trajectory 기록 → 행동 단계 라벨링; 행동 단계 라벨링 → 기준 경로 비교; 기준 경로(PTA) → 기준 경로 비교; 기준 경로 비교 → 버전 비교 리포트(과정 점수); 결과 채점 → 버전 비교 리포트(통과율)과제·시나리오 세트사용자 시뮬레이터페르소나 다양성에이전트 v1·v2같은 조건에서 실행Trajectory 기록생각·도구 호출·관찰결과 채점테스트 통과 여부행동 단계 라벨링탐색·구현·검증·조율기준 경로(PTA)통과 풀이를 합친 기준기준 경로 비교분기점·낭비 신호버전 비교 리포트Lucky·Solid·Ideal과정 점수통과율
Trajectory 채점과 버전 비교 흐름 이전·새 버전을 같은 과제에 돌려 Trajectory를 남기고, 결과 채점과 과정 채점(단계 라벨 → 기준 경로 비교)을 합쳐 버전 비교 리포트를 만든다.

발전 흐름: 과정을 보는 평가의 여러 갈래

이번 자료의 출발점 연구들은 모두 2026년에 나왔다. 서로 계승 관계라기보다는 '결과만으로는 부족하다'는 같은 문제의식을 각자 다른 방향으로 풀었다.

M3-BENCH논문는 24개 혼합 동기 게임에서 평가를 세 관점으로 나눴다. 행동 Trajectory 분석(BTA), 추론 과정 분석(RPA), 대화 내용 분석(CCA)이다. 프런티어 LLM 11개와 사람 기준선을 비교했더니, 추론 모델은 속으로는 깊이 생각하지만 그것을 효과적인 대화로 옮기지 못하는 'overthink-undercommunicate' 패턴을 보였다. 협력하는 척하면서 속으로는 기회주의적으로 추론하는 경우처럼, 결과 지표만으로는 숨어 버리는 안전 관련 위험도 관점을 나눠야 드러났다.

AgentLens논문는 코딩 에이전트에 과정 채점을 적용해 Lucky Pass를 정의하고, 품질 점수·낭비 신호·분기점이 붙은 1,815개 Trajectory 데이터셋 AgentLens-Bench를 만들었다. ForesightSafety-SAGE논문는 안전 쪽에서 시나리오 생성부터 채점까지를 자동화했다. 다섯 가지 위험 차원으로 측정 가능한 시나리오 1,072개를 만들어 에이전트 12개를 평가했는데, 평균 공격 성공률(ASR)이 47.1%였고 70%를 넘긴 모델도 여럿이었다. 연구진은 이 결과를 근거로 실행 가능한 과정 수준 평가가 중요하다고 결론지었다.

평가 비용과 입력 다양성을 다룬 연구도 있다. ADWM논문은 새 에이전트 정책을 실제 환경에서 돌리지 않고, 미리 모아 둔 Trajectory만으로 성능을 추정하는 Off-policy 평가 방법이다. 환경이 어떻게 반응할지를 디퓨전 기반 월드 모델로 흉내 내고, 평가 대상 에이전트가 단계마다 생성을 이끌게 해서 시뮬레이션된 Trajectory가 그 에이전트의 의사결정 방식을 반영하도록 했다. 3단계 페르소나 벡터 연구논문는 '당신은 화난 고객이다' 같은 한 줄짜리 역할 설명이 시나리오와 상관없이 거의 같은 대화를 만든다는 문제를 짚었다. 그래서 인구 특성 6개, 행동 특성 12개, 감정 상태 5개로 이뤄진 23차원 페르소나를 만들었고, 64,698개 다중 턴 대화에서 페르소나에 따라 에이전트의 목표 달성률이 15.8%포인트까지 벌어진다는 것을 보였다. 사용자 시뮬레이터가 단조로우면 평가도 단조로워진다는 뜻이다.

버전 간 회귀 감지: 무엇을 고정하고 무엇을 비교하나

회귀란 새 버전이 예전에 잘하던 일을 못 하게 되는 것이다. 이를 잡는 기본 원리는 평범하다. 같은 과제 세트에 이전 버전과 새 버전을 돌리고, 평균만 보지 말고 과제별로 무엇이 달라졌는지 본다. 그런데 에이전트에서는 '같은 조건'을 만드는 일부터가 어렵다. 차이가 나왔을 때 그것이 버전 때문인지, 평가 환경의 흔들림 때문인지 가려야 한다.

첫째, 평가 하네스(에이전트를 실행하고 채점하는 틀)가 안정적이어야 한다. 기업 분석 에이전트의 평가 프레임워크를 비교한 연구논문는 고정된 실행 기록으로 채점을 여러 번 반복해 하네스의 안정성부터 쟀다. 그 결과 구성의 97%가 안정성 기준을 넘었다. 이런 점검을 먼저 해 둬야 버전 사이의 점수 차이를 채점기의 변덕과 구분할 수 있다.

둘째, 실행을 똑같이 다시 돌릴 수 있어야 한다. AppWorld의 재현 충실도 연구논문는 실패한 실행 71건을 284번의 격리된 재실행으로 점검했다. 선언된 설정만 재구성하면 71건 중 42건만 원래 실행과 같다고 인정됐다. 상호작용마다 난수 생성기를 초기화하면 68건으로 늘었다. 두 방식의 26건 차이는 데이터베이스·오라클 점검을 거치자 4건으로 줄었다. 그런데 출력과 판정은 같은데 데이터베이스에 실제로 남은 상태가 다른 경우도 4건 나왔다. 똑같은 API 호출이 같은 응답을 돌려주면서도 서로 다른 행을 바꾼 사례도 있었다. 화면에 보이는 출력만 비교해서는 '같은 실행'이라고 단정할 수 없다는 뜻이다.

셋째, 결과 지표와 과정 지표를 함께 비교한다. AgentLens논문는 8개 모델 백엔드별로 Lucky 비율을 비교했다. 모델을 바꿨을 때 통과율은 그대로인데 Lucky 비율이 달라질 수 있다면, 과정 지표가 없는 회귀 테스트는 그 변화를 놓친다. 실제 환경에서 새 버전을 돌리기에 비용이 크거나 위험한 경우에는 ADWM논문처럼 이미 모은 Trajectory로 새 정책을 오프라인에서 먼저 추정하는 방법도 연구되고 있다.

재현 방식별 '같은 실행' 인정 건수

선언 설정만 재구성
상호작용마다 난수 초기화
AppWorld에서 실패한 실행 71건을 다시 돌렸을 때 원래 실행과 같다고 인정된 건수다. 난수 생성기를 제어하면 재현되는 실행이 크게 늘었다.

요즘 어디로 가고 있나: 채점기에게 무엇을 보여 줄 것인가

최근 연구의 초점은 '과정을 보자'에서 한 걸음 나아가 '과정 기록을 어떤 형태로 채점기에게 줄 것인가'로 옮겨 가고 있다. 기업 분석 에이전트 비교 연구논문는 실행 기록 전체를 보는 LLM 채점, 텍스트만 보는 LLM 채점에 레드팀을 더한 방식, 결정론적 규칙(heuristic) 채점을 비교했다. 정답이 알려진 테스트 케이스 72개에서 실행 기록 기반 채점이 정밀도와 재현율의 균형이 가장 좋았다(F1=0.90). 텍스트만 보는 채점은 재현율은 같았지만 오경보가 5배 많았다. 아직 알려지지 않은 위험을 찾는 단계에서는 새 실패 24개가 나왔는데, 기능 테스트와 보안 레드팀이 찾은 실패가 하나도 겹치지 않았다. 연구진은 기능 평가에는 실행 기록 기반 채점을, 보안 검증에는 적대적 레드팀을 쓰는 두 프레임워크 전략을 권했다.

Verification Transport 연구논문는 같은 실행이라도 보이는 모습이 바뀌면 LLM 검증기의 판정이 흔들리는지를 쟀다. 실제 시스템에서는 여러 도구를 묶은 복합 도구, 서브에이전트에 일을 넘기는 위임, 길어진 기록의 요약(compaction) 때문에 검증기가 볼 수 있는 증거가 달라진다. 과제, Trajectory, 결과, 정답, 채점 기준, 검증기를 모두 고정하고 보이는 형태만 바꿨는데도, 매크로 추상화와 위임에서 판정 실패율이 약 31%에 이르렀다. 바로 판정하는 방식은 틀린 판정을 더 자주 냈다. 증거에 근거하는 방식이나 숙고하는 방식은 정보가 부족하면 판정을 보류하는 경향이 있었다. 그래서 실패율이 낮다고 꼭 더 믿을 만한 것은 아니다. 실행의 출처 정보(provenance)를 되살리면 실패의 85.5%가 회복됐다.

이 흐름이 회귀 감지에 주는 함의는 분명하다. 새 버전에서 에이전트 구조를 바꿔 위임이나 기록 요약이 늘면, 에이전트의 실제 행동은 같아도 채점 결과가 달라질 수 있다. 버전 비교에서는 에이전트만이 아니라 채점기에게 보여 주는 기록의 형태도 함께 고정해야 한다.

에이전트 과정 평가 연구 지도 위 묶음은 결과만 보는 평가의 한계를 각자 다른 방향에서 푼 출발점 연구이고, 아래 묶음은 채점의 안정성·재현성·관측 범위를 다룬 최근 연구다. 계승 관계가 근거로 확인되지 않아 화살표는 넣지 않았다.

한계와 쟁점: 실무에서 따질 점

과정 채점에는 기준 경로가 필요하다. AgentLens논문도 통과한 Trajectory가 충분한 47개 과제에서만 기준을 만들 수 있었다. 정답 풀이가 적은 새 과제나 희귀한 과제에서는 무엇이 '좋은 과정'인지 정하기 어렵다. 또 기준 경로와 다르다고 해서 늘 나쁜 것은 아니다. 새롭지만 더 나은 풀이가 감점받을 위험이 있으므로, 분기점이 나왔을 때는 사람이 표본을 확인하는 단계를 두는 것이 안전하다.

LLM을 채점기로 쓰는 LLM-as-a-Judge는 편리하지만 그 자체가 평가 대상이다. 앞의 두 연구논문논문가 보여 주듯 채점기가 보는 정보의 양과 형태에 따라 판정이 바뀐다. 실무에서 흔한 실수는 크게 셋이다. 최종 답변 텍스트만 채점기에게 넘기는 것, 기록 요약 방식을 바꾸고도 이전 점수와 그대로 비교하는 것, 채점기의 반복 측정 안정성을 확인하지 않는 것이다.

입력 쪽의 함정도 있다. 사용자 시뮬레이터의 페르소나가 단조로우면 버전 사이의 차이가 드러나지 않거나, 반대로 특정 사용자 유형에서만 생기는 회귀를 놓친다. 페르소나 벡터 연구논문에서 페르소나에 따라 목표 달성률이 15.8%포인트까지 벌어진 것을 보면, 평가 세트의 사용자 분포도 버전처럼 관리해야 한다.

언제 무엇을 쓸지 정리하면 다음과 같다. 결과 채점만으로 충분한 경우는 과제가 짧고 정답 검증이 명확할 때다. 과제가 길고 여러 도구를 쓰거나, '통과했지만 불안한' 실행이 운영 비용과 위험으로 이어질 때는 과정 채점을 더한다. 안전·권한 관련 위험은 기능 평가로 대신하지 말고 레드팀을 따로 둔다.

에이전트 회귀 테스트 점검 목록

조건 고정

  • 같은 과제 세트와 사용자 페르소나 분포를 쓰는가
  • 난수·외부 상태를 제어해 실행을 재현할 수 있는가
  • 출력뿐 아니라 저장소에 남은 상태까지 비교하는가

채점기

  • 채점을 반복해도 결과가 안정적인가
  • 채점기가 최종 답이 아닌 실행 기록 전체를 보는가
  • 기록 요약·위임 방식이 이전 버전과 같은가

비교 지표

  • 통과율과 함께 과정 점수(Lucky 비율 등)를 보는가
  • 평균이 아니라 과제별 변화를 확인하는가
  • 보안 위험은 레드팀으로 따로 점검하는가
버전을 바꾸기 전에 평가 체계에서 확인할 항목이다.

더 공부하려면

처음이라면 AgentLens논문부터 읽는 것이 좋다. Lucky Pass라는 구체적 현상, 행동 단계 라벨링, 기준 경로(PTA) 구성까지 Trajectory 채점의 뼈대가 한 논문에 들어 있다. 이어서 M3-BENCH논문를 읽으면 행동·추론·대화처럼 관점을 나눠 과정을 보는 방식이 코딩 밖에서는 어떻게 쓰이는지 알 수 있다.

회귀 테스트를 직접 만들 사람이라면 재현 충실도 연구논문와 평가 프레임워크 비교 연구논문를 함께 읽기를 권한다. 앞의 것은 '같은 실행을 다시 만든다'는 말이 얼마나 까다로운지를, 뒤의 것은 하네스 안정성 점검과 채점 방식 선택 기준을 보여 준다. LLM 채점기를 쓴다면 Verification Transport논문로 채점기에게 보여 주는 기록 형태의 영향을 확인한다.

대화형 에이전트의 입력 설계는 3단계 페르소나 벡터 연구논문가, 실제 환경에서 돌리기 어려운 에이전트의 오프라인 평가는 ADWM논문이, 안전 시나리오 자동 생성은 ForesightSafety-SAGE논문가 다음 읽을거리로 좋다.

관련 용어

Evals LLM-as-a-Judge 하네스 LLM 관측 가능성 레드팀 벤치마크 A/B 테스트 AI 에이전트

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.