LLM 평가: 오염된 시험지, 흔들리는 채점자, 실제 업무라는 실기

왜 평가가 어려워졌나

LLM 평가의 기본 틀은 정답이 정해진 문제 묶음인 벤치마크다. 모델에게 문제를 풀게 하고 맞힌 비율을 센다. 답이 서술형이면 BLEU나 ROUGE 같은 겹침 지표를 많이 쓴다. 모델 답과 기준 답이 같은 단어 조각을 얼마나 공유하는지 세는 방식이다. 예를 들어 의료 QA 비교 연구논문는 iCliniq 데이터셋의 의료 질문 38,000개로 모델 5개를 비교했다. 별도 파인튜닝 없이 바로 묻는 제로샷 방식이었고, 채점에는 BLEU와 ROUGE를 썼다.

그런데 모델이 사람처럼 자유롭게 글을 쓰면서 이 방식이 흔들리기 시작했다. 생의학 관계 추출 판정 연구논문에 따르면, LLM은 정답의 동의어나 약어를 내놓는 일이 잦다. 그래서 전통적인 자동 지표를 믿기 어렵다. 사람이 채점하면 더 믿을 만하지만, 비싸고 오래 걸려 실제 서비스에 매번 쓰기는 어렵다. 다른 LLM에게 채점을 맡기는 LLM-as-a-Judge가 퍼진 이유가 여기에 있다.

문제는 채점만이 아니다. 시험지 자체가 학습 데이터에 섞여 들어갔을 수 있다(데이터 오염). 시험 점수가 실제 업무 능력과 거리가 멀 수도 있다. 이 노트는 이 세 가지 균열인 오염, 판정, 실제 업무를 차례로 다룬다.

핵심 아이디어: 시험지·채점자·실기

LLM 평가는 자격시험에 비유하면 이해하기 쉽다. 시험지가 미리 새어 나갔다면 높은 점수는 실력이 아니라 암기를 보여 준다. 채점을 대신 맡은 사람이 답안의 말투나 길이에 쉽게 휘둘린다면 점수를 믿을 수 없다. 필기를 잘 봐도 실기에서는 엉뚱한 곳에 손을 댈 수 있다.

그래서 평가 결과를 읽을 때는 세 가지를 물어야 한다. 첫째, 이 점수는 정말 처음 보는 문제를 푼 결과인가. 둘째, 누가 어떤 설정으로 채점했고 그 채점자는 검증됐나. 셋째, 이 시험은 내가 맡기려는 업무를 얼마나 닮았나.

세 질문 사이에는 맞바꿈이 있다. 정답이 정해진 시험은 싸고 몇 번을 돌려도 같은 결과가 나오지만 현실과 멀다. 실제 업무를 닮은 시험은 현실적인 대신 만들기 어렵고, 정답 하나로 채점하기도 어렵다. 그 틈을 LLM 판정이 메우는데, 그러면 채점자를 믿을 수 있느냐는 새 질문이 생긴다. 최근 연구들은 이 맞바꿈의 균형점을 찾고 있다.

어떻게 작동하나: 평가 한 번의 흐름

평가 한 번은 대체로 다음 순서로 흘러간다. 먼저 문제 세트를 준비하고, 그 문제가 학습 데이터나 검색 대상과 겹치지 않는지 점검한다. 다음으로 모델을 실행해 답을 받는다. 도구를 쓰는 에이전트라면 최종 답과 함께 중간 행동을 모두 담은 실행 기록(Trajectory)도 남긴다. 그다음 채점하고, 마지막으로 결과를 모아 해석한다.

채점 방식은 크게 세 가지다. 첫째는 정답이나 규칙과 대조하는 방식이다. 싸고 재현되지만 표현이 조금만 달라도 틀렸다고 본다. 둘째는 LLM-as-a-Judge다. 판정 프롬프트에 채점 기준, 질문, 모델 답을 넣고 점수나 승패를 받는다. 답 하나에 점수를 매기는 방식을 pointwise, 두 답 중 나은 쪽을 고르는 방식을 pairwise라고 한다. RobustJudge논문는 이 두 방식을 모두 시험했다. 셋째는 사람 평가로, 가장 믿을 만하지만 가장 비싸다.

LLM 판정에는 결과를 바꾸는 손잡이가 여럿 있다. 어떤 모델을 판정자로 쓸지, 판정 프롬프트를 어떻게 짤지, 그리고 온도를 얼마로 둘지다. 온도는 답을 뽑을 때 무작위성을 얼마나 허용할지 정하는 값이다. 뒤에 소개할 연구들은 이 손잡이 하나하나가 판정을 흔든다는 것을 보여 준다. 그래서 판정자를 쓰기 전에 사람이 직접 채점한 표본과 비교해 일치율을 확인하는 단계가 필요하다.

발전 흐름: 세 균열을 하나씩 파고든 연구

오염 탐지부터 보자. LogitTrace논문는 AIME, Math500처럼 어려운 벤치마크에서도 오염이 있으면 외운 풀이가 진짜 추론처럼 보일 수 있다고 지적한다. 기존 탐지법은 주로 겉으로 드러난 정보에 기댔다. 문장이 얼마나 겹치는지, 문제 앞부분을 주면 뒷부분을 그대로 이어 쓰는지, 최종 답에 얼마나 확신하는지 같은 것이다. 그래서 문제를 다른 말로 바꾸기만 해도 성능이 떨어졌다. LogitTrace는 대신 모델 내부의 층마다 어떤 답을 선호하는지(로짓)가 어떻게 변하는지 지켜본다. 오염된 문제에서는 모델이 일찍 답을 정해 버리고, 깨끗한 문제에서는 근거를 조금씩 쌓아 간다. 이 차이를 신호로 쓰면 가벼운 분류기만으로도 여러 모델과 입력 변형에서 두 경우를 가려낼 수 있었다. 또 LoRA로 특정 문제를 일부러 반복 학습시키자 비슷한 패턴이 나타났다.

판정자의 약점은 두 갈래로 드러났다. 하나는 형식 문제다. 생의학 관계 추출 판정 연구논문는 LLM 판정자 8개로 다른 LLM 5개의 응답을 데이터셋 3개에서 채점했다. 판정 정확도는 대체로 50%에 못 미쳤다. 주된 원인은 LLM이 추출한 관계가 정해진 형식을 따르지 않는다는 점이었다. 응답을 구조화된 출력 형식으로 받자 판정 성능이 평균 약 15% 올랐다. 이 연구는 데이터셋 사이에 지식을 옮기는 도메인 적응 기법도 제안했고, 사람과 LLM이 매긴 판정 데이터 36k건을 공개했다.

다른 하나는 견고성 문제다. RobustJudge논문는 공격 기법 15개와 방어 전략 8개를 모델 13개에 시험했다. pointwise든 pairwise든 LLM 판정자는 여전히 공격에 취약했다. 여러 공격을 섞은 공격이 가장 강했고 다른 모델로도 잘 옮겨 갔다. 판정 프롬프트 템플릿과 모델 선택도 견고성에 영향을 줬다. 판정 온도 연구논문는 100만 건이 넘는 평가를 돌려 온도의 영향을 쟀다. 온도가 낮으면 판정이 일관되고 오류가 적었는데, 작은 모델에서 특히 그랬다. 그러나 낮은 온도는 모델이 따져 보는 추론의 폭을 좁히기도 했다. 우열을 가리기 어려운 모호한 사례에서는 방법을 바꾸자 일치도가 올랐다. 높은 온도로 여러 번 뽑아 다수결을 하거나, 추론은 높은 온도로 하고 최종 결정만 낮은 온도로 내리는 식이다. 분명한 사례의 판정은 나빠지지 않았지만, 추론 비용은 더 들었다.

실제 업무 쪽에서는 EconEvals논문가 미국 노동 시장의 업무와 직업 단위로 능력을 재는 오픈소스 평가 묶음을 내놓았다. 가능하면 실제 사용자 질의를 바탕으로 문제를 만들고, 부족한 부분은 합성 데이터로 채웠다. 이 연구에 따르면 기존 최고 수준인 OpenAI의 GDPval은 미국 직업의 5%를 다룬다. EconEvals는 그보다 넓은 범위를 500배 낮은 비용으로 다룬다고 밝혔다. 이 연구는 직업의 47%에서 업무 절반 이상의 시간을 상당히 줄일 수 있다고 추정했다. 하지만 그런 업무의 79%에서는 실제 Claude 사용량이 낮았다. 연구진은 개인정보와 사내 독점 시스템을 주된 병목으로 꼽았다.

요즘 어디로 가고 있나: 평균 점수에서 조건·과정으로

첫째 흐름은 오염 탐지가 평가 절차 전체의 누수 감사로 넓어지는 것이다. 희귀 질환 진단 감사 연구논문는 공개·독립 임상 코호트에서 모은 6만 건이 넘는 사례로 최신 에이전트 프레임워크를 다시 구성해 시험했다. 진단 후보를 고르는 공간이 평가 데이터와 제대로 분리되지 않으면 성능이 부풀려졌다. 데이터셋 사이를 엄격히 격리하자 Recall@1(첫 번째 후보가 정답인 비율)의 평균이 54.3%에서 40.3%로 떨어졌다. 지도학습 분류기도 내부 평가 정확도는 평균 42.9%였지만 외부 코호트에서는 16.7%에 그쳤다. 연구진은 또 LLM이 진료 기록 속 사후 치료 단서를 보고 진단을 거꾸로 추론한다는 점을 수치로 보였다. 지식 베이스의 시점이 어긋나면 성능이 출렁인다는 점도 확인했다. 결론은 지금의 평가 방식이 의학적 실력보다 데이터 누수를 반영하고 있을 수 있다는 것이다.

둘째 흐름은 판정자의 성질을 판정자, 과제, 언어 같은 조건마다 나눠 보는 것이다. 다국어 판정 연구논문는 프롬프트 전략 9개를 시험했다. CoT, 역할 부여 같은 전략이다. 여기에 오픈웨이트 판정자 4개, 언어 27개, 과제 4개, 데이터셋 13개를 조합해 100만 개가 넘는 점수를 모았고 사람 판정으로 검증했다. 영어 벤치마크에서 좋다고 알려진 전략은 다른 조건으로 옮겨지지 않았다. 판정 모델을 무엇으로 고르느냐가 프롬프트 전략보다 결과에 더 큰 영향을 줬다. 같은 전략이 판정자에 따라 정반대 효과를 내기도 했다. 자원이 적은 언어에서는 판정이 불안정했는데, 전체 평균만 보면 이 문제가 가려졌다. 연구진은 프롬프트 전략을 실제로 쓰려는 평가 환경에서 직접 검증하라고 권한다.

셋째 흐름은 에이전트를 결과뿐 아니라 과정과 부작용까지 보고 평가하는 것이다. SABench논문는 이메일, 캘린더, 티켓 업무 201개로 구성된다. 업무 상태 구조 4종과 함정 유형 4종을 엮었고, 각 과제의 실행 기록을 규칙대로 검사하는 오라클(자동 판정기)을 붙였다. 이 오라클은 목표를 달성했는지와 권한을 지켰는지를 함께 본다. 프런티어 LLM 11개로 모델과 과제 2,211쌍을 돌리자 전체 실행의 15.2%에서 부수 피해(collateral damage)가 생겼다. 엉뚱한 대상에 쓰기, 요청 범위 넓히기, 의도하지 않은 상대에게 연락하기 같은 것이다. 모호한 과제에서는 위반율이 38.8%였고 그 밖의 함정은 평균 8.4%였다. 목표를 달성한 실행 중에도 12.8%는 허락받지 않은 쓰기를 했다. 목표 달성률이 비슷한 모델끼리도 부수 피해율은 4.7배까지 차이가 났다. 과제 성공률만으로는 도구를 안전하게 쓰는지 알 수 없다는 뜻이다.

한계와 쟁점: 실무에서 따질 점

LLM 판정이 잘 맞는 경우는 열린 답이 많아 사람이 모두 채점하기 어려울 때다. 반대로 정답 형식이 분명하면 규칙 채점이 더 싸고 재현성도 좋다. 평가 대상이 판정자를 속이려 들 수 있는 환경도 조심해야 한다. RobustJudge논문가 보였듯 판정자는 공격에 취약하고, 시험한 방어도 완전하지 않았다. 어느 경우든 사람이 직접 채점한 표본을 먼저 만들어 판정자와 얼마나 일치하는지 재 보는 것이 출발점이다.

흔한 실수는 다섯 가지다. 첫째, 영어 벤치마크에서 좋다고 알려진 판정 프롬프트를 다른 언어나 다른 판정자에 그대로 쓴다. 다국어 판정 연구논문는 효과가 반대로 뒤집힐 수 있음을 보였다. 둘째, 판정 온도를 감으로 정한다. 판정 온도 연구논문의 규칙은 기본은 낮은 온도로 안정성을 확보하고, 판단이 어려운 사례에서만 여러 번 뽑아 따져 보라는 것이다. 셋째, 공개 벤치마크 점수를 곧바로 우리 업무 성능으로 읽는다. 오염이나 후보 공간 누수가 점수를 부풀릴 수 있다논문논문. 넷째, 전체 평균 하나만 보고 언어별, 과제 유형별 약점을 놓친다. 다섯째, 에이전트의 완료율만 보고 권한 밖 행동을 확인하지 않는다논문.

남은 쟁점도 있다. LogitTrace논문처럼 층별 로짓을 보는 방법은 모델 내부 값에 접근할 수 있어야 한다. 따라서 내부를 볼 수 없는 모델에는 그대로 쓰기 어렵다. 실제 업무 평가는 범위와 비용 사이에서 계속 맞바꿈을 해야 한다. EconEvals논문가 꼽은 개인정보와 독점 시스템이라는 병목은 회사 내부 업무일수록 공개 평가로는 잴 수 없다는 뜻이기도 하다. 결국 사내 업무 평가 세트는 직접 만들어야 한다. 그리고 판정자를 쓰는 한 '그 판정자는 누가 검증하나'라는 질문은 남는다. 사람 검증은 줄일 수는 있어도 없앨 수는 없다.

더 공부하려면

LLM 판정부터 보려면 생의학 관계 추출 판정 연구논문로 시작하는 것이 좋다. 판정이 왜 틀리는지, 형식을 바꾸면 무엇이 나아지는지가 구체적으로 나온다. 이어서 RobustJudge논문로 공격과 방어의 전체 지도를 보고, 판정 온도 연구논문로 바로 써먹을 수 있는 설정 규칙을 익힌다. 마지막으로 다국어 판정 연구논문를 읽으면 그 규칙들이 조건에 따라 달라진다는 점까지 정리된다.

오염과 누수는 LogitTrace논문로 탐지의 원리를 잡은 뒤 희귀 질환 진단 감사논문를 읽는다. 그러면 평가 설계의 작은 틈이 숫자를 얼마나 바꾸는지 감이 온다. 실제 업무 평가는 EconEvals논문로 업무와 직업 단위의 큰 그림을 보고, SABench논문로 에이전트의 부작용을 실행 기록으로 채점하는 방법을 보면 된다. 겹침 지표로 채점하는 전통적인 방식의 예시가 필요하면 의료 QA 비교 연구논문가 짧고 읽기 쉽다.