← 주요 논문

논문 리뷰 · 2026년 11월 14일

SO-Arena: System One 모델의 능력 스펙트럼과 의사결정 신뢰성 벤치마크

SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models

언어 모델데이터·평가 중급 추천 73 cs.CL National University of Singapore

11개 도메인, 2,919개 과제로 System One 모델의 능력과 신뢰성을 따로 측정해, 성능 1위 모델이 신뢰성에서는 7위에 그친다는 점을 보였다.

문제

System One 모델은 긴 추론 토큰을 생성하지 않고 정해진 선택지에 대한 확률 분포를 한 번의 forward pass로 내놓는다. 그래서 라우팅, 도구 행동 선택, 작업 완료 검증 같은 반복 업무에 빠르게 쓸 수 있다. 하지만 기존 벤치마크는 집계 정확도 위주여서 도메인·난이도별 능력 차이와 결정의 일관성을 잘 보여주지 못했다.

방법

40개 공개 데이터셋·환경에서 과제를 가져오거나 새로 만들고, 정답 라벨을 사람과 LLM이 검토해 의심스러운 항목을 뺐다. 과제는 5개 능력군, 11개 도메인으로 나눴고, 그중 9개 도메인에는 도메인별 기준으로 난이도 등급을 매겼다. 정적 과제 2,300개와 환경 기반 과제 619개(웹 337개, 도구 사용 시뮬레이터 282개)를 choice/yes-no/score라는 공통 결정 형식으로 묶었다. 능력 점수 C는 각 도메인의 최고 난이도 등급을 도메인별 같은 비중으로 평균한다. 신뢰성 점수 R은 두 지표의 기하평균이다. 하나는 선택지를 12번 재배열해도 같은 답을 고르는지(S), 다른 하나는 정답을 뺐을 때 '정답 없음'을 알아차리는지(AUC 기반 N)다.

결과

한계

난이도 등급은 도메인 안에서만 정의되어 도메인끼리 비교할 수 없다. 자유 서술형 답이 필요한 과제는 빠졌다. 정답 라벨 일부는 모델이 만든 것이다(메타데이터에 표시됨). 안정성 측정은 21개 중 19개 모델에만 있다. 여러 모델이 개발사 기본 설정으로 돌아가 조건이 완전히 같지는 않다.

의미

분류·라우팅처럼 빠르고 일관된 결정이 필요한 업무에 경량 결정 모델을 고를 때 쓸 수 있는 기준이다. 정확도만 보고 고르면 선택지 순서나 정답 누락에 흔들리는 모델을 쓸 수 있다는 점을 수치로 보여준다.

핵심 용어

System One 모델
추론 과정을 길게 생성하지 않고, 한 번의 forward pass로 미리 정한 선택지들의 확률 분포를 내놓는 결정 모델이다.
선택지 순서 안정성(S)
선택지 순서를 바꿔도 같은 내용의 답을 고르는 비율이다. 무작위로 고를 때를 0, 항상 같은 답일 때를 1로 맞춘다.
정답 누락 인식(N)
정답 선택지를 뺀 문항에 '정답 없음' 확률을 더 높게 주는지를 AUC로 잰 지표다. 2·AUC−1로 계산한다.

원문

저자: Lichen Li, Ziping Dong, Sicheng Feng, Qi Li, Xinchao Wang · 게시 2026-11-11 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.