논문 리뷰 · 2026년 11월 14일
SO-Arena: System One 모델의 능력 스펙트럼과 의사결정 신뢰성 벤치마크
SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models
11개 도메인, 2,919개 과제로 System One 모델의 능력과 신뢰성을 따로 측정해, 성능 1위 모델이 신뢰성에서는 7위에 그친다는 점을 보였다.
문제
System One 모델은 긴 추론 토큰을 생성하지 않고 정해진 선택지에 대한 확률 분포를 한 번의 forward pass로 내놓는다. 그래서 라우팅, 도구 행동 선택, 작업 완료 검증 같은 반복 업무에 빠르게 쓸 수 있다. 하지만 기존 벤치마크는 집계 정확도 위주여서 도메인·난이도별 능력 차이와 결정의 일관성을 잘 보여주지 못했다.
방법
40개 공개 데이터셋·환경에서 과제를 가져오거나 새로 만들고, 정답 라벨을 사람과 LLM이 검토해 의심스러운 항목을 뺐다. 과제는 5개 능력군, 11개 도메인으로 나눴고, 그중 9개 도메인에는 도메인별 기준으로 난이도 등급을 매겼다. 정적 과제 2,300개와 환경 기반 과제 619개(웹 337개, 도구 사용 시뮬레이터 282개)를 choice/yes-no/score라는 공통 결정 형식으로 묶었다. 능력 점수 C는 각 도메인의 최고 난이도 등급을 도메인별 같은 비중으로 평균한다. 신뢰성 점수 R은 두 지표의 기하평균이다. 하나는 선택지를 12번 재배열해도 같은 답을 고르는지(S), 다른 하나는 정답을 뺐을 때 '정답 없음'을 알아차리는지(AUC 기반 N)다.
결과
- 21개 모델을 평가했다. System Two 기준 모델인 GPT-6 Sol(82.3)과 GPT-6 Luna(79.7)가 능력 점수 1·2위였다. System One 최상위권인 GLiDE와 KnowLine-31B(70.2)는 Luna보다 약 10점 낮았다.
- 속도는 System One 쪽이 크게 앞섰다. 오픈 웨이트 System One 모델은 모두 H100 한 장에서 과제당 0.3초 안에 답했다. 저자들은 GPT-6 Sol·Luna보다 수십 배 빠르다고 보고했다.
- 능력 1위 System One 모델은 신뢰성 순위에서 7위에 그쳤다. JevAny-27B는 능력 순위가 11위였지만 평가한 System One 모델 중 신뢰성은 가장 높았다.
- 난이도가 오를수록 성능이 떨어졌고, 에이전트 과제에서 하락이 특히 컸다. 저자들은 모델 크기를 키우거나 추론을 더할 때 얻는 이득이 도메인마다 크게 다르다고 보고했다.
한계
난이도 등급은 도메인 안에서만 정의되어 도메인끼리 비교할 수 없다. 자유 서술형 답이 필요한 과제는 빠졌다. 정답 라벨 일부는 모델이 만든 것이다(메타데이터에 표시됨). 안정성 측정은 21개 중 19개 모델에만 있다. 여러 모델이 개발사 기본 설정으로 돌아가 조건이 완전히 같지는 않다.
의미
분류·라우팅처럼 빠르고 일관된 결정이 필요한 업무에 경량 결정 모델을 고를 때 쓸 수 있는 기준이다. 정확도만 보고 고르면 선택지 순서나 정답 누락에 흔들리는 모델을 쓸 수 있다는 점을 수치로 보여준다.
핵심 용어
- System One 모델
- 추론 과정을 길게 생성하지 않고, 한 번의 forward pass로 미리 정한 선택지들의 확률 분포를 내놓는 결정 모델이다.
- 선택지 순서 안정성(S)
- 선택지 순서를 바꿔도 같은 내용의 답을 고르는 비율이다. 무작위로 고를 때를 0, 항상 같은 답일 때를 1로 맞춘다.
- 정답 누락 인식(N)
- 정답 선택지를 뺀 문항에 '정답 없음' 확률을 더 높게 주는지를 AUC로 잰 지표다. 2·AUC−1로 계산한다.
원문
저자: Lichen Li, Ziping Dong, Sicheng Feng, Qi Li, Xinchao Wang · 게시 2026-11-11 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.