Jeva: 결정 구조를 기본 원리로 설계한 System One 모델

문제

도구 선택, 문서 식별, 조건 판정, 점수 매기기처럼 짧은 결정을 바로 내리는 System One 모델은 보통 요청과 후보를 한 텍스트로 이어 붙여 인코딩한다. 이 방식에는 네 가지 문제가 있다. 후보 순서가 바뀌면 결정도 바뀔 수 있다. 정답 기호 수가 고정돼 있어 후보 수를 늘리기 어렵다. '맞는 후보가 없음'과 '후보끼리 경합 중'을 구분하지 못한다. 반복해서 등장하는 후보의 계산도 요청마다 다시 해야 한다.

방법

공유 언어 인코더(Qwen3.5-4B)가 요청과 각 후보를 독립적으로 벡터화한다. 이어 가벼운 결정 블록이 고정된 후보 메모리를 attention으로 읽으며 요청 상태만 갱신한다. 대칭 집계와 공유 점수 함수를 쓰기 때문에 후보 순서를 바꿔도 확률이 같은 방식으로 재배열될 뿐이고, 후보 수가 늘어도 출력 파라미터는 늘지 않는다. 후보 간 경합 분포(softmax)와 별도로, 최고 점수에서 '유효 후보가 하나라도 있을 확률'을 따로 추정하는 coverage 게이트를 둔다. 이 게이트로 null 결과를 명시적으로 낸다. 후보 벡터와 레이어별 key/value 투영은 요청과 무관하므로 요청 간에 캐싱할 수 있다. 학습은 rank-64 LoRA와 결정 헤드(13.37M 파라미터)로 진행했다.

결과

• BANKING77(K=16) 정확도 91.62%로 비교 모델 중 차상위인 Jev-1.13.0(82.50%)보다 높음. 단, Typed Test에서는 78.30%로 InternDecision-4B(78.70%)보다 약간 낮음
• Choice 순서 변경 실험에서 결정이 바뀐 비율(Flip)이 0.00%. 비교 모델들은 17~85%였음
• Noul Brier 점수 0.0184로 InternDecision-4B(0.0340)보다 낮음(낮을수록 좋음)
• 저자들은 후보 2,048개에서 재귀 선택 기준선보다 정확도가 높고 중앙값 지연시간이 2배 이상 빨랐다고 보고했다
• 새로 조합한 긴 문서 후보 집합에서 요청 간 캐시 재사용으로 결정 변화 없이 중앙값 지연시간을 20배 이상 줄였다고 보고했다

한계

주 실험은 Qwen3.5-4B 백본과 결정 블록 1개 구성에 한정된다. 일부 벤치마크(Typed Test)에서는 기존 모델보다 약간 낮다. 각 텍스트의 인코더 길이 제한은 그대로 남는다. 순서 불변성은 정확한 산술 연산을 가정한 성질이어서 동점 처리나 유한 정밀도 영향은 따로 다뤄야 한다. 제공된 본문이 중간에서 잘려 학습 데이터 구성과 세부 실험 조건은 확인하지 못했다.

의미

도구 라우팅, 문서 선택, 분류처럼 짧은 결정을 대량으로 처리하는 서비스에서는 순서 민감성, '해당 없음' 처리, 지연시간이 실제 운영 문제다. 이 논문은 이 세 가지를 구조 수준에서 해결하는 설계안을 제시한다.

핵심 용어

System One 모델

추론 과정을 글로 생성하지 않고, 선택지 확률이나 점수 같은 정형화된 결정을 곧바로 출력하는 저지연 모델이다.

Permutation equivariance(순서 등변성)

후보 순서를 바꾸면 출력 확률도 같은 순서로 재배열될 뿐 값은 그대로라는 성질이다. 그래서 어떤 순서로 넣어도 같은 후보가 선택된다.

Coverage 게이트

후보 간 상대 경쟁과 별도로 '적합한 후보가 하나라도 있는지'의 확률을 추정하는 장치다. '정답 없음(null)'을 명시적으로 출력할 수 있게 한다.

Option memory 캐싱

후보 표현이 요청과 무관하게 계산되므로, 같은 후보가 다른 요청이나 다른 조합에 다시 나오면 저장된 계산을 그대로 재사용하는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Qi Li, Xinchao Wang · 게시 2026-10-13 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.