분석 · 2026-11-17 · 작성자 bombong
작은 의사결정 모델이 범용 LLM 호출을 대체할까
같은 주에 Google·LangChain·Hugging Face가 '선택지에 답하는' 의사결정 모델을 내놓거나 지원하기 시작했고, Amazon의 교체 사례도 전해졌다. 이 글은 이 모델이 범용 LLM과 무엇이 다른지, 비용이 어디서 줄어드는지, 어디까지 바꿔도 되는지를 근거와 함께 정리한다.

- Google은 11월 11일 답을 생성하지 않고 선택지마다 확률과 확신도를 돌려주는 Gemini Decisions API를 공개했다.
- LangChain은 같은 날 의사결정 모델 추상화와 모델 라우터(베타)를 핵심 패키지에 넣었다.
- Amazon은 20개 범주 티켓 분류에서 비용을 98% 줄였다고 전해졌지만, 독립 검증은 없다.
- 비용이 줄어드는 곳은 출력 토큰을 만들지 않는 데와 한 입력에 여러 질문을 묶는 데라서, 절감 폭은 작업의 모양에 따라 달라진다.
- 범용 LLM을 통째로 대체하기보다는 판단 모델이 앞단에서 걸러 주고, 범용 LLM은 생성이 필요한 곳에 남는 분업으로 읽힌다.
같은 주에 무엇이 나왔나?
11월 둘째 주에 '선택지에 답하는' 모델이 여러 층에서 한꺼번에 나왔다. 의사결정 모델(Decision model)은 긴 답변을 쓰지 않는다. 주어진 선택지마다 확률과 신뢰도만 돌려주는 모델이다(GeekNews, s6).
Google은 11월 11일 새 모델 Gemini Decision 1로 돌아가는 Gemini Decisions API를 공개했다(Google 블로그, s1). 같은 날 LangChain은 langchain-core 1.8.0에 의사결정 모델 추상화를 넣었다글. langchain 1.5.0에는 모델 라우터와 자동 모드 미들웨어를 더했다글. langchain-typesafe 0.1.0은 TypeSafeClassifier를 의사결정 모델로 구현했다글. Hugging Face도 Hub의 의사결정 모델을 다룬 블로그 글을 올렸다글. 이에 앞서 11월 10일에는 Amazon이 사내 티켓 분류 모델을 Strands Decider E4B로 바꿨다는 글이 GeekNews에 올라왔다글. 이 사이트 집계로 'Strands Decider'는 이번 주 공식 발표 1건, 커뮤니티 1건에서 다뤄졌다.
모델 API, 프레임워크, 모델 허브, 운영 사례가 한 주 안에 맞물린 셈이다. 신제품 하나가 나왔다기보다, 에이전트를 이루는 부품 가운데 '판단'이 떨어져 나와 표준 부품이 되는 과정으로 읽힌다.
실무자라면 '분류는 범용 LLM에 프롬프트로 시킨다'는 기본값을 다시 따져 볼 때다.
의사결정 모델이 몰린 한 주
- 11월 10일Amazon 교체 사례티켓 분류를 Strands Decider E4B로
- 11월 11일Gemini Decisions APIGemini Decision 1 기반
- 11월 11일LangChain 새 버전의사결정 모델·모델 라우터
생성 모델과 판단 모델은 어떻게 다른가?
범용 LLM으로 분류하면 모델은 답을 토큰 하나씩 생성하고, 코드는 그 텍스트를 파싱해 라벨을 꺼낸다. Gemini Decision 1은 다르게 동작한다. Google 설명에 따르면 답을 생성하지 않고, 후보 선택지를 한 번의 forward pass로 채점해 확률과 확신도를 돌려준다글.
Google이 밝힌 질문 형식은 세 가지다글. 예/아니오 조건의 확률, 2~255개 선택지 중 고르기, 0부터 시작하는 순서형 루브릭 점수다. 텍스트·이미지·오디오·비디오·PDF를 최대 256K 토큰까지 한 입력으로 넣을 수 있다. 여기에 독립된 질문을 최대 1,000개까지 붙인다글. 모든 답에는 0~1 사이 확신도가 붙는다. 그래서 애매한 경우를 대체 경로나 사람 검토자에게 넘길 수 있다는 게 Google의 설명이다글. Google이 든 용도는 도구 선택, 정책 점검, 모델 라우팅, 컨텍스트 평가다글.
LangChain에서도 의사결정 모델 추상화와 모델 라우터가 같은 날 들어왔다글글. 라우팅은 '요청을 어느 모델이나 도구로 보낼지' 고르는 선택 문제다. 그래서 이 변화는 판단 모델을 에이전트 흐름의 갈림길에 두는 설계를 염두에 둔 것으로 볼 수 있다. 다만 ModelRouterMiddleware는 아직 베타로 표시돼 있다글.
출력이 확률로 나오면 임계값을 정해 '자동 처리'와 '사람 검토'를 나누기 쉬워진다. 텍스트를 파싱하다 실패할 일도 줄어든다.
범용 LLM 호출 대 의사결정 모델
범용 LLM답을 생성
- 답을 토큰 단위로 생성
- 코드가 텍스트를 파싱
- 이유 설명·자유 형식 가능
의사결정 모델선택지를 채점
- 한 번의 forward pass로 채점
- 선택지별 확률·확신도 반환
- 한 입력에 여러 질문 묶기
공통 둘 다 라우팅·분류·정책 점검에 쓸 수 있다
비용은 얼마나 달라지나?
가장 구체적인 수치는 Amazon 사례에서 나온다. GeekNews 글에 따르면 Amazon은 대규모 내부 티켓에 20개 범주 중 하나를 붙이는 작업에 Claude Sonnet 4.6을 쓰다가 Strands Decider E4B로 바꿨다글. 별도 티켓 평가에서는 E4B가 운영 중이던 모델보다 나은 결과를 냈다고 한다. 평균 호출 시간은 78%, 티켓당 토큰은 70%, 비용은 98% 줄었고, 연간 수백만 달러를 아낄 것으로 예상됐다글. 모두 Amazon 쪽 수치로 전해졌고 독립 검증은 없다.
Google은 가격을 입력 100만 토큰당 0.10달러로 밝혔다. 출력 토큰은 과금하지 않고, 응답까지 걸리는 시간은 150~250ms라고 한다글. 공유 벤치마크 묶음에서는 Gemini 3.5 Flash-Lite를 쓸 때보다 5배 가까이 저렴하다는 게 Google의 주장이다글. 한 요청에 담는 질문을 1개에서 100개로 늘려도 지연 시간은 거의 그대로라고도 밝혔다글.
두 자료를 겹쳐 보면 비용이 줄어드는 곳은 두 군데로 보인다. 출력 토큰을 만들지 않는 것, 그리고 한 입력에 여러 질문을 묶는 것이다. 따라서 절감 폭은 작업의 모양에 달려 있다고 볼 수 있다. 선택지가 정해진 반복 분류일수록 효과가 크다. 이유를 글로 설명해야 하는 작업에는 그대로 적용되지 않는다.
'98%'를 내 숫자로 가져오기 전에, 내 호출 가운데 출력이 정해진 라벨인 호출이 얼마나 되는지부터 확인해야 한다.
전해진 절감 수치
어디까지 바꿔도 되나?
교체에서 가장 어려운 부분은 품질 근거다. Amazon은 바꾸기 전에 실제 트래픽에서 두 모델을 함께 돌렸다. 결과는 기존 모델 것만 반영하는 방식으로 검증했다고 전해졌다글. 운영을 흔들지 않고 새 모델의 판단을 실제 데이터와 비교한 셈이다.
이번 주 근거에는 한계도 있다. Gemini Decision 1이 벤치마크 전반에서 앞서고 보정 오차가 가장 낮다는 내용은 Google 자체 발표다글. Amazon 수치는 커뮤니티를 거쳐 전해졌다글. Hugging Face 블로그는 수집 자료에서 구체적인 내용을 확인할 수 없었다글. 발표 수치를 그대로 믿기보다 내 데이터로 다시 재야 하는 이유다.
도입할 때 챙길 실무 조건도 있다. LangChain의 새 버전들은 Python 3.10 지원을 끝내고 최소 버전을 3.11로 올렸다. 3.10 환경에서는 이전 버전이 설치된다글글. 3.10에서 운영 중인 팀은 새 의사결정 모델 기능을 쓰기 전에 런타임 업그레이드가 먼저 필요하다.
종합하면 이번 흐름은 범용 LLM을 통째로 대체한다기보다 역할을 나누는 쪽으로 읽힌다. 판단 모델이 앞단에서 라우팅·분류·점검을 맡고, 범용 LLM은 생성과 설명이 필요한 곳에 남는 구조다.
- 최근 한 달 LLM 호출 로그에서 출력이 정해진 라벨이나 예/아니오인 호출만 골라, 전체 비용과 지연 시간에서 차지하는 비중을 계산해 본다.
- 교체 후보 분류 작업 하나를 정해 기존 LLM과 의사결정 모델을 실제 트래픽에서 함께 돌리되 기존 결과만 반영하는 방식으로 정확도를 비교한다.
- 확신도 임계값을 정해 그 아래 사례는 범용 LLM이나 사람 검토로 넘기는 분기를 설계하고, LangChain을 쓴다면 런타임이 Python 3.11 이상인지 먼저 확인한다.
관련 용어
Decision model SLM 토큰 과금 LLM-as-a-Judge 휴먼 인 더 루프 구조화된 출력 A/B 테스트 LLM 게이트웨이