AI Trend Research
KR

← 2026년 10월 19일 브리핑 · 20:00 업데이트로 추가

P2 모델 가중치 공개 언어 모델데이터·평가후속20:00 갱신DeepSeekArtificial Analysis

DeepSeek V4.1-Flash-1017 후속: 외부 평가의 Terminal-Bench 4.0 점수는 34%·31.8%로 모델 카드 42.3%보다 낮아(커뮤니티 전언)

확인된 내용 (사실)

Reddit 게시글에 따르면 모델 카드에 적힌 V4.1-Flash-1017의 Terminal-Bench 4.0 점수는 42.3%다. 같은 벤치마크에서 Artificial Analysis(AA)는 34%, Vals Index는 31.82%로 집계했다. 모델 카드는 Claude Code 하네스로 측정했다고 밝혔다. 게시자는 외부 기관이 다른 하네스를 쓴 탓에 점수 차이가 생겼을 것으로 추정했다. 비교 대상인 Fable 5의 점수는 AA 기준 42%, Vals 기준 41.41%였다. GeekNews 글은 이 모델이 AA Intelligence Index에서 45점을 받았다고 전했다. 비슷한 크기의 오픈 가중치 모델 중앙값은 19점이다.

팩트체크 필요 (주장)

모델 카드 기준 Terminal-Bench 4.0 42.3%(Claude Code 하네스 사용).

의미 (해석)

같은 모델이라도 하네스와 측정 조건에 따라 에이전트 벤치마크 점수가 10%p 가까이 달라질 수 있다는 사례다. 발표 수치만으로 모델을 고르기보다 외부 평가와 함께 비교해야 한다는 점을 보여 준다. 그래도 외부 지수 기준으로 같은 크기대 오픈 모델 가운데서는 상위권이다.

신뢰도 보통 · 공식 출처 확인 전

출처

이어지는 소식

  1. 2026-10-17 DeepSeek 'V4.1-Flash-1017' Hugging Face 공개…Terminal-Bench 4.0 31.2→42.3(커뮤니티 전언)
  2. 2026-10-17 DeepSeek V4.1 Flash 1017 후속: 회사 첫 CED(Causal Encoder-Decoder) 구조, 이미지 이해 기본 지원…총 552B, 입력 8B·출력 16B 활성(커뮤니티 전언)
  3. 2026-10-18 DeepSeek V4.1-Flash-1017 후속: 정식 출시로 확인, 가중치는 MIT 라이선스…웹·앱·API에 적용하고 가격은 그대로(보도)
  4. 2026-10-19 DeepSeek V4.1-Flash-1017 후속: 외부 평가의 Terminal-Bench 4.0 점수는 34%·31.8%로 모델 카드 42.3%보다 낮아(커뮤니티 전언)

DeepSeek 관련 다른 소식