Hugging Face 블로그에 벤치마크 2종: Ai2 'StateBench'(긴 문서 속 상태 변화 추적)와 'CWE-bench v2'(범위·품질·투명성 개선)
발표 2026년 11월 3일
확인된 내용 (사실)
Ai2가 긴 문서에서 언어 모델이 상태 변화를 얼마나 잘 추적하는지 시험하는 'StateBench'를 Hugging Face 블로그에 소개했다. 같은 날 보안 취약점 유형(CWE) 기반 벤치마크 'CWE-bench v2'가 적용 범위·품질·투명성을 높인 판으로 공개됐다. 두 글 모두 수집 자료에는 본문 발췌가 없어 세부 수치는 확인하지 못했다.
의미 (해석)
장문 맥락 추적과 보안 코드 평가는 에이전트 실무에서 약점으로 꼽히는 영역이라 평가 도구 보강 의미가 있다.
신뢰도 보통
출처
Hugging Face 관련 다른 소식
-
JetBrains, 'Mellum2.1-12B-A2.5B-Thinking-MTP' Hugging Face 공개…MTP 헤드로 투기적 디코딩해 "출력은 같고 1.4~1.8배 빨라"(커뮤니티 전언)
JetBrains가 Hugging Face에 'Mellum2.1-12B-A2.5B-Thinking-MTP'를 올렸다. 12B 규모에 토큰당 활성 2.5B인 MoE 모델 Mellum2.1 Thinking에 Multi-Token...
-
카카오, 한국어 특화 임베딩 모델 'Kanana-2-3B-embedding'·'Kanana-2-1.3B-embedding' Hugging Face에 오픈소스 공개(보도)
인공지능신문 보도에 따르면 카카오가 한국어 특화 임베딩 모델 2종(3B, 1.3B)을 Hugging Face에 오픈소스로 공개했다. 사용자 질문과 과거 정보의 의미가 얼마나 가까운지 계산해, 단어가 정확히 같지 않아도 관련 내용을 찾아낸다....
-
Hugging Face 'FineDNA' 공개: LLM에 DNA를 가르치는 학습 데이터셋…Qwen3-14B 기반 'Carbon-X' 학습에 쓴 데이터·코드 전부 공개(커뮤니티 전언)
Reddit r/LocalLLaMA에 올라온 공개 글에 따르면, FineDNA는 Qwen3-14B를 DNA 특화 모델 'Carbon-X'로 만들 때 쓴 데이터를 모두 묶은 것이다. 구성은 세 단계로 나뉜다. 미드트레이닝용 유전체·DNA 관련...
-
"Anthropic 내부 Mythos급 모델 체크포인트가 Hugging Face에 유출" 주장…14T 파라미터·가중치 7.72TB라는 저장소 등장, 진위는 확인 안 돼(커뮤니티 전언, 미확인)
Hugging Face에 'burner22/numbat'이라는 저장소가 올라왔다. 저장소 측은 Anthropic 내부의 Mythos급 모델 학습 체크포인트라고 주장한다. 주장된 사양은 파라미터 14T, MoE 전문가 1,224개, 가중치...
-
언어 모델의 거부 동작을 없애는 오픈소스 도구 'Heretic' 2.0 출시…범용 모델 수정 도구로 확장, 이 도구로 만든 모델 누적 다운로드 8,800만 건(커뮤니티 전언)
개발자 p-e-w가 약 5개월 동안 개발한 Heretic 2.0을 GitHub에 공개했다. Heretic은 언어 모델에 걸린 검열, 곧 거부 동작을 없애는 데 쓰는 오픈소스 도구다. 개발자에 따르면 GitHub 스타는 3만7,000개이고,...