Hugging Face 블로그에 벤치마크 2종: Ai2 'StateBench'(긴 문서 속 상태 변화 추적)와 'CWE-bench v2'(범위·품질·투명성 개선)
발표 2026년 11월 3일
확인된 내용 (사실)
Ai2가 긴 문서에서 언어 모델이 상태 변화를 얼마나 잘 추적하는지 시험하는 'StateBench'를 Hugging Face 블로그에 소개했다. 같은 날 보안 취약점 유형(CWE) 기반 벤치마크 'CWE-bench v2'가 적용 범위·품질·투명성을 높인 판으로 공개됐다. 두 글 모두 수집 자료에는 본문 발췌가 없어 세부 수치는 확인하지 못했다.
의미 (해석)
장문 맥락 추적과 보안 코드 평가는 에이전트 실무에서 약점으로 꼽히는 영역이라 평가 도구 보강 의미가 있다.
신뢰도 보통
출처
Hugging Face 관련 다른 소식
-
ERNIE 5.5 Flash Base 후속: 가중치 라이선스의 사용 허가 지역에서 한국과 유럽 빠져(보도)
AI타임스 보도에 따르면 Baidu가 5일 Hugging Face에 올린 'ERNIE 5.5 Flash Base' 가중치는 사용이 허가된 지역 목록에서 한국과 유럽을 제외했다. 모델은 사전학습만 마친 베이스 모델이며, 총 280B 파라미터 중...
-
Hugging Face 'Harness Adapters': 하네스·작업별로 LoRA 어댑터를 학습해 에이전트 성능 맞춤(커뮤니티 전언)
Hugging Face 소속 작성자가 'Harness Adapters'를 소개했다. 사용할 에이전트 하네스(hermes, pi, opencode 등)와 풀려는 작업(데이터 분석, 소프트웨어 개발, 코딩 등)에 맞춰 모델에 LoRA 어댑터를...
-
Hugging Face Open ASR Leaderboard에 이집트·나이지리아 영어 평가 추가
Hugging Face 블로그에 따르면 음성 인식 모델 순위표 Open ASR Leaderboard에 이집트 영어와 나이지리아 영어가 새로 들어갔다. 세부 데이터셋 구성과 결과는 자료 발췌에 없다.
-
Ai2, 로봇 학습·평가용 통제 환경 'ToyBlocks' 공개
Ai2가 Hugging Face 블로그에 'ToyBlocks'를 소개했다. ToyBlocks는 로봇 학습과 평가를 위해 조건을 통제한 환경이다. 수집된 자료에는 제목만 있어 환경 구성, 과제 종류, 공개 범위 같은 세부 내용은 확인되지 않는다.
-
NVIDIA, 인터랙티브 월드 시뮬레이션용 오픈 모델 'Cosmos 3' 공개
NVIDIA가 Hugging Face 블로그에 인터랙티브 월드 시뮬레이션용 새 오픈 모델 'Cosmos 3'을 소개하는 글을 올렸다. 수집된 자료에는 제목만 있어 모델 크기, 라이선스, 성능 수치는 확인되지 않았다.