"AI 연구소가 직접 발표한 벤치마크 점수, 외부 평가보다 평균 6.4% 높아"…모델 180개 비교 분석(커뮤니티 전언)

확인된 내용 (사실)

오픈소스 AI 순위표 whatmodel.sh를 만든 개발자가 공개된 벤치마크 결과 1,629건을 모았다. 이 가운데 같은 모델, 같은 벤치마크 조건으로 짝지을 수 있는 611쌍(모델 180개, 벤치마크 103개)을 비교했다. 그 결과 연구소가 스스로 발표한 점수가 외부 평가 점수보다 평균 6.4% 높았다. 데이터셋은 CC BY-SA 4.0, 코드는 MIT 라이선스로 공개했다.

팩트체크 필요 (주장)

작성자: 동일 모델·동일 테스트 기준으로 연구소 자체 발표 점수가 평균 6.4% 높았다.

의미 (해석)

DeepSeek V4.1-Flash 사례처럼 모델 카드 점수와 외부 측정치가 어긋나는 일이 잦은데, 이를 개별 사례가 아니라 데이터로 보여 준 분석이다. 모델을 고를 때 외부 평가를 함께 봐야 한다는 근거가 된다. 다만 개인이 한 분석이라 방법론은 따로 검토가 필요하다.

출처

• 커뮤니티 AI labs report benchmark scores 6.4% higher than independent testers, on average Reddit