리더보드 Leaderboard

어떻게 작동하나

리더보드는 크게 두 방식이 있다. 하나는 정해진 시험 문제(벤치마크)를 모든 모델에 풀게 하고 점수를 매기는 방식이다. 다른 하나는 LMArena처럼 사람들이 같은 질문에 대한 두 모델의 답을 익명으로 비교해 투표하고, 그 결과를 모아 점수(레이팅)를 계산하는 방식이다. 앞쪽은 재현하기 쉽고, 뒤쪽은 실제 사용자 체감에 가깝다.

어디서 보게 되나

Hugging Face의 리더보드 공간, LMArena 같은 투표형 사이트, 코딩·수학·검색 등 특정 분야 리더보드가 있다. 모델을 발표하는 회사도 블로그나 모델 카드에 리더보드 순위와 점수를 자주 인용한다. 순위표에는 보통 모델 이름, 점수, 신뢰 구간이나 투표 수, 라이선스 표시가 함께 나온다. 감은 '1등 하나'보다 '상위권 묶음'으로 잡는 편이 좋다.

알아 둘 점

점수 차이가 작으면 순위가 바뀌어도 실제 차이는 거의 없을 수 있다. 시험 문제가 학습 데이터에 섞이는 데이터 오염이나 리더보드 점수만 겨냥한 조정으로 순위가 부풀려질 수 있다. 투표형은 길고 친절한 답이나 보기 좋은 서식이 유리하게 평가되는 경향이 지적된다. 그래서 리더보드로 후보를 추린 뒤에는 내 업무 데이터로 직접 평가(Evals)하고 비용·속도·라이선스까지 함께 따져야 한다.

예시

이 사이트에는 LMArena 운영사가 대규모 투자를 유치했다는 보도가 소개됐을 만큼 리더보드는 업계가 주목하는 지표가 됐다. 실무에서는 사내 챗봇용 모델을 고를 때 리더보드 상위권 중 라이선스와 예산에 맞는 서너 개를 추리고, 자주 받는 질문 묶음으로 직접 비교 평가해 최종 모델을 정한다.

이 사이트에서 나온 사례

• 브리핑 LMArena 운영사 Arena, 2억 달러 유치…10개월 만에 기업가치 31억 달러로 약 2배(보도) 2026-10-08

함께 보면 좋은 용어

벤치마크 Evals 데이터 오염 LLM-as-a-Judge 모델 카드 Hugging Face