← 주요 논문

논문 리뷰 · 2026년 11월 18일

K2-Horizon: 데이터·체크포인트·코드까지 전부 공개한 6종 오픈소스 언어 모델

K2-Horizon: A Frontier Fleet of Open Source Language Models

언어 모델효율·인프라 중급 추천 70 cs.AI Institute of Foundation Models

0.9B부터 375B-A23B MoE까지 6개 모델을 학습 데이터·중간 체크포인트·학습 코드까지 공개해, 에이전트·코딩 벤치마크에서 같은 규모 오픈 모델과 경쟁하는 성능을 얻었다.

문제

공개 가중치 모델은 많지만, 그 모델을 만든 데이터·중간 상태·결정 과정은 거의 공개되지 않는다. 그래서 규모나 희소성(MoE)이 성능에 주는 영향을 통제된 조건에서 연구하기 어렵다.

방법

LLM360의 오픈소스 정의에 따라 6개 모델의 최종 가중치, 학습 단계별 체크포인트 380개, 학습 로그, 21.6TB 학습 데이터, 데이터 생성 파이프라인, 학습 프레임워크(xLLM), RL 스택(RL360), 평가 도구(Eval360)를 공개했다. 아키텍처에서는 Grouped RMSNorm으로 학습 안정성을 높였다. Attention의 Value Projection에 MoE를 적용한 MoVA와 Softplus Attention Gate도 새로 도입했다. 약 10T 토큰의 합성 사전학습 데이터를 썼고, 4개 모델은 같은 22T 토큰 코퍼스와 레시피로 학습했다. 375B 모델은 검색·지식 업무·도구 사용·과학 추론·지시 따르기 영역별로 RL 전문가 모델을 따로 학습해 가중치 병합으로 합친 뒤 SFT로 다듬었다. 추론 속도를 위해 별도 Draft 모델이 필요 없는 무손실 확산 어댑터 Uno도 만들었다.

결과

한계

저자들은 HLE, CritPt 같은 전문가 수준 과학 추론에서 성능 격차가 있다고 밝혔다. 비교 대상은 비슷한 시기의 일부 오픈·폐쇄 모델로 한정된다. 제공된 본문이 중간에 잘려 있어 벤치마크별 전체 수치와 안전성 평가 내용은 확인하지 못했다.

의미

데이터 파이프라인과 중간 체크포인트까지 공개해, 기업과 연구자가 학습 과정을 재현하거나 규모·희소성 효과를 통제 실험으로 분석할 수 있게 했다. 0.9B부터 375B까지 배포 환경별 선택지도 함께 제공한다.

핵심 용어

MoVA(Mixture-of-Value Attention)
Attention의 Value 계산에 여러 전문가를 두고 라우터가 일부만 고르는 구조다. 합쳐진 Value만 캐시하므로 KV 캐시 크기는 늘지 않는다.
Grouped RMSNorm
특징 차원을 여러 그룹으로 나눠 그룹별로 정규화하는 방법이다. 넓은 모델에서 정규화 출력값이 지나치게 커지는 것을 막아 학습을 안정시킨다.
가중치 병합(Weight Merging)
영역별로 따로 학습한 모델들의 파라미터를 합쳐 하나의 모델로 만드는 기법이다. 각 전문가 모델이 얻은 성능 향상을 대부분 유지한다.
A23B 표기
MoE 모델에서 토큰 하나를 처리할 때 실제로 계산에 쓰이는 활성 파라미터가 23B라는 뜻이다.

원문

저자: K2 Team, Zhengzhong Liu, Haonan Li, Xuezhe Ma, Alexander Moreno, Subham Sekhar Sahoo, Rupesh Kumar Srivastava, Mikhail Yurochkin, 외 · 게시 2026-11-16 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.