논문 리뷰 · 2026년 11월 4일

사전학습 데이터 규모가 커지면 Muon과 AdamW의 파인튜닝 우위가 뒤집힌다

Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap

사전학습 데이터가 충분히 많아지면 AdamW로 사전학습한 모델이 Muon 모델보다 파인튜닝 후 학습-망각 균형이 더 좋아짐을 대규모 실험으로 보였고, 이를 Margin-to-Spread Ratio로 설명했다.

문제

Muon 옵티마이저는 AdamW보다 사전학습 손실을 빨리 낮춘다. 하지만 실무에서 중요한 것은 파인튜닝 후 목표 작업을 얼마나 잘 배우면서 기존 지식을 얼마나 덜 잊는가(학습-망각 균형)다. Muon의 우위가 이 기준에서도 유지되는지는 알려져 있지 않았다.

방법

OLMo 계열 30M~600M 모델을 DCLM 1.5억~1,540억 토큰으로 AdamW와 Muon 각각으로 사전학습했다(약 600회). 각 모델을 GSM8K, StackMathQA, Alpaca, MusicPile에 옵티마이저와 학습률을 바꿔 가며 파인튜닝했다(약 29,000회). 파인튜닝 손실(학습)과 사전학습 손실(망각)의 Pareto Frontier로 두 옵티마이저를 비교했다. 원인 분석을 위해 정답 logit이 오답 logit들보다 얼마나 높은지를 오답 logit의 퍼짐으로 나눈 Margin-to-Spread Ratio(MSR)를 정의했다. 그리고 선형 연상 메모리에서 GD와 Muon의 1-step 업데이트를 이론적으로 분석했다.

결과

OLMo-60M에서 StackMathQA로 파인튜닝하면, 2.4B 토큰 사전학습에서는 Muon의 Frontier가 AdamW를 지배했다. 그보다 많은 토큰에서는 AdamW가 더 낮은 파인튜닝 손실과 더 적은 망각을 함께 보였다. 사전학습 손실은 모든 데이터 규모에서 Muon이 더 낮았다.
역전이 일어나는 토큰-파라미터 비율(crossover TPR)은 모델이 클수록 작아졌다. StackMathQA 기준 30M 모델은 320, 600M 모델은 10이었다.
저자들은 사전학습 손실이 가장 낮은 모델 대신 Frontier가 가장 좋은 사전학습 설정을 골라도 같은 역전이 나타난다고 보고했다.
언어 모델에서 MSR은 데이터가 적을 때 Muon이, 많을 때 AdamW가 더 컸다. 파인튜닝 결과의 추세와 일치한다.
선형 연상 메모리의 1-step 분석에서 GD/Muon MSR 비율은 데이터 예산이 커질수록 커지며 3π/8(약 1.18)에 아래쪽에서 다가간다는 것을 증명했다.

한계

실험은 600M 파라미터 이하 모델에 한정된다. 학습과 망각은 하류 작업 정확도가 아니라 손실로 측정했다. 이론 분석은 AdamW가 아닌 full-batch GD와 정확한 직교화를 쓰는 Muon을 비교한 것이다. 또 0에서 시작한 1-step 업데이트를 분석한 것이어서, 여러 스텝 학습은 시뮬레이션으로만 확인했다. crossover 지점은 파인튜닝 데이터셋에 따라 달라진다.

의미

사전학습 옵티마이저를 고를 때 사전학습 손실만 보면 파인튜닝 후 성능을 잘못 판단할 수 있다는 점을 보여 준다. 토큰을 많이 쓰는 최근 사전학습 흐름과 큰 모델에서는 Muon의 이점이 파인튜닝 단계에서 사라지거나 뒤집힐 수 있다.

핵심 용어

Muon: 그래디언트 행렬을 직교화(특이값을 모두 1로 맞춤)한 방향으로 가중치를 업데이트하는 옵티마이저다. LLM 사전학습 손실을 AdamW보다 빨리 낮춘다고 알려져 있다.
학습-망각 균형: 파인튜닝으로 새 작업을 잘 배우는 정도와 사전학습 지식을 잃는 정도 사이의 균형이다. 이 논문은 이를 두 손실의 Pareto Frontier로 비교한다.
Margin-to-Spread Ratio(MSR): 정답 logit과 오답 logit 평균의 차이를 오답 logit의 표준편차로 나눈 값이다. 클수록 출력이 흔들려도 정답이 유지되기 쉽다.
Token-Parameter Ratio(TPR): 모델 파라미터 하나당 사전학습 토큰 수다. 사전학습 데이터 예산을 모델 크기에 맞춰 비교하는 지표로 쓴다.

원문

저자: Catherine Li, Jingchu Gai, Andrej Risteski, Jacob Mitchell Springer, Aditi Raghunathan · 게시 2026-11-02 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.