SAE 학습 데이터의 Scaling Law

문제

해석 가능성 연구에 쓰는 SAE(Sparse Autoencoder)를 대규모로 학습하려면 수 테라바이트의 Activation을 저장해야 한다. 모든 업데이트에 새 Activation을 쓰면 저장량이 학습량에 비례해 늘어난다. 고유 Activation이 얼마나 있어야 반복 재사용(replay)으로 대체할 수 있는지는 알려져 있지 않았다.

방법

총 학습 토큰(128M·640M·1.28B)을 고정한 채 고유 Activation 비율을 1/128~1로 바꾸며 BatchTopK SAE를 학습했다. 대상은 Llama-3.1 8B 15층, 사전 크기는 16k~128k였다. 데이터 제한 Scaling Law(Muennighoff 등)를 응용한 유효 Activation 수와, 사전 크기에 따라 반복 허용 정도가 달라지는 법칙을 맞췄다. Llama 다른 층, Qwen3 크기, TopK·JumpReLU, 수학·코드 데이터로 검증하고 SAEBench로 해석 가능성 지표도 평가했다.

결과

• 설명 분산(EV)은 버퍼가 작을 때 빠르게 오르다 포화됐다. 예: 128M 예산, 16k 사전에서 고유 Activation 1M→128M일 때 EV 0.5801→0.6393.
• 96개 실행 결과에 맞춘 Scaling Law의 RMSE는 4.8×10⁻³ EV였다. AIC는 반복 허용 정도가 사전 크기에 따라 달라지는 버전을 선호했다.
• 1.28B 예산에서 포화 구간은 사전 크기에 거의 비례했다(16k: 20M~40M, 128k: 160M~320M). 16k 사전은 저장 공간을 최대 64배 줄였다.
• 640M 예산, 32k 사전에서 BatchTopK·TopK·JumpReLU 모두 고유 Activation 40M에서 포화됐다(16배 절감). FineMath는 80M(8배), Python 코드는 40M(16배)에서 포화됐다.
• SAEBench에서 재구성 MSE와 AutoInterp는 EV 기준으로 고른 버퍼에서 크게 떨어지지 않았다. 다만 feature absorption은 다양성이 늘어도 단조롭게 개선되지 않았다.

한계

전체 Scaling 그리드는 Llama-3.1 8B 15층, 고정 sparsity(k=32)에서만 수행했다. 다른 층·모델·함수는 한 가지 폭과 예산에서 포화 패턴만 확인했다. 포화 지점은 로그 격자 사이 구간으로만 정해진다. 권장 버퍼 크기는 허용 오차(ε), 기준 EV, 실험 격자에 따라 달라진다. JumpReLU는 sparsity가 달라 절대 성능을 비교할 수 없다.

의미

SAE 학습 비용의 큰 부분인 Activation 저장 부담을 품질 손실 거의 없이 크게 줄이는 실용 규칙(포화에 도달하는 최소 버퍼를 골라 반복 재사용)을 준다. 해석 가능성 연구의 진입 장벽을 낮춘다.

핵심 용어

SAE(Sparse Autoencoder)

모델 내부 Activation을 소수만 켜지는 많은 특징의 조합으로 분해해 사람이 해석할 수 있게 만드는 오토인코더다.

Activation 버퍼 replay

고유 Activation을 일부만 저장하고 여러 epoch에 걸쳐 반복해 학습에 쓰는 방식이다.

설명 분산(EV)

SAE 재구성이 원래 Activation의 분산을 얼마나 설명하는지 나타내는 재구성 품질 지표다.

유효 Activation 수

반복 사용한 데이터의 가치를 할인해, 새 데이터 몇 개와 맞먹는지 환산한 값이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Nikita Koriagin, Nikita Balagansky, Daniil Gavrilov · 게시 2026-11-05 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.