활성 파라미터 Active Parameters
활성 파라미터는 모델이 토큰 하나를 처리할 때 실제로 계산에 쓰는 파라미터 수다. MoE 모델은 전체 파라미터 중 일부만 골라 쓰기 때문에 전체 파라미터와 활성 파라미터가 크게 다르다.
어떻게 작동하나
일반적인 모델은 토큰마다 모든 파라미터를 계산에 쓴다. MoE 모델은 여러 '전문가' 묶음을 두고, 라우터가 토큰마다 일부 전문가만 골라 계산한다. 이때 실제로 계산에 참여하는 파라미터가 활성 파라미터다. 그래서 큰 모델의 지식량을 가지면서도 토큰당 계산량은 작은 모델 수준으로 줄일 수 있다.
감 잡는 법
모델 이름이나 모델 카드에 전체와 활성 파라미터가 함께 적힌 경우가 많다. 예시로 '30B-A3B'라는 이름은 전체 300억, 활성 30억 파라미터라는 뜻으로 읽는다. 메모리는 전체 기준으로 잡아 '전체 파라미터 수 × 숫자 하나의 바이트 수'로 가중치 크기를 짐작한다. 반면 토큰당 계산량과 생성 속도는 활성 파라미터 쪽에 더 가깝다.
전체 파라미터 대 활성 파라미터
전체 파라미터모델이 가진 모든 값
- 필요한 메모리를 정함
- 모든 전문가가 메모리에 올라감
활성 파라미터토큰마다 실제로 쓰는 값
- 토큰당 계산량을 정함
- 생성 속도에 더 가까움
공통 일반 모델은 두 숫자가 같고, MoE에서만 갈린다
알아 둘 점
활성 파라미터가 작다고 작은 GPU에 들어가는 것은 아니며, 쓰지 않는 전문가도 메모리에는 올라와 있어야 한다. 품질은 대개 같은 활성 크기의 일반 모델보다 낫지만, 같은 전체 크기의 일반 모델과 같다고 보장되지는 않는다. 여러 GPU에 나눠 서빙할 때는 전문가 간 통신이 병목이 될 수 있다. 모델을 비교할 때는 전체·활성 중 어느 숫자를 말하는지 꼭 확인한다.
예시
사내 서버에 오픈웨이트 모델을 올리려는 팀이 '30B-A3B'처럼 표기된 MoE 모델(예시)을 검토한다고 하자. 담당자는 메모리는 전체 300억 파라미터를 기준으로 VRAM이 충분한지 따지고, 응답 속도는 활성 30억 파라미터 모델에 가까울 것으로 예상해 처리량을 가늠한다. 실제 속도는 추론 엔진과 GPU 구성에 따라 달라지므로 직접 측정해 확인한다.