← 주제 탐구

주제 탐구 · 2026-11-14 · 심화 · 작성자 bombong

MoE Expert 오프로딩: GPU 밖에서 거대 모델 돌리기

MoE 모델은 토큰마다 일부 전문가만 쓰지만, 모든 전문가의 가중치는 어딘가에 올려 둬야 한다. Expert 오프로딩은 전문가를 CPU 메모리나 SSD에 두고 필요할 때만 GPU로 옮겨, 좁은 VRAM으로 거대 모델을 돌린다. 핵심은 PCIe 전송 대기를 어떻게 숨기느냐다.

목차
핵심 정리
  • MoE는 연산은 아끼지만 메모리는 아끼지 못한다. Expert 오프로딩은 이 차이를 파고들어, 쓰지 않는 전문가를 GPU 밖에 둔다.
  • 병목은 PCIe 전송이다. 어떤 전문가가 필요한지는 라우터가 계산한 뒤에야 알 수 있어서, 전송이 계산의 대기 경로 위에 놓인다.
  • 해법은 세 가지 손잡이로 나뉜다. 무엇을 GPU에 남길지(상주·캐시), 언제 미리 가져올지(예측·프리페치), 어디서 계산할지(GPU·CPU 분담)다.
  • 프리페치가 늘 좋은 것은 아니다. GPU 캐시가 있으면 예측이 부정확해져 대역폭을 낭비할 수 있다는 연구가 있어서, 요청 스케줄링이 대안으로 나왔다.
  • 가장 좋은 정책은 모델 희소성, CPU·GPU 성능, VRAM, 대역폭에 따라 바뀐다. 남의 벤치마크 수치를 내 환경에 그대로 옮기면 안 된다.

왜 필요했나: 연산은 줄었는데 메모리는 그대로

MoE(전문가 혼합)는 모델 안에 여러 개의 작은 신경망, 곧 '전문가'를 두고, 토큰마다 라우터(어떤 전문가를 쓸지 고르는 작은 판정기)가 그중 몇 개만 골라 계산하는 구조다. 한 토큰을 처리할 때 실제로 쓰는 활성 파라미터는 전체의 일부라서, 같은 계산량으로 더 큰 모델을 만들 수 있다. 문제는 '어떤 전문가가 뽑힐지 미리 모른다'는 점이다. 그래서 쓰지 않을 수도 있는 전문가까지 전부 메모리에 올려 둬야 한다.

그 결과 MoE 모델은 가속기 한 장의 메모리를 쉽게 넘는다. Specter논문는 MoE 모델이 단일 가속기의 메모리 용량을 넘는 일이 흔하다는 문제에서 출발했다. AdaOffload논문는 MoE 추론이 GPU 메모리에 묶여 있으며, 계산은 희소한데도 점점 커지는 프런티어 모델을 서빙하려면 GPU가 더 필요하다고 짚었다. 소비자용 GPU나 엣지 기기라면 사정이 더 빠듯하다. SMoE논문와 OD-MoE논문는 기기 메모리가 작은 엣지·저가 하드웨어를 직접 겨냥한다.

Expert 오프로딩은 이 빈틈을 파고든다. 전문가 가중치를 CPU 쪽 메모리(호스트 DRAM)에 두고, 자주 쓰는 일부만 GPU 메모리(VRAM)에 캐시한다. 필요한 전문가가 GPU에 없으면 그때 가져온다. OD-MoE논문는 기존 오프로딩을 이렇게 요약한다. 전문가 파라미터는 CPU 메모리에 저장하고, 인기 있는 일부를 GPU 메모리에 캐시하는 방식이다. 대가도 분명하다. Specter논문에 따르면 전문가를 호스트 메모리로 내리면 심한 PCIe(CPU와 GPU를 잇는 데이터 통로) 입출력 병목이 생긴다. 라우팅이 데이터에 따라 정해지기 때문에 전송이 계산의 대기 경로 위에 그대로 남는다.

핵심 아이디어: 좁은 작업대와 넓은 창고

주방에 비유하면 이해가 쉽다. GPU는 요리사 바로 앞의 좁은 작업대이고, CPU 메모리는 복도 끝의 넓은 창고, SSD는 그보다 먼 지하 창고다. 요리(토큰 계산)는 작업대 위에서 할 때 가장 빠르지만, 작업대에는 재료를 몇 가지밖에 못 올린다. 주문(토큰)이 들어오면 주문서(라우터)가 어떤 재료(전문가)가 필요한지 알려 주고, 작업대에 없으면 창고까지 다녀와야 한다.

이 비유에서 개선 방법은 크게 세 갈래다. 첫째, 자주 쓰는 재료를 작업대에 남겨 둔다(상주·캐시). 둘째, 다음 주문을 미리 짐작해 재료를 먼저 가져다 둔다(예측·프리페치). 셋째, 굳이 작업대로 옮기지 않고 창고 옆 작은 조리대, 곧 CPU에서 바로 처리한다(CPU 연산 분담). 오프로딩 연구는 대부분 이 세 손잡이를 어떻게 조합하느냐의 문제다.

이 설계가 맞바꾸는 것도 비유에 드러난다. 작업대를 넓히는 대신(GPU를 더 사는 대신) 왕복 시간을 감수한다. 그래서 목표는 왕복을 없애는 것이 아니라 왕복 동안 요리사가 놀지 않게 하는 것이다. 전송과 계산을 겹쳐서 대기 시간을 숨기는 것이 거의 모든 시스템의 공통 전략이다.

어떻게 작동하나: 한 층에서 벌어지는 일

MoE 층 하나를 지날 때의 흐름을 단계별로 보면 이렇다. 먼저 라우터가 토큰마다 쓸 전문가를 고른다. 고른 전문가가 GPU 캐시에 있으면(캐시 적중) 바로 GPU에서 계산한다. 없으면(캐시 미스) 두 가지 중 하나를 한다. CPU 메모리에서 PCIe로 가중치를 GPU에 옮긴 뒤 계산하거나, 가중치를 옮기지 않고 CPU에서 그 전문가를 계산한다. 전문가 풀 자체를 SSD에 두는 구성이라면 SSD에서 DRAM으로 읽어 오는 단계가 하나 더 붙는다. PagedMoE논문가 이런 SSD 상주 구성을 다룬다.

여기에 '미리 하기'가 겹친다. 현재 층을 계산하는 동안 다음 층들에서 쓰일 전문가를 예측해 미리 옮겨 두면, 전송 시간이 계산 뒤에 숨는다. OLED-MoE논문는 기존 MoE 서빙 시스템이 이처럼 한 층을 계산하는 동안 다음 층의 전문가를 예측하고 적재하는 방식에 기대고 있다고 정리했다. 예측이 맞으면 대기가 사라지고, 틀리면 쓸데없는 전송이 대역폭과 GPU 메모리를 잡아먹는다.

COPE논문는 이 설계 공간을 서로 독립적인 두 축으로 나눴다. 하나는 전문가 상주(어떤 전문가를 어디에 둘지), 다른 하나는 MoE 실행 전략(어디서 어떻게 계산할지)이다. 아래 구조도는 이 두 축과 예측 경로를 한 층 기준으로 그린 것이다. 실무에서 오프로딩 엔진을 볼 때도 '무엇을 남기나, 언제 가져오나, 어디서 계산하나'라는 세 질문으로 나눠 보면 구조가 잘 보인다.

성능은 보통 두 지표로 잰다. TPOT(출력 토큰 하나를 만드는 데 걸리는 시간)는 한 사용자가 체감하는 속도이고, 처리량(토큰/초)은 여러 요청을 묶었을 때 시스템 전체가 내는 양이다. 어떤 지표를 겨냥했는지에 따라 좋은 설계가 달라진다.

MoE 층 하나에서의 오프로딩 흐름토큰 → 라우터; 라우터 → GPU 캐시(적중); GPU 캐시 → GPU 계산; CPU 메모리 → GPU 캐시(PCIe 전송); CPU 메모리 → CPU 계산(CPU 실행); SSD → CPU 메모리(읽기); 라우터 → 예측·프리페치; 예측·프리페치 → CPU 메모리(미리 요청); GPU 계산 → 다음 층으로; CPU 계산 → 다음 층으로토큰라우터전문가 고르기GPU 캐시VRAM·자주 쓰는전문가GPU 계산예측·프리페치다음 층 전문가CPU 메모리호스트 DRAMCPU 계산옮기지 않고 처리SSD전문가 풀(선택)다음 층으로적중PCIe 전송CPU 실행읽기미리 요청
MoE 층 하나에서의 오프로딩 흐름 라우터가 고른 전문가가 GPU 캐시에 있으면 바로 계산하고, 없으면 CPU 메모리에서 옮겨 오거나 CPU에서 계산한다. 점선은 다음 층을 미리 예측해 가져오는 선택적 흐름이다.

발전 흐름: 예측, 대체, 스케줄링, 확장

출발점이 되는 논문들은 모두 2025~2026년의 연구라서, 여기서는 이 논문들 사이에서 무엇이 새로 나왔는지를 정리한다. 첫 갈래는 '더 멀리, 더 정확히 예측하기'다. SP-MoE논문는 추측 디코딩(작은 draft 모델이 토큰 여러 개를 먼저 써 보고 큰 모델이 한꺼번에 검증하는 방식)과 오프로딩을 처음으로 함께 설계했다고 밝혔다. 여러 토큰을 동시에 검증하면 필요한 전문가가 늘어 CPU-GPU 대역폭 경쟁이 심해지는데, draft 모델과 원래 모델의 구조적 대응을 이용해 검증 전에 전문가를 미리 가져온다. 층별 프리페치 깊이를 제한하는 정책과 비동기 파이프라인을 더해 기존 방법보다 TPOT를 1.07~3.5배 줄였다. Specter논문는 양자화한 가벼운 draft 모델을 GPU에서 돌려, 앞으로 여러 단계 동안 쓰일 전문가를 미리 본다. 단일 요청 기준 평균 1.50배(최대 1.88배) TPOT 개선을 보고했다. OD-MoE논문는 예측을 끝까지 밀어붙였다. 여러 엣지 노드에 전문가 적재와 계산을 나눠 맡기고, 여러 층 앞의 전문가 활성을 99.94% 정확도로 예측해 필요한 순간 직전에 올리고 쓰고 나면 바로 내린다. 캐시를 아예 두지 않는 설계로, 10노드 테스트베드에서 전부 GPU에 캐시한 배치 대비 약 75%의 디코딩 속도를 냈다.

두 번째 갈래는 '꼭 그 전문가여야 하나'를 묻는다. SMoE논문는 오프로딩을 순수한 스케줄링 문제로만 보지 않고, 전문가의 중요도를 판단에 끌어들였다. 중요도가 낮은 전문가가 뽑혔는데 GPU에 없으면, 이미 캐시에 있는 기능이 비슷한 전문가로 대신 계산한다. 전송 자체를 줄이는 대신 계산을 근사하는 것이다. 디코딩 지연 48% 감소, 60% 넘는 캐시 적중률, 거의 손실 없는 정확도를 보고했다.

세 번째 갈래는 예측에 대한 반론이다. Bevy논문는 GPU에 전문가 캐시가 있으면 프리페치가 오히려 해로울 수 있다고 주장했다. 캐시가 필요한 전문가를 많이 담을수록, 캐시 밖에서 맞혀야 하는 예측은 덜 정확해진다는 것이다. 그래서 예측 대신 요청 스케줄링을 택했다. 동시에 들어온 요청 중 전문가가 준비된 요청을 먼저 뒤 층까지 달려가게 하면(runahead), 그 요청이 다음에 필요한 전문가를 '예측이 아니라 실제로' 드러낸다. 그동안 준비된 요청을 계산하면서 부족한 전문가를 가져온다. llama.cpp 대비 디코드 처리량을 최대 3.46배로 높였다.

네 번째 갈래는 적용 범위 확장이다. OLED-MoE논문는 블록 단위로 잡음을 걷어 내는 반자기회귀 확산 LLM(디퓨전 모델 방식의 언어 모델)에서는 한 반복 안에서 쓰는 전문가 집합이 커져 층별 프리페치가 제때 끝나기 어렵다는 점을 짚었다. 대신 인접한 반복 사이에 전문가 라우팅이 많이 겹친다는 점을 이용해, 토큰 확신도로 다시 쓰일 전문가를 골라 GPU에 남긴다. 피할 수 없는 미스는 CPU-GPU 협력 실행으로 메운다. AdaOffload논문는 기존 오프로딩 시스템이 GPU를 늘려도 성능이 따라 늘지 않는다는 문제를 겨냥했다. 디코드와 프리필(입력 프롬프트를 한꺼번에 처리하는 단계) 모두에서 GPU-CPU 병렬과 협력 실행을 함께 설계하고, 실행 중 워크로드를 관찰해 맞춘다. L4·Pro6000·B200 등 다섯 플랫폼과 284B~753B 오픈웨이트 모델에서 처리량을 1.9~15.5배 높였다.

Expert 오프로딩 연구 지도 같은 열의 묶음은 비슷한 문제의식을 공유하는 연구다. 계승 관계가 아니라 접근 방식으로 묶었다.

요즘 어디로 가고 있나: 에이전트, SSD, 정책 선택

최근 연구에서는 세 가지 흐름이 눈에 띈다. 첫째는 로컬 에이전트다. Ostinato논문는 소비자용 GPU 몇 장을 단 워크스테이션에서 에이전트를 돌리는 상황을 다뤘다. 에이전트는 도구 결과를 받을 때마다 짧은 프리필을 하고 다시 디코드를 하는데, 기존 CPU-GPU 엔진은 둘 중 하나만 빠르다. 예를 들어 llama.cpp의 전문가 캐시는 디코드용 전문가를 지키려고 32토큰이 넘는 순전파에서는 캐시를 쓰지 않아, 도구 출력마다 2.1~2.8초를 기다리게 된다. 기본 층 배치로 바꾸면 대기는 줄지만 디코드가 1.5~1.6배 느려진다. Ostinato는 짧은 프리필이 건드리는 전문가는 많지만 라우팅의 84%가 GPU에 들어가는 안정된 전문가 집합으로 간다는 점을 찾아, 이 집합을 매 순전파 GPU에서 계산한다. RTX 4090D 네 장에서 llama.cpp·KTransformers 대비 도구 출력 뒤 대기 중앙값을 22~55% 줄이고 세션을 1.4~2.5배 빨리 끝냈다.

둘째는 계층을 한 단계 더 내리는 흐름이다. PagedMoE논문는 라우팅되는 전문가 풀을 SSD에 두고 DRAM을 캐시로 쓴다. 이때 SSD 입출력이 대기 경로에 남는 문제를, 토큰마다 전문가의 정밀도(비트 수)를 다르게 하는 방식으로 줄인다. 같은 전문가의 저정밀 버전이 고정밀 버전의 앞부분(prefix)이 되도록 저장해서, 캐시에 있는 비트는 다시 쓰고 모자란 비트만 더 읽는다. 평균 2.5비트에서 Qwen3.5-397B-A17B로 GPTQ-INT4에 가까운 품질을 냈고, 24GiB 전문가 캐시로 초당 8.89토큰을 기록했다. 양자화와 오프로딩이 '얼마나 줄일까'와 '어디에 둘까'라는 따로 노는 결정이 아니라 하나의 캐시 설계로 합쳐지는 모습이다.

셋째는 정책 선택의 자동화다. COPE논문는 모델 희소성, CPU·GPU 처리량, VRAM 용량, 호스트-디바이스 대역폭이 달라지면 정책 순위가 바뀐다는 점을 짚었다. 모든 후보를 구현해 보는 비용을 피하려고, 목표 플랫폼에서 연산 조합을 측정하고 오프라인 라우팅 기록과 합쳐 성능을 추정한다. 평가한 기준 방법 대비 가장 빠른 정책을 고르는 정확도를 24~100% 높였다. 정답 정책 하나를 찾는 단계에서, 환경마다 정책을 고르는 방법을 찾는 단계로 옮겨 가고 있다는 신호다.

GPU에 전문가를 얼마나 남겨 두나

← 쓸 때만 올리고 바로 내림전부 GPU에 상주 →
1234
  1. OD-MoE: 캐시 없음
  2. SMoE·Bevy: 인기 전문가 캐시
  3. Ostinato: 안정된 집합 상주
  4. 전체 GPU 배치
왼쪽일수록 GPU 메모리를 아끼고 전송에 더 의존하며, 오른쪽일수록 GPU에 많이 상주시킨다. 위치는 상대적인 비교일 뿐 수치가 아니다.

한계와 쟁점

첫째, 수치는 환경에 묶여 있다. 위의 배속 수치들은 서로 다른 기준선(llama.cpp, 이전 최고 시스템, 전체 GPU 캐시 배치), 다른 지표(TPOT, 처리량, 세션 완료 시간), 다른 하드웨어에서 나왔다. COPE논문가 보여 주듯 하드웨어와 모델이 바뀌면 정책 순위 자체가 뒤집힐 수 있다. 논문끼리 숫자를 나란히 놓고 우열을 매기면 안 된다.

둘째, 예측은 공짜가 아니다. 틀린 예측은 대역폭과 GPU 메모리를 낭비하고, Bevy논문는 캐시가 있을 때 프리페치가 오히려 해로울 수 있다고 주장했다. OLED-MoE논문도 확산 LLM에서는 기존 프리페치 방식이 사실상 필요할 때 적재하는 방식으로 떨어져 디코딩 지연이 커진다고 지적했다. 반대로 OD-MoE논문는 매우 정확한 예측기로 캐시 없이도 버텼다. 예측이 이득인지는 워크로드 모양에 달려 있다.

셋째, 계산을 바꾸는 최적화와 바꾸지 않는 최적화를 구분해야 한다. SMoE논문의 전문가 대체나 PagedMoE논문의 낮은 정밀도는 모델이 실제로 계산하는 값을 바꾼다. 보고된 품질은 '거의 손실 없음', '근접'이지 동일함이 아니다. Ostinato논문는 모델의 계산을 바꾸지 않는다고 밝혔다. 정확도 검증이 까다로운 업무라면 이 차이가 선택을 가른다.

넷째, 단일 요청과 다중 요청은 다른 문제다. Specter논문는 단일 요청 추론에서 성과를 냈고, Bevy논문는 동시 요청이 있어야 성립한다. 한 사람이 쓰는 로컬 LLM인지, 여러 사용자를 받는 서버인지에 따라 맞는 설계가 다르다.

실무에서 고를 때 따질 점

Expert 오프로딩이 맞는 경우는 분명하다. 모델 가중치가 가진 VRAM보다 크고, GPU를 더 사는 것보다 지연을 일부 감수하는 편이 나은 경우다. 로컬 워크스테이션, 엣지 기기, 소수 GPU로 큰 오픈웨이트 MoE를 돌리려는 경우가 대표적이다. 반대로 모델이 이미 VRAM에 다 들어가고 지연이 중요하다면 오프로딩은 손해다. OD-MoE논문조차 전부 GPU에 캐시한 배치의 약 75% 속도였다.

고를 때는 먼저 내 워크로드의 모양을 본다. 단일 사용자 대화라면 TPOT를, 여러 요청을 묶는다면 처리량을 기준으로 삼는다. 에이전트처럼 짧은 프리필과 디코드가 번갈아 오면, Ostinato논문가 지적한 것처럼 디코드 속도만 보고 엔진을 고르면 도구 호출마다 생기는 대기를 놓친다. 추측 디코딩을 함께 쓸 계획이라면 SP-MoE논문가 지적한 대역폭 경쟁도 고려해야 한다.

흔한 실수는 세 가지다. 다른 하드웨어에서 나온 벤치마크를 그대로 믿는 것, 모델 계산을 바꾸는 근사 기법을 품질 검증 없이 켜는 것, 그리고 CPU 쪽 자원(메모리 용량, 코어 수, NUMA 구성)을 따지지 않는 것이다. AdaOffload논문는 CPU 성능과 NUMA 구성까지 평가 변수에 넣었고, vExpert 같은 분산 환경 연구도 DRAM 사용량과 PCIe 공유를 따로 문제 삼는다. 아래 점검 목록을 배포 전에 확인하면 좋다.

오프로딩 도입 전 점검

필요성

  • 모델이 VRAM에 정말 안 들어가는가
  • GPU 증설보다 지연 감수가 나은가

워크로드

  • 단일 요청인가, 동시 요청인가
  • TPOT와 처리량 중 무엇이 기준인가
  • 에이전트처럼 프리필·디코드가 번갈아 오는가
  • 추측 디코딩을 함께 쓰는가

검증

  • 근사 기법이 품질을 바꾸지 않는지 확인했는가
  • 내 하드웨어에서 정책을 직접 측정했는가
  • CPU 메모리·코어·NUMA 구성을 따졌는가
본문에서 다룬 쟁점을 배포 전에 확인할 항목으로 묶었다.

더 공부하려면

처음이라면 OD-MoE논문의 문제 설정 부분부터 읽기를 권한다. 'CPU 메모리에 두고 인기 있는 전문가만 GPU에 캐시한다'는 기본 구조와 그 한계가 짧게 정리돼 있다. 이어서 SMoE논문를 읽으면 '스케줄링만이 아니라 계산을 조금 바꾸는 선택지도 있다'는 관점을 얻는다.

예측 계열을 깊이 보려면 SP-MoE논문와 Specter논문를 함께 읽는다. 둘 다 추측 디코딩의 draft 모델을 전문가 예측에 활용하지만, 하나는 검증 단계의 대역폭 경쟁을, 다른 하나는 양자화한 draft로 멀리 내다보기를 강조한다. 그다음 Bevy논문를 읽으면 예측에 대한 반론까지 균형 있게 볼 수 있다.

서버 규모나 실전 배치에 관심이 있다면 AdaOffload논문와 COPE논문를, 로컬 에이전트를 돌린다면 Ostinato논문를, 메모리가 아주 빠듯해 SSD까지 써야 한다면 PagedMoE논문를 읽는다. 확산 LLM처럼 생성 방식이 다른 모델을 다룬다면 OLED-MoE논문가 왜 기존 가정이 깨지는지 보여 준다.

관련 용어

MoE 활성 파라미터 VRAM 추측 디코딩 양자화 로컬 LLM 추론 엔진 처리량(토큰/초)

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.