Flide: 정확한 상태 Forking으로 의사결정 모델 추론 가속

문제

Jev 같은 의사결정 모델은 긴 컨텍스트 하나에 대해 여러 질문을 던지고, 선택지별 확률을 출력한다. 그런데 vLLM·SGLang 같은 생성 중심 엔진은 질문마다 별도 시퀀스로 처리해 공유 컨텍스트를 반복 계산한다. 하이브리드 모델에서는 Prefix 캐시가 블록 경계에서만 복원돼 재계산이 생긴다. Multi-item scoring은 구분자 토큰 때문에 출력 확률이 왜곡되고, 동적 배칭에서는 부동소수점 합산 순서가 바뀌어 같은 요청에도 결정이 흔들릴 수 있다.

방법

요청의 논리적 트리 구조(공유 상태 = 줄기, 질문 = 가지)를 GPU 메모리의 메타데이터로 저장하고, 한 라운드의 요청 전체는 패딩 없는 하나의 토큰 스트림으로 실행한다. ForkAttention은 Full attention 층에서 같은 요청의 줄기와 자기 가지만 보도록 마스킹한다. Gated DeltaNet 층은 두 번 호출해, 먼저 상태 구간의 Recurrent 상태를 구하고 각 질문이 그 상태에서 인덱스로 이어서 계산하게 한다. 라운드 구성이 데이터로만 표현되므로 소수의 사전 캡처된 CUDA graph로 다양한 요청 조합을 처리한다. 에이전트 이력이 늘어나면 이전 체크포인트에서 재개하고, 선택적으로 비트 단위까지 동일한 배치 불변 모드를 제공한다.

결과

• 공개 하이브리드 모델에서 vLLM·SGLang보다 최대 9.5배 빠르게 질문에 답했고, 전용 의사결정 모델에서도 가장 빨랐다고 보고했다.
• 공유 상태 하나에 질문이 여러 개 붙는 경우 모든 동시성 수준에서 처리량이 가장 높았다고 보고했다.
• float32 참조 분포와의 Total Variation Distance가 비교 엔진 중 가장 작았다. 반면 Multi-item scoring은 처리량을 얻는 대신 확률이 왜곡됐다.
• 정확 연산 가정에서 각 질문의 Hidden state가 독립 실행과 같다는 명제를 층별 귀납법으로 증명했다(Proposition 3.1).

한계

정확성 보장은 Causal 모델과 정확 연산 기준이고, 부동소수점에서는 반올림 수준의 차이가 남는다. 출력이 선택지 확률인 의사결정 워크로드에 특화돼 있어 일반 텍스트 생성 가속과는 범위가 다르다. 제공된 본문에는 실험 세부 수치와 모델 목록 일부가 잘려 있다.

의미

에이전트 시스템에서 라우팅·판단·평가처럼 빠르고 확률 보정이 중요한 호출이 늘고 있다. 속도와 확률의 정확성을 동시에 지키는 서빙 설계를 보여준다는 점에서, 임계값 기반 의사결정을 운영하는 팀에 실무적으로 의미가 있다.

핵심 용어

의사결정 모델(decision model)

텍스트를 생성하지 않고 긴 컨텍스트에 대한 여러 질문에 선택지별 확률을 바로 출력하는 모델이다. 에이전트의 빠른 판단(System One)에 쓰인다.

Gated DeltaNet

모든 과거 토큰을 고정 크기의 행렬 상태 하나에 누적하는 Recurrent 층이다. Attention 마스크로는 질문들을 분리할 수 없어 별도의 상태 Forking이 필요하다.

Prefix 캐싱

여러 요청이 공유하는 앞부분의 KV 캐시를 저장해 재사용하는 기법이다. 하지만 각 질문은 여전히 별도 시퀀스로 실행된다.

CUDA graph

GPU 커널 실행 순서를 미리 녹화해 한 번에 재생함으로써 커널 런칭 오버헤드를 줄이는 기능이다. 커널의 형태가 고정되는 제약이 있다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Bobo Li, Jiajia Song, Hao Fei, Wynne Hsu, Mong Li Lee · 게시 2026-10-30 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.