AI 용어집 · 기초 · 효율·인프라 · 언어 모델 · AI 플랫폼·솔루션

Flide 플라이드

Flide는 Jev 계열 '의사결정 모델'을 빠르게 돌리기 위한 오픈소스 추론 인프라다. 같은 입력을 한 번만 계산해 두고, 그 상태에서 여러 질문으로 갈라져 각각 답을 내는 '정확한 상태 분기' 방식을 쓴다.

용어 정보

난이도: 기초 · 소식을 읽을 때 자주 만나는 기술 용어
카테고리: 기반·응용
분야: 효율·인프라, 언어 모델, AI 플랫폼·솔루션
추가: 2026-11-10

쉽게 말하면 긴 사건 기록을 한 번 꼼꼼히 읽은 담당자가 '환불할까?', '급한 건인가?' 같은 질문을 연달아 받으면, 질문마다 기록을 처음부터 다시 읽지 않고 읽어 둔 기억에서 바로 답하는 것과 비슷하다. 사람 기억과 달리 Flide는 각 답이 질문을 따로 받았을 때와 똑같이 나오도록 맞춘다는 점이 다르다.

무엇인가

Flide는 GitHub(OmniJev)에 공개된 추론 인프라로, 정해진 선택지 가운데 하나를 고르는 Jev 계열 의사결정 모델을 실행하는 데 맞춰져 있다. 여기서 추론 인프라란 학습을 마친 모델에 요청을 넣고 답을 받아 오는 실행 엔진을 말한다. GeekNews 소개에 따르면 Qwen3.5, Gemma 4 같은 채팅 모델과 OneJev 등 여러 의사결정 모델을 지원하며, 모델에 따라 이미지나 동영상도 입력으로 받는다. 라이선스는 Apache-2.0이다. 2026년 11월 9일 0.1.10 버전이 나왔으며, 아직 0.1대 버전이라 초기 단계라고 볼 수 있다.

어떻게 작동하나

핵심은 '정확한 상태 분기(exact state forking)'다. 여러 질문이 함께 쓰는 입력(예: 주문 내용과 환불 요청)을 먼저 한 번만 처리해 모델의 중간 상태를 만든다. 그다음 이 상태에서 질문별로 갈라져, 질문마다 한 번의 순전파(모델을 한 번 통과시키는 계산)로 답을 낸다. 각 답은 같은 입력에 그 질문만 붙여 따로 실행했을 때와 같다고 한다. 사용자는 /v1/systemone API로 공유 입력 하나와 여러 질문을 한꺼번에 보내며, 질문 하나에 최대 256개 선택지를 둘 수 있다.

공유 입력 한 번, 질문별 분기 왼쪽의 공통 입력을 한 번만 계산해 상태를 만들고, 그 상태에서 질문마다 갈라져 각각 답을 낸다. 질문 내용은 소개 글 예제를 옮긴 것이다.

왜 주목받나

이메일 분류나 고객 문의 처리처럼 같은 글에 여러 판단을 내려야 하는 업무가 많은데, 기존 방식은 질문마다 같은 입력을 다시 계산했다. Flide 쪽은 vLLM·SGLang 같은 범용 추론 엔진보다 최대 9.5배 빠르다고 밝혔다. 또 H200 GPU 한 장과 OneJev 0.8B로 이메일 1만 건에 각각 8개 질문을 적용하는 데 28초가 걸렸다고 소개했다. 이전 요청의 상태를 보관해 에이전트의 다음 단계에서 새로 붙은 부분만 읽게 하는 세션 캐시, LoRA 어댑터 서빙, FP8 양자화 같은 운영 기능도 갖췄다.

알아 둘 점(한계)

성능 수치는 개발 측이 내놓은 것이고, 소개 글에서도 모델과 작업에 따라 향상 폭이 크게 달라진다고 밝혔다. 일부 모델·작업에서는 기존 엔진과 거의 차이가 없는 결과도 있다. 자유롭게 긴 글을 쓰는 채팅보다는 선택지를 고르는 의사결정형 요청에서 이득이 크다. 어떤 요청과 함께 묶여 처리되든 결과를 비트 단위까지 같게 만드는 --batch-invariant 옵션은 속도를 일부 희생한다. 자기 모델과 요청에서 분기 결과가 정말 같은지는 flide verify로 직접 확인하는 것이 좋다.

예시

고객센터에 '화면이 깨진 채 도착했으니 환불해 달라'는 문의가 들어왔다고 하자. Flide를 쓰는 시스템은 이 문의를 공유 입력으로 한 번만 읽은 뒤, '환불·교환·사람에게 이관 중 무엇을 할까'와 '한 시간 안에 답해야 할 만큼 급한가'라는 두 질문을 같은 상태에서 각각 판단한다. 문의가 수천 건이고 질문이 여러 개일수록 같은 글을 반복해 읽는 낭비가 줄어든다.

Flide 플라이드

무엇인가

어떻게 작동하나

왜 주목받나

알아 둘 점(한계)

예시

함께 보면 좋은 용어

참고