AI Trend Research

← AI 용어집

AI 용어집 · 기초 · 효율·인프라 · MLOps·LLMOps

추론 엔진 Inference Engine, vLLM·SGLang·TensorRT-LLM

추론 엔진은 학습이 끝난 AI 모델을 GPU 위에 올려 사용자 요청에 빠르고 효율적으로 답하게 해 주는 실행 소프트웨어다. 서버용으로 vLLM·SGLang·TensorRT-LLM, 개인 PC용으로 llama.cpp·Ollama 등이 널리 쓰인다.

용어 정보
난이도
기초 · 소식을 읽을 때 자주 만나는 기술 용어
추가
2026-10-12
쉽게 말하면 모델이 요리 레시피라면 추론 엔진은 주방 운영 방식이다. 같은 레시피라도 주문을 잘 묶어 받고 화구를 놀리지 않는 주방이 훨씬 많은 손님을 받는다.

어떻게 작동하나

추론 엔진은 모델 파일(가중치)을 읽어 GPU 메모리에 올리고, 요청이 오면 토큰을 하나씩 만들어 돌려준다. 이때 여러 사용자 요청을 함께 처리하는 연속 배칭, KV 캐시를 블록 단위로 관리하는 페이지드 어텐션, 빠른 어텐션 계산(FlashAttention), 양자화된 모델 실행, 여러 GPU로 모델 쪼개기 같은 기술을 한데 묶어 제공한다. 대개 OpenAI 호환 API 서버도 함께 띄워 주므로, 앱은 익숙한 API 호출 방식 그대로 쓰면 된다.

추론 엔진이 놓이는 자리

앱·서비스챗봇, 사내 도구

API 서버OpenAI 호환 요청 받기

추론 엔진배칭·KV 캐시·양자화·병렬화

모델 가중치safetensors·GGUF 파일

GPU실제 계산과 메모리

위에서 아래로 갈수록 하드웨어에 가깝다. 추론 엔진은 앱의 요청과 GPU 사이에서 실제 계산을 관리한다.

어디서 보게 되나

Hugging Face 모델 카드의 사용법·배포 부분에 'vLLM으로 띄우는 법' 같은 실행 명령이 자주 적혀 있다. 클라우드의 모델 서빙 서비스도 안쪽에서는 이런 엔진을 돌린다. 실행 명령이나 설정 파일에서는 최대 컨텍스트 길이, GPU 메모리 사용 비율, 텐서 병렬 크기, 양자화 방식 같은 옵션을 만난다. 이 값들이 동시에 받을 수 있는 사용자 수와 응답 속도를 크게 좌우한다.

알아 둘 점

여러 사용자에게 서비스하려면 vLLM·SGLang·TensorRT-LLM 같은 서버용 엔진, 내 노트북에서 혼자 쓰려면 GGUF 파일을 돌리는 llama.cpp·Ollama 계열이 흔한 선택이다. 같은 모델이라도 엔진과 설정에 따라 TTFT와 처리량이 크게 달라지므로, 성능 수치를 볼 때는 어떤 엔진·설정에서 잰 것인지 확인해야 한다. 새로 나온 모델은 엔진이 지원을 추가하기 전까지 돌아가지 않거나 일부 기능이 빠질 수 있다. 엔진마다 지원하는 GPU 종류와 양자화 형식이 다르다는 점도 고를 때 확인한다.

예시

사내 문서 챗봇을 만드는 팀이 Hugging Face에서 Instruct 모델을 골랐다면, 모델 카드에 적힌 안내대로 vLLM 명령 한 줄로 OpenAI 호환 서버를 띄우고 최대 컨텍스트 길이와 GPU 메모리 사용 비율을 조정한다. 반면 개발자가 노트북에서 시험만 해 보려면 같은 모델의 GGUF 파일을 받아 Ollama로 돌린다. 이 사이트 소식에도 Google AI Edge가 온디바이스 GPU 추론 엔진 'ML Drift'를 오픈소스로 공개했다는 커뮤니티 전언이 실렸는데, 이처럼 휴대폰·PC에서 모델을 돌리는 엔진도 따로 발전하고 있다.

이 사이트에서 나온 사례

함께 보면 좋은 용어

모델 서빙 연속 배칭 페이지드 어텐션 KV 캐시 GGUF 로컬 LLM