오픈소스 · ★ GitHub 별 93,741 (2026-10-14 기준)
vLLM
vLLM은 LLM 추론과 서빙을 빠르고 효율적으로 처리하는 오픈소스 라이브러리다.
소개
vLLM은 LLM 추론과 서빙을 위한 라이브러리로, UC Berkeley Sky Computing Lab에서 시작해 여러 학계·기업 기여자가 함께 관리한다. Hugging Face의 다양한 모델 구조를 지원한다.
PagedAttention으로 어텐션 키·값 메모리를 효율적으로 관리하고, 들어오는 요청을 Continuous batching으로 묶어 처리한다. 프리픽스 캐싱, 다양한 양자화 형식, Speculative decoding, 텐서·파이프라인·전문가 병렬화 같은 분산 추론 기능을 갖췄다. OpenAI 호환 API 서버와 Anthropic Messages API를 제공하며 NVIDIA·AMD·Intel GPU와 여러 CPU, 하드웨어 플러그인을 지원한다.
오픈 모델을 자체 인프라에서 서비스로 띄우려는 개발자와 ML 엔지니어에게 맞다.
이런 데 씁니다
- 오픈 모델을 OpenAI 호환 API 서버로 띄워 서비스한다.
- 양자화한 모델을 적은 메모리로 서빙한다.
- 여러 GPU에 모델을 나눠 분산 추론을 한다.
- 구조화된 출력, 도구 호출, 멀티 LoRA 서빙이 필요한 애플리케이션을 만든다.
가격·라이선스
공식 사이트 확인
시작하기
- uv pip install vllm 으로 설치한다(pip도 가능).
- vllm download-kernels 로 미리 컴파일된 커널을 받아 시작 속도를 높인다.
- 공식 문서의 Quickstart Guide를 따라 모델을 실행한다.
링크
관련 용어·기업
최근 브리핑 언급
출처
공개 자료(공식 페이지·README)를 근거로 정리했습니다. 가격·기능은 바뀔 수 있으니 공식 사이트에서 확인하세요.