AI 용어집 · 심화 · AI 플랫폼·솔루션 · MLOps·LLMOps
LLM 게이트웨이 LLM Gateway, AI Gateway
LLM 게이트웨이는 여러 앱이 여러 AI 모델을 쓸 때 그 사이에 하나의 관문을 두고, 모든 요청이 이곳을 거쳐 가게 하는 중간 계층입니다. 이 관문에서 인증·모델 선택(라우팅)·비용 관리·기록·보안 검사를 한곳에 모아 처리합니다.
어떻게 작동하나
사내 챗봇, 코딩 도구, 업무 자동화 같은 앱들은 각 모델 회사의 API를 따로 부르지 않고 게이트웨이 주소 하나로 요청을 보냅니다. 게이트웨이는 요청한 사람이나 팀이 권한이 있는지 확인한 뒤, 정해 둔 규칙에 따라 외부 모델이나 사내에서 직접 서빙하는 모델로 요청을 넘깁니다. 응답이 오면 앱에 그대로 돌려주면서 사용한 토큰 수, 걸린 시간, 비용을 기록합니다. 많은 게이트웨이가 여러 회사의 API를 하나의 공통 형식으로 맞춰 주기 때문에, 앱 코드를 크게 고치지 않고도 모델을 바꿀 수 있습니다.
왜 중요한가
회사 안에서 AI를 쓰는 팀이 늘어나면 API 키가 여기저기 흩어지고, 누가 얼마나 쓰는지, 어떤 데이터가 바깥으로 나가는지 파악하기 어려워집니다. 게이트웨이를 두면 키 관리, 팀별 사용 한도, 비용 정산을 한곳에서 할 수 있습니다. 한 모델이 느려지거나 장애가 나면 다른 모델로 자동으로 돌리는 대체(폴백) 설정도 가능합니다. 개인정보를 가리거나 위험한 요청을 막는 가드레일, 같은 질문에 대한 답을 재사용하는 캐싱도 이 지점에 붙이기 좋습니다.
알아 둘 점
모든 요청이 한곳을 지나가므로 게이트웨이 자체가 느리거나 멈추면 전체 서비스에 영향을 줍니다. 그래서 여러 대를 두고 상태를 계속 지켜보는 운영이 필요합니다. 여러 모델을 하나의 형식으로 맞추다 보면 특정 모델만의 고유 기능은 바로 쓰기 어려울 수 있습니다. 또 게이트웨이에 프롬프트와 응답 기록이 쌓이므로, 이 기록 자체를 민감한 데이터로 보고 접근 권한과 보관 기간을 정해야 합니다.
예시
여러 부서가 각자 생성형 AI 기능을 만드는 회사에서는 보통 플랫폼 팀이 LLM 게이트웨이를 하나 세우고 모든 팀이 이를 통해서만 모델을 쓰도록 합니다. 예를 들어 고객 상담 챗봇은 빠르고 저렴한 모델로, 계약서 검토 도구는 성능이 높은 모델로 보내도록 규칙을 정해 두고, 월말에는 게이트웨이 기록으로 부서별 사용량과 비용을 나눠 정산합니다. 오픈소스 게이트웨이나 클라우드 회사의 관리형 AI 게이트웨이 서비스가 이런 용도로 쓰입니다.