AWS, llama.cpp로 SageMaker AI에 결정 모델을 배포하는 가이드 공개…SemIf로 선택지별 확률 반환
발표 2026년 10월 12일
확인된 내용 (사실)
AWS가 llama.cpp용 AWS Deep Learning Container로 Amazon SageMaker AI에 결정 모델(decision model)을 배포하는 기술 가이드를 공개했다. 이 구성은 OpenAI 호환 chat completions를 제공한다. 런타임을 SemIf로 확장하면 미리 정한 선택지별 확률을 반환하며, CPU와 GPU 모두에서 동작한다. 같은 날 Ollama v0.40.4-rc0도 결정 모델 지원을 위해 llama.cpp를 업데이트했다.
의미 (해석)
텍스트 대신 선택지 확률을 내는 결정 모델이 라우팅·분류용으로 늘어나는 가운데, 주요 클라우드와 로컬 런타임이 이를 서빙 대상으로 지원하기 시작했다.
출처
- 공식 Deploy decision models with llama.cpp on Amazon SageMaker AI AWS
- 공식 v0.40.4 Ollama
AWS 관련 다른 소식
-
AWS, 멀티 노드 Ray LLM Deep Learning Container로 프리필·디코드를 GPU 노드별로 나눠 서빙하는 방법 공개
AWS가 멀티 노드 Ray LLM Deep Learning Container로 대규모 언어 모델 하나를 Amazon EKS의 GPU 노드 두 대에 걸쳐 배포하는 방법을 공개했다. 프리필 노드와 디코드 노드를 분리하고, 그 앞에 OpenAI 호환...
-
"아마존, AI 스타트업 Decart를 70억 달러에 인수하는 협상 중" WSJ 보도
AI타임스가 월스트리트저널(WSJ)의 9일(현지시간) 보도를 인용해 전한 바에 따르면, 아마존은 샌프란시스코의 AI 스타트업 Decart를 약 70억 달러(약 9조 원)에 인수하는 방안을 협상하고 있다. 소식통을 인용한 보도이며, 협상이...
-
AWS, 동남아·대만 리전에서 Amazon Bedrock의 OpenAI GPT-6 Sol·Luna·Astra를 글로벌 교차 리전 추론으로 사용하는 방법 공개
AWS는 싱가포르·자카르타·태국·말레이시아·타이베이 리전을 기점으로 Amazon Bedrock의 OpenAI GPT-6 Sol·Luna·Astra를 글로벌 교차 리전 추론(cross-Region inference)으로 호출하는 방법을 공식...
-
AWS, NVIDIA 기술 스택 결합한 'Physical AI Toolchain on AWS' 오픈소스 공개…로봇 학습부터 현장 배포·재학습까지 연결(보도)
인공지능신문 보도에 따르면 AWS는 8일(현지시간) 'Physical AI Toolchain on AWS'를 오픈소스로 공개했다. NVIDIA의 피지컬 AI 기술 스택과 아마존의 로봇 운영 경험을 결합했다. 데이터 생성, 모델 학습, 가상환경...
-
AWS·Postman, 개발자 4천만 명이 쓰는 'Agent Mode'를 Amazon Bedrock에서 운영하는 아키텍처 공개
AWS 블로그에서 Postman과 AWS가 개발자 4천만 명을 대상으로 Postman 'Agent Mode'를 운영하는 아키텍처 패턴을 공유했다. 핵심은 도구가 지나치게 늘어나는 것을 통제하기, 스키마 기반 읽기 노출, 그리고 컨텍스트를 실제...