AWS, SageMaker AI에서 Kokoro-82M TTS를 문장 단위 스트리밍하고 측정값으로 오토스케일링 기준 잡는 가이드 2편
발표 2026년 10월 22일
확인된 내용 (사실)
AWS가 음성 에이전트의 응답 지연을 줄이기 위해 에이전트가 문장을 만드는 즉시 Kokoro-82M에 보내 음성을 합성하고, Server-Sent Events나 통합 바이너리 전송으로 브라우저에 돌려주는 방법을 소개했다. 별도 글에서는 커스텀 컨테이너로 배포한 Kokoro-82M 엔드포인트에서 Q_max와 T_total 두 값을 측정해 오토스케일링 정책을 도출하는 절차를 설명했다.
의미 (해석)
TTS 서빙의 체감 지연과 GPU 비용을 동시에 다루는 실무 레퍼런스다.
출처
AWS 관련 다른 소식
-
Amazon Polly Generative 엔진 대폭 개선…표현력·정확도 향상, 9개 로캘 새 음성 14종, 힌디어·핀란드어 정식 지원
AWS가 Amazon Polly의 Generative 엔진을 업그레이드해 더 표현력 있고 정확한 음성을 낮은 지연으로 생성하도록 했다. 9개 로캘에 걸쳐 새 음성 14종을 추가했고 힌디어와 핀란드어를 정식 지원한다. 기존 코드를 바꾸지 않아도...
-
AWS, HIPAA 적용 대상 환경에서 Amazon Quick으로 AI 에이전트를 배포하는 가이드 공개
AWS는 Amazon Quick이 HIPAA 적격 서비스이지만 적격성과 규정 준수는 별개라고 짚고, HIPAA 적용 대상, 서비스 안에서 PHI가 흐르는 경로, 규제 환경용 기능, 의료 환경에 규정을 지키는 에이전트를 배포하는 단계별 절차를 정리했다.
-
AWS SageMaker AI 'training sessions' 정식 출시…GPU 관리 없이 사후학습 루프를 직접 작성
AWS가 SageMaker AI 서버리스 모델 커스터마이징에 'training sessions' 기능을 추가하고 정식 출시했다. 사용자는 Python 스크립트로 SFT, 강화학습, 사용자 정의 손실 함수·보상 신호, 멀티턴 강화학습 같은...
-
AWS, 간단한 일은 로컬 SLM·복잡한 요청은 Bedrock으로 보내는 에이전트 프레임워크 'AAIF' 구축법 공개
AWS가 Strands Agents로 만든 Adaptive Agentic Intelligence Framework(AAIF)를 소개했다. 일상 작업은 Ollama로 띄운 로컬 소형 언어 모델이 처리하고, 복잡한 요청은 Amazon...
-
AWS, torchtitan으로 Trainium에서 Qwen3를 학습하는 세 가지 경로 공개
AWS가 trn2.48xlarge 한 대에서 Qwen3를 torchtitan으로 학습하는 방법을 세 갈래로 정리했다. Hugging Face Transformers v5 모델링 백엔드, torchtitan 자체 Qwen3 구현, NKI MoE...