NVIDIA 'ReplaySSM' 공개…SSM·어텐션 하이브리드 모델의 디코딩을 빠르게 하는 상태 저장 방식
발표 2026년 10월 12일
확인된 내용 (사실)
NVIDIA가 개발자 블로그에서 하이브리드 모델 디코딩을 빠르게 하기 위해 상태 저장 방식을 다시 설계한 'ReplaySSM'을 소개했다. 하이브리드 모델은 상태 공간 모델(SSM) 레이어 사이에 어텐션 레이어 몇 개를 섞은 구조다. 글은 NVIDIA Nemotron 3, Qwen3.5~Qwen3.8, Kimi-K3, GLM-5.3-Flash를 하이브리드 모델 사례로 든다. 성능 수치와 코드 공개 여부는 입력 자료에서 확인되지 않는다.
팩트체크 필요 (주장)
상태 저장 방식을 바꿔 하이브리드 모델의 디코딩을 더 빠르게 한다고 설명한다.
의미 (해석)
주요 오픈 모델이 하이브리드 구조로 옮겨 가고 있어, SSM 상태 관리가 추론 서빙의 새 병목이자 최적화 대상이 되고 있다.
출처
NVIDIA 관련 다른 소식
-
래블업, GLM-5.2의 한국어 추론 속도를 높이는 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko' 오픈소스 공개(보도)
래블업은 한국어 질의와 한국어 에이전트 작업에서 LLM 추론을 빠르게 하는 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko'를 한글날인 9일 오픈소스로 공개했다고 12일 밝혔다. Z.ai의 'GLM-5.2'를 NVIDIA 4비트...
-
Microsoft, 3세대 자체 AI 칩 'Maia 300' 발표…자사 서비스의 '주력 추론 시스템'으로(보도)
The Verge 보도에 따르면 Microsoft가 3세대 자체 AI 칩 'Maia 300'을 발표했다. Microsoft 제품과 서비스의 '주력 AI 추론 시스템'으로 설계한 칩이다. 이전 세대보다 클라우드에서 AI를 돌리는 비용과 효율이...
-
NVIDIA, OCP 글로벌 서밋에서 Vera Rubin 아키텍처를 개방형 표준으로 공개…AI 팩토리 확장 파트너십 발표
NVIDIA는 미국 새너제이에서 열린 Open Compute Project(OCP) 글로벌 서밋에서 Vera Rubin 아키텍처를 개방해 전 세계 AI 팩토리 확장을 돕겠다고 발표했다. 새 파트너십과 OCP 기여 내용도 함께 공개했다. 공식...
-
NVIDIA·Reflection AI 협상, 인력 영입·기술 라이선스 방식도 검토…기존 투자는 8억 달러(보도)
국내 매체들이 파이낸셜타임스(FT) 보도를 인용해 협상 세부 내용을 새로 전했다. 협상은 초기 단계로, 몇 주 안에 합의할 수도 있고 결렬될 수도 있다. 완전 인수 대신 핵심 인력을 영입하고 기술 라이선스를 확보하는 '인재...
-
"NVIDIA, 미국 오픈 모델 스타트업 Reflection AI 인수 협상 중" FT 보도(커뮤니티 전언)
Financial Times가 NVIDIA가 미국의 '오픈' 모델 스타트업 Reflection AI 인수를 협상 중이라고 보도했고, 이 기사가 Hacker News에서 91포인트·댓글 58개를 받았다. 수집된 자료는 기사 제목뿐이어서 인수...