← 2026년 10월 14일 브리핑 · 00:00 업데이트로 추가
NVIDIA 'Nemotron Bolt 3.5 74B-A9B' 10월 15일 공개 예정…2비트 양자화로 24GB에 담은 MoE(커뮤니티 전언)
발표 2026년 10월 14일
확인된 내용 (사실)
Reddit r/LocalLLaMA 게시물에 따르면 NVIDIA가 10월 15일 'Nemotron Bolt 3.5 74B A9B'를 공개할 예정이다. 전체 파라미터 74B, 활성 파라미터 9B인 MoE 모델이며, 양자화 인식 학습(QAT)으로 품질을 유지하면서 2비트 양자화로 24GB에 담았다고 한다. 4GB 크기인 'Nemotron 3.5 Bolt E4B'는 10월 23일 공개 예정이라고 전했다. NVIDIA 공식 발표는 수집 자료에 없다.
팩트체크 필요 (주장)
게시물은 이 모델이 비슷한 메모리를 쓰는 인기 Dense 모델 대부분보다 빠르고, 비슷한 크기의 MoE 모델 대부분보다 성능이 높다고 설명한다.
의미 (해석)
사실이라면 24GB 소비자용 GPU 한 장에서 70B급 MoE를 돌릴 수 있다. 로컬 추론에서 극단적인 저비트 양자화가 실용 단계에 들어서는지 확인할 수 있는 사례다.
신뢰도 낮음 · 공식 출처 확인 전
출처
NVIDIA 관련 다른 소식
-
NVIDIA, 영국에 5년간 2억5천만 달러 규모 컴퓨팅 지원 약정…에이전트 안전 분야 강화
NVIDIA는 공식 블로그에서 영국 AI 생태계의 도입 사례를 소개하며, 영국의 에이전트 안전(agentic safety) 분야를 강화하기 위한 5년·2억5천만 달러 규모 컴퓨팅 지원 약정을 언급했다. 수집된 발췌문은 이 문장에서 잘려 있어...
-
NVIDIA, 프랑스 스타트업 4곳 지분 인수…젠슨 황 "유럽 기업 인수·투자에 20억 달러"(보도)
NVIDIA가 프랑스 스타트업 Doctolib, Genesis AI, Entalpic, Pigment의 지분을 인수한다. 유럽을 순방 중인 젠슨 황 CEO는 13일(현지시간) 마크롱 대통령과 회담하는 자리 등에서, 유럽 기업 인수합병에 모두...
-
AWS, SageMaker AI의 MoE 커널 최적화 공개…H200에서 처리량 최대 10%·첫 토큰 시간 최대 9% 개선
AWS 엔지니어들이 fused MoE(Mixture-of-Experts) 모델의 커널 최적화 기법을 공개했다. WGMMA 활용률을 높이는 Swap-AB, FP8 양자화용 Triton 백엔드 라우팅, Triton JIT 재컴파일 제거가 포함된다.
-
NVIDIA, AI 에이전트로 Apache Spark UDF를 GPU 가속용으로 다시 쓰는 방법 소개
NVIDIA 개발자 블로그가 AI 에이전트를 활용해 Apache Spark UDF(사용자 정의 함수)를 GPU 가속에 맞게 다시 작성하는 방법을 소개했다. 에이전틱 AI가 늘면서 기업 데이터 처리 수요가 커졌다는 점을 배경으로 들었다. 구체적인...
-
Microsoft, 자체 AI 칩 Maia를 내년부터 멀티GW 규모로 배치…Maia 300은 2027년 양산 배치(보도)
10월 12일(현지시간) 사티아 나델라 CEO가 X와 공식 블로그에서 자체 AI 칩 Azure Maia에 역대 최대 규모로 투자한다고 밝혔다. 어제 다룬 Maia 300 발표에 더해 새로 나온 내용은 배치 계획이다. 내년부터 Maia 제품군을...