← 2026년 11월 13일 브리핑 · 04:00 업데이트로 추가

P2 오픈소스 확인 필요 효율·인프라언어 모델04:00 갱신TorchTitanNVIDIA

TorchTitan으로 약 1T 파라미터 MoE 학습: JUPITER 슈퍼컴퓨터 GH200 384장에서 GPU당 초당 약 1,300토큰, 출발점의 14배(커뮤니티 전언)

발표 2026년 11월 13일

확인된 내용 (사실)

한 연구팀이 TorchTitan·PyTorch 메인테이너들과 몇 달간 함께 작업한 결과를 Reddit에 공유했다. JUPITER 슈퍼컴퓨터에 들어간 NVIDIA GH200 384장으로 약 1T 파라미터 MoE를 학습했고, GPU 1장당 초당 약 1,300토큰을 처리했다. 처음 시작할 때보다 14배 빨라진 수치다. 팀은 메모리 부족(CUDA out of memory) 같은 문제를 풀며 얻은 교훈을 정리해 공개했다.

팩트체크 필요 (주장)

처리량과 개선 폭은 작성자가 직접 잰 값이며 외부 검증은 없다.

의미 (해석)

PyTorch 공식 학습 프레임워크만으로 조 단위 MoE를 공공 슈퍼컴퓨터에서 실용적인 속도로 학습할 수 있다는 실증이다. 대형 MoE를 직접 학습하려는 연구기관이 참고할 만한 사례다.

신뢰도 보통 · 공식 출처 확인 전

출처