Ai2, MoE 학습 효율 높인 오픈소스 학습 프레임워크 'Olmo-core 3' 공개…47B 모델에서 GPU당 처리량 약 2.7배(보도)

확인된 내용 (사실)

AI타임스 보도에 따르면 앨런 AI 연구소(Ai2)가 LLM 학습 프레임워크 'Olmo-core 3'를 오픈소스로 공개했다. 기존 학습 시스템을 다시 설계했으며, 470억(47B) 파라미터 규모 MoE 모델에서 GPU당 처리량이 약 2.7배 높아졌다고 한다. 보도는 수조 파라미터 규모 모델까지 대상으로 한다고 전했다. 정확한 공개일과 비교 기준(이전 버전인지, 다른 프레임워크인지)은 요약문에 나오지 않는다.

팩트체크 필요 (주장)

Ai2 측 주장: 47B 파라미터 모델에서 GPU당 처리량 약 2.7배 향상(비교 조건은 보도 요약에 없음).

의미 (해석)

MoE는 큰 모델을 학습하는 주류 구조가 됐다. 공개 프레임워크로 학습 처리량을 크게 늘릴 수 있다면 GPU가 넉넉하지 않은 연구소와 기업도 대형 모델을 직접 학습하기 쉬워진다. 다만 2.7배라는 수치가 무엇과 비교한 결과인지는 원문에서 확인해야 한다.

출처

• 보도 Ai2, MoE 학습 효율 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 공개 AI타임스