Cerebras, 조 단위 파라미터 모델 서빙 방식 공개…여러 웨이퍼 칩에 가중치를 나눠 3T급 Kimi K3를 초당 1,000토큰 이상으로

확인된 내용 (사실)

Cerebras가 자사 블로그에서 수조 개 파라미터 모델을 배포하는 방법을 설명했다. GeekNews 요약에 따르면 대형 모델의 가중치를 WSE-3T 웨이퍼 여러 장의 온칩 메모리에 쪼개 올리고 파이프라인 방식으로 실행한다. 이렇게 해서 조 단위 모델을 초당 1,000~2,000토큰 이상으로 돌린다고 한다. 예시로 든 Kimi K3는 약 3조 파라미터 모델로, 4비트 가중치 양자화를 적용했고 요청당 평균 입력은 약 256k 토큰이라고 소개됐다. 세부 수치의 측정 조건은 발췌만으로는 확인되지 않는다.

팩트체크 필요 (주장)

Cerebras: 조 단위 파라미터 모델을 초당 1,000~2,000토큰 이상으로 구동(커뮤니티 요약 기준).

의미 (해석)

오픈 웨이트 모델도 3T급까지 커지면서, 이를 빠르게 서빙하는 일이 GPU 밖 대안 칩의 주요 시험대가 됐다. 웨이퍼 단위 온칩 메모리로 HBM 병목을 피하는 방식이 초대형 모델 추론에서 실제로 쓰인다는 점을 보여 준다.

출처

• 공식 Cerebras Deploys Trillion-Parameter AI Models Cerebras
• 커뮤니티 Cerebras, 조 단위 파라미터 AI 모델 배포 GeekNews