← 2026년 11월 13일 브리핑 · 00:00 업데이트로 추가

Inkling 2 Small 후속: Hugging Face Transformers v5.23.0에 정식 추가…48개 MoE 레이어, 레이어마다 384개 Expert 중 8개로 라우팅

발표 2026년 11월 13일

확인된 내용 (사실)

Hugging Face가 Transformers v5.23.0을 내놓으면서 Thinking Machines Lab의 'Inkling 2 Small'을 새로 지원하는 모델에 넣었다. 릴리스 노트에 따르면 이 모델은 텍스트와 이미지를 입력받아 텍스트를 출력하고, 영어 외 여러 언어와 여러 프로그래밍 언어를 다루도록 만들어졌다. 언어 백본은 MoE 디코더 레이어 48개로 이뤄지며, 레이어마다 토큰을 384개 Expert 가운데 8개로 보낸다. 전체 파라미터는 594B, 활성 파라미터는 17B다. 기존 Inkling 디코더의 학습형 상대 어텐션, 짧은 인과 합성곱, MoE 레이어 구성은 그대로 두었다. 여기에 블록 단위 어텐션 잔차와 학습형 sink를 둔 게이트 어텐션을 새로 넣었다. 가중치가 공개됐는지는 이 자료로 확인되지 않는다.

의미 (해석)

사용 빈도가 높은 Transformers 라이브러리가 Inkling 2 Small을 공식 지원하면서, 앞서 예고된 가중치 공개 뒤 기업이 맞춤 개발에 바로 쓸 수 있는 기반이 마련됐다. 공식 문서에 처음 아키텍처 세부가 공개돼 다른 대형 MoE와 구조를 비교할 수 있게 됐다.

출처

이어지는 소식

  1. 2026-11-06 Thinking Machines Lab, 총 594B·활성 17B MoE 'Inkling 2 Small' 공개…이미지 입력·장시간 자율 작업 지원(커뮤니티 전언)
  2. 2026-11-07 Inkling 2 Small 후속: Thinking Machines Lab, 기업 맞춤 개발용으로 가중치 공개 계획(보도)
  3. 2026-11-13 Inkling 2 Small 후속: Hugging Face Transformers v5.23.0에 정식 추가…48개 MoE 레이어, 레이어마다 384개 Expert 중 8개로 라우팅

Thinking Machines Lab 관련 다른 소식