← 2026년 11월 13일 브리핑 · 00:00 업데이트로 추가
Inkling 2 Small 후속: Hugging Face Transformers v5.23.0에 정식 추가…48개 MoE 레이어, 레이어마다 384개 Expert 중 8개로 라우팅
발표 2026년 11월 13일
확인된 내용 (사실)
Hugging Face가 Transformers v5.23.0을 내놓으면서 Thinking Machines Lab의 'Inkling 2 Small'을 새로 지원하는 모델에 넣었다. 릴리스 노트에 따르면 이 모델은 텍스트와 이미지를 입력받아 텍스트를 출력하고, 영어 외 여러 언어와 여러 프로그래밍 언어를 다루도록 만들어졌다. 언어 백본은 MoE 디코더 레이어 48개로 이뤄지며, 레이어마다 토큰을 384개 Expert 가운데 8개로 보낸다. 전체 파라미터는 594B, 활성 파라미터는 17B다. 기존 Inkling 디코더의 학습형 상대 어텐션, 짧은 인과 합성곱, MoE 레이어 구성은 그대로 두었다. 여기에 블록 단위 어텐션 잔차와 학습형 sink를 둔 게이트 어텐션을 새로 넣었다. 가중치가 공개됐는지는 이 자료로 확인되지 않는다.
의미 (해석)
사용 빈도가 높은 Transformers 라이브러리가 Inkling 2 Small을 공식 지원하면서, 앞서 예고된 가중치 공개 뒤 기업이 맞춤 개발에 바로 쓸 수 있는 기반이 마련됐다. 공식 문서에 처음 아키텍처 세부가 공개돼 다른 대형 MoE와 구조를 비교할 수 있게 됐다.
출처
- 공식 Release v5.23.0 Hugging Face
이어지는 소식
- 2026-11-06 Thinking Machines Lab, 총 594B·활성 17B MoE 'Inkling 2 Small' 공개…이미지 입력·장시간 자율 작업 지원(커뮤니티 전언)
- 2026-11-07 Inkling 2 Small 후속: Thinking Machines Lab, 기업 맞춤 개발용으로 가중치 공개 계획(보도)
- 2026-11-13 Inkling 2 Small 후속: Hugging Face Transformers v5.23.0에 정식 추가…48개 MoE 레이어, 레이어마다 384개 Expert 중 8개로 라우팅
Thinking Machines Lab 관련 다른 소식
-
Inkling 2 Mini 후속: Ollama v0.40.17에서 바로 실행 지원…"SWE-Bench Verified 79.2%", Apple silicon 동시 요청 처리도 추가
Ollama는 v0.40.17 릴리스(태그는 rc4)에서 Thinking Machines Lab의 Inkling 2 Mini를 지원한다. `ollama run inkling-2-mini` 명령 하나로 실행할 수 있다. 릴리스 노트는 이 모델이...
-
Thinking Machines Lab, 루프 구조 오픈 웨이트 모델 'Inkling 2 Mini' 공개…총 26B·활성 5.4B, 약 20GB로 Mac에서 실행
Thinking Machines Lab이 오픈 웨이트 모델 Inkling 2 Mini를 공개했고, Hugging Face 블로그와 Ollama v0.40.17 릴리스에서 소개됐다. 총 약 26B 파라미터 가운데 토큰마다 5.4B가 활성화되며,...
-
Inkling 2 Small 후속: Thinking Machines Lab, 기업 맞춤 개발용으로 가중치 공개 계획(보도)
AI타임스에 따르면 미라 무라티가 이끄는 Thinking Machines Lab은 현지시간 5일 공식 블로그에서 2세대 모델 'Inkling 2 Small'을 출시했다. 이번 보도에서 새로 확인된 점은 가중치 공개 계획이다. 기업이 자기 업무에...
-
Thinking Machines Lab, 총 594B·활성 17B MoE 'Inkling 2 Small' 공개…이미지 입력·장시간 자율 작업 지원(커뮤니티 전언)
GeekNews에 따르면 Thinking Machines Lab이 2세대 MoE 모델 'Inkling 2 Small'을 공개했다. 전체 파라미터는 5,940억 개이고 토큰마다 170억 개가 활성화된다. 이미지를 입력으로 받을 수 있고 추론 노력...