AI Trend Research
KR

← 2026년 11월 7일 브리핑

P2 연구 논문 언어 모델효율·인프라Google

Google Research 'Muir' 논문: 1,000만 토큰 문맥을 25MB 고정 state에 담는 선형 어텐션…Matched-filter readout으로 느린 채널 문제 해결(커뮤니티 전언)

확인된 내용 (사실)

Google Research 논문으로 소개된 Muir는 Sensitivity-allocated gating과 Matched-filter readout을 쓰는 선형 어텐션이다. 작성자에 따르면 1.3B Transformer가 1,000만 토큰을 다루려면 KV 캐시가 2.1TB(2.5비트 양자화해도 0.32TB) 필요하지만, GDN-2 같은 채널별 gated delta 모델은 이력을 25MB 고정 state로 압축한다. Muir는 이런 모델이 1,000억 토큰 학습에서 부딪히는 병목 세 가지를 다루며, 그중 하나는 천천히 감쇠하는 행이 빠른 행보다 최대 100배 많은 에너지를 쌓아 초기 정보를 덮어쓰는 문제다.

팩트체크 필요 (주장)

논문은 세 가지 병목을 모두 해결한다고 주장한다.

의미 (해석)

초장문 문맥에서 KV 캐시 비용을 피하려는 선형 어텐션 계열의 약점을 구체적으로 짚어, 장문 추론 효율화 연구의 방향을 보여 준다.

신뢰도 보통 · 공식 출처 확인 전

출처

Google 관련 다른 소식