Zyphra, 계층형 희소 어텐션 'ZHA' arXiv 공개…"1,000만 토큰 문맥에서 일반 어텐션보다 최대 35배 빠를 것"(보도)
발표 2026년 11월 2일
확인된 내용 (사실)
미국 AI 스타트업 Zyphra가 'Zyphra Hierarchical Attention(ZHA)' 논문을 arXiv에 올렸다. 문맥 전체를 훑는 대신 정보를 계층 구조로 정리해 두고, 필요한 부분만 찾아 들어가는 희소 어텐션 방식이다.
팩트체크 필요 (주장)
1,000만 토큰 문맥에서는 일반 어텐션보다 최대 35배 빠를 것으로 예측했다. 실측값이 아니라 예측치다.
의미 (해석)
초장문 컨텍스트에서 Transformer의 연산 부담을 줄이려는 시도가 이어지고 있다. 다만 35배라는 수치는 예측치라 실제 성능은 따로 확인해야 한다.
신뢰도 보통 · 공식 출처 확인 전