← 주제 탐구

주제 탐구 · 2026-11-13 · 심화 · 작성자 bombong

선형 어텐션: 고정 크기 State로 긴 문맥 읽기

선형 어텐션은 계속 늘어나는 KV 캐시 대신 크기가 정해진 State 하나에 지난 문맥을 압축해 담는다. 그래서 메모리를 아끼는 대신 정확한 조회가 약해진다. 최근 연구는 이 약점을 줄이려고 State에 쓰고 지우고 읽는 규칙을 다듬고, State를 하드웨어와 서빙 환경에 맞게 다루는 데 집중한다.

목차
핵심 정리
  • 선형 어텐션은 소프트맥스 어텐션의 늘어나는 KV 캐시를 고정 크기 State로 바꿔, 학습 연산량은 문맥 길이에 비례하게 하고 디코딩 메모리는 일정하게 만든다.
  • 어려운 점은 무엇을 잊을지만이 아니다. 압축된 기억을 고칠 때 이미 저장된 연결이 뒤섞이지 않게 하는 것이 핵심이고, Delta 규칙과 게이트가 이 문제를 다룬다.
  • DeltaNet에서 Gated DeltaNet, KDA를 거쳐 Gated DeltaNet-2로 오면서 감쇠는 채널별로 세분됐고, 지우는 양과 쓰는 양도 따로 조절하게 됐다.
  • 고정 크기 State는 문맥 속 특정 정보를 정확히 찾아내는 데 약하다. 그래서 실제 모델은 소프트맥스 층을 섞은 하이브리드 구조를 많이 쓰고, 읽기 단계를 고치거나 청크 단위로 과거에 접근하는 연구도 이어지고 있다.
  • 서빙에서는 State의 저장 형식과 정밀도가 성능을 좌우한다. 저랭크로 압축하면 메모리와 속도가 좋아지지만, bf16 반올림을 잘못 다루면 추론 모델의 답이 길어지고 정확도가 떨어진다.

왜 필요했나: 늘어나기만 하는 KV 캐시

트랜스포머의 핵심인 소프트맥스 어텐션은 토큰마다 문맥 전체를 훑어 필요한 정보를 꺼내 온다. 강력한 방식이지만 비용이 문맥 길이의 제곱으로 늘어나서, 긴 문맥에서는 학습과 추론 모두가 제약을 받는다는 점이 선형 어텐션 비교 연구논문의 출발점이다. 생성 단계에서는 앞선 토큰들의 키와 값을 KV 캐시(이미 계산한 중간 결과를 재사용하려고 저장해 두는 메모리)에 쌓아 둔다. 그런데 이 캐시는 문맥이 길어질수록 끝없이 커진다.

선형 어텐션은 이 무한정 커지는 캐시를 크기가 고정된 순환 State로 바꾼다. Gated DeltaNet-2논문의 표현을 빌리면, 이렇게 하면 토큰을 섞는 연산은 선형 시간으로, 디코딩 메모리는 상수로 줄어든다. 영상 월드 모델 연구 HLA-WM논문도 같은 대비를 든다. 소프트맥스 어텐션은 생성 이력 전체를 늘어나는 KV 캐시에 남기고, 순환형 선형 어텐션은 이력을 고정 크기 State로 압축해 메모리를 훨씬 적게 쓴다는 것이다.

대가도 분명하다. CCQ 연구논문는 선형 어텐션이 문맥 안에서 정보를 찾아내는 과제와 긴 문맥 과제에서 꾸준히 뒤처진다고 지적한다. 그래서 이 분야의 질문은 '고정된 크기의 그릇에 무엇을 어떻게 넣고, 무엇을 지우고, 어떻게 꺼낼 것인가'로 모인다.

핵심 아이디어: 한 장짜리 화이트보드를 고쳐 쓰기

비유로 시작해 보자. 소프트맥스 어텐션은 회의록을 한 장도 버리지 않고 서류함에 쌓아 두다가, 질문이 오면 서류함 전체를 뒤지는 방식이다. 선형 어텐션은 크기가 정해진 화이트보드 한 장만 쓴다. 새로운 내용이 들어올 때마다 보드를 고쳐 쓰고, 질문이 오면 보드만 본다. 서류함은 계속 늘어나지만 보드는 늘 같은 크기다.

여기서 State는 '키를 넣으면 값이 나오는' 연상 기억을 담은 행렬이다. Gated DeltaNet-2논문는 이를 빠르게 바뀌는 가중치(fast weight)를 갱신하는 관점으로 설명한다. 토큰이 들어올 때마다 이 작은 가중치 행렬이 조금씩 고쳐지고, 쿼리를 이 행렬에 곱하면 관련된 값이 읽혀 나온다.

같은 논문은 어려운 점을 이렇게 정리한다. 문제는 '무엇을 잊을지'만이 아니라 '이미 저장된 연결을 흐트러뜨리지 않으면서 압축된 기억을 어떻게 고칠지'다. 화이트보드에 새 내용을 겹쳐 쓰기만 하면 글씨가 뒤엉킨다. 그래서 Delta 규칙 계열 모델은 새 값을 쓰기 전에 현재 키로 읽히는 기존 내용을 먼저 빼낸다. 같은 키에 묶여 있던 낡은 값을 지우고 그 자리에 새 값을 쓰는 셈이다.

이 설계가 무엇을 맞바꿨는지도 짚어 두자. 선형 어텐션은 '언제든 원문 그대로 다시 볼 수 있는 능력'을 내주고 '문맥 길이와 상관없는 일정한 메모리'를 얻었다. 이후 연구 대부분은 이 거래에서 잃은 부분을 얼마나 되찾느냐의 문제다.

소프트맥스 어텐션 대 선형 어텐션

소프트맥스 어텐션서류함에 모두 쌓기

  • 문맥 전체를 다시 볼 수 있음
  • KV 캐시가 문맥 길이만큼 커짐
  • 비용이 길이의 제곱으로 증가

선형 어텐션화이트보드 고쳐 쓰기

  • State 크기가 고정됨
  • 디코딩 메모리가 일정함
  • 정확한 조회·장거리 기억에 약함

공통 둘 다 지난 토큰의 정보를 현재 토큰에 섞어 주는 층

두 방식이 무엇을 얻고 무엇을 내주는지 나란히 놓았다.

어떻게 작동하나: 감쇠·지우기·쓰기·읽기

추론할 때 Gated Delta 계열 층은 토큰 하나마다 다음 순서로 State를 갱신한다. 첫째, 현재 토큰에서 키·값·쿼리를 만든다. 둘째, 감쇠(decay)로 State 전체를 조금 흐리게 해서 오래된 기억을 서서히 잊는다. Gated DeltaNet은 이 망각 정도를 입력에 따라 조절하고, Kimi Delta Attention(KDA)은 채널마다 다른 속도로 잊게 해서 망각을 더 정밀하게 다룬다논문. 셋째, 현재 키로 읽히는 기존 예측을 지운다. 넷째, 새 값을 키에 묶어 기록한다. 다섯째, 쿼리로 State를 읽어 출력을 만든다.

Gated DeltaNet-2논문는 셋째와 넷째 단계에서 기존 방식의 한계를 짚었다. 하나의 스칼라 게이트가 키 쪽에서 옛 내용을 얼마나 지울지와 값 쪽에서 새 내용을 얼마나 쓸지를 함께 정한다는 점이다. 그래서 채널별 지우기 게이트와 쓰기 게이트를 따로 두었다. 두 게이트가 같은 스칼라로 합쳐지면 KDA가 되고, 감쇠까지 하나의 값으로 합쳐지면 Gated DeltaNet이 된다. 즉 앞선 두 모델을 특수한 경우로 품는 일반화다.

학습할 때는 사정이 다르다. 토큰 하나씩 순서대로 State를 갱신하면 GPU의 병렬 연산을 살리지 못한다. 그래서 문장을 청크(일정 길이의 묶음)로 나눈다. 청크 안의 계산은 행렬 곱으로 한꺼번에 처리하고, 청크 사이로는 State만 넘긴다. Gated DeltaNet-2는 채널별 감쇠를 지우기 쪽 계수에 흡수한 청크 단위 알고리즘과, 게이트까지 고려한 역전파를 함께 제시해 이런 병렬 학습을 유지했다.

실제 모델은 선형 층만 쌓기보다 소프트맥스 어텐션 층을 일부 섞은 하이브리드로 많이 만든다. 비교 연구논문에서도 하이브리드 구성은 대체로 손실을 낮췄지만, 그만큼 학습 처리량이 줄었다.

Gated Delta 층의 토큰당 처리새 토큰 → 감쇠; 감쇠 → 지우기; 지우기 → 쓰기(게이트 분리); 쓰기 → 고정 크기 State(갱신); 고정 크기 State → 읽기; 읽기 → 출력새 토큰키·값·쿼리 생성감쇠오래된 기억 흐리게지우기키로 읽힌 옛 값 빼기쓰기새 값을 키에 묶기고정 크기 State연상 기억 행렬읽기쿼리로 조회출력게이트 분리갱신
Gated Delta 층의 토큰당 처리 윗줄은 새 토큰이 State를 고치는 순서이고, 아랫줄은 고쳐진 State를 쿼리로 읽어 출력을 만드는 과정이다. State 크기는 문맥 길이와 상관없이 같다.

발전 흐름: 쓰기 규칙에서 읽기·하드웨어까지

첫 번째 흐름은 쓰기 규칙을 다듬는 일이다. DeltaNet, Gated DeltaNet, KDA를 거쳐 Gated DeltaNet-2논문에 이르렀다. Gated DeltaNet-2는 1.3B 파라미터 모델을 FineWeb-Edu 1,000억 토큰으로 학습한 실험에서 Mamba-2, Gated DeltaNet, KDA, Mamba-3 계열과 비교했을 때 언어 모델링과 상식 추론 등에서 종합적으로 가장 좋은 결과를 냈다고 보고했다. 비교 연구논문는 이 네 가지 구조를 하나의 순환 기억 표기로 정리해 표현력, 기억 감쇠, 지우기·쓰기 제어, 학습 처리량, 구현 난이도가 어디서 갈리는지 드러냈다. 350M 파라미터 모델을 150억 토큰으로 학습한 범위에서는 Muon 옵티마이저로 학습한 KDA의 최종 검증 손실이 가장 낮았고, AdamW로 학습한 순수 Gated DeltaNet 구성의 학습 처리량이 가장 높았다.

두 번째 흐름은 읽기 쪽이다. CCQ논문는 기존 개선이 대부분 쓰기 쪽에 몰렸고 읽기 단계는 그대로였다고 지적한다. 지난 키가 모두 출력에 더해지기 때문에 정작 필요한 정보가 나머지 대량의 벡터에 묻혀 희석된다는 것이다. 이 연구는 키의 공분산을 State와 같은 순환 방식으로 계속 갱신하고, 기억이 많이 몰린 방향으로는 쿼리를 줄인 뒤에 읽게 했다. GLA와 Gated DeltaNet에 붙였을 때 S-NIAH 검색, 4K에서 20K까지의 길이 Extrapolation, LongBench 정확도가 모두 나아졌다. HLA논문는 쿼리마다 어떤 과거 청크를 얼마나 반영할지 정하는 라우팅을 Gated DeltaNet에 더했다. Qwen3.5 0.8B~9B 모델에서 LongBench-V2는 최대 5.57%p, RULER는 최대 3.97점 올랐다. 1.3B 모델을 처음부터 학습한 실험에서는 RULER 향상 폭이 4K 문맥의 0.83점에서 32K 문맥의 4.22점으로 커졌다. HLA-WM논문은 Gated DeltaNet에서 멀리 떨어진 장면의 정보가 이후 갱신에 밀려 점점 약해지는 심한 장거리 망각을 확인했다. 이를 해결하려고 카메라 기하 정보로 관련 과거 청크를 찾아 쿼리별 State를 다시 조립하는 방법을 추가 학습 없이 붙였다. 60초 문맥에서 전체 KV 캐시보다 과거 State 메모리를 12배 줄이면서 PSNR은 0.74dB 높이고 회전 오차는 28.5% 줄였다.

세 번째 흐름은 실제로 만들고 돌리는 문제다. Taylor-Calibrate논문는 사전학습된 트랜스포머를 하이브리드 Gated DeltaNet으로 바꾸는 과정을 다룬다. 어텐션 투영을 그대로 복사하는 것만으로는 감쇠·쓰기·출력 게이트의 동작이 정해지지 않아서, 변환된 모델이 나쁜 상태에서 출발한다는 것이다. 이 연구는 Teacher 어텐션의 통계로 이 값들을 초기화했고, 단순 변환보다 4.9~9.2배 적은 학습 토큰으로 같은 회복 목표에 도달했다. Systolic Linear Attention논문은 GPU에 맞춰진 Gated Delta 층을 TPU로 그대로 옮기면 256×256 행렬 유닛의 타일이 절반쯤 비고 벡터 연산에서 병목이 생긴다는 점을 보였다. 키 폭을 256으로 넓히고 감쇠 게이트를 64채널씩 네 묶음으로 나눠 커널을 다시 설계한 결과, TPU v7x에서 오픈소스 Tokamax KDA 커널보다 1.6~2.5배 빨랐다. 2,048칩 규모의 MoE 사전학습에서는 비슷한 perplexity를 유지하며 KDA보다 11~24% 빠르게 학습했다.

요즘 어디로 가고 있나: 게이트 다듬기와 State 다루기

구조 쪽에서는 게이트에 파라미터를 어디에 얼마나 쓸지 따지는 연구가 나왔다. Muir논문는 State 갱신이 쓰기보다 지우기에 훨씬 덜 민감하다는 분석을 내놓았다. 키 에너지는 일부 채널에 몰리지만 값 쓰기는 모든 채널에 영향을 주기 때문에, 지우기 게이트는 낮은 랭크로 만들어도 된다는 것이다. 또 천천히 감쇠하는 State 행일수록 크기가 커져 읽기 결과를 지배한다는 점을 찾아내, 행마다 가중치를 다시 주는 읽기 게이트를 더했다. 아낀 파라미터는 더 넓은 피드포워드 층에 다시 썼다. 166M~1.34B 규모에서 Gated DeltaNet-2보다 perplexity가 1.8~2.0% 낮았다.

서빙 쪽에서는 State 자체를 압축한다. SinkState논문는 선형 층의 쿼리·키·값이 안정된 저차원 부분공간에 몰리는 현상을 확인하고 이를 '선형 어텐션 싱크'라고 불렀다. 그래서 각 State는 사실상 저랭크인데도, 기존 서빙 시스템은 이를 꽉 찬 행렬로 두고 디코딩 단계마다 통째로 읽고 다시 쓴다. 이 메모리 이동량이 배치 크기에 따라 늘면서 디코딩 비용의 대부분을 차지한다. SinkState는 State를 저랭크 형태로 유지해 4B~120B 하이브리드 모델 네 종에서 State 최대 메모리를 최대 2.6배 줄이고 디코딩을 최대 1.58배 빠르게 했다.

정밀도 문제도 드러났다. Lost in Rounding논문은 Mamba-2나 Gated DeltaNet 층의 State를 bf16으로 저장하면서 가장 가까운 값으로 반올림하면, 하이브리드 추론 모델 여섯 개 중 다섯 개가 더 길게 추론한다는 것을 보였다. Qwen3.5-9B에서는 32K 토큰 상한에 걸린 문제가 118개에서 223개로 늘었고, 정확도는 85.6%에서 70.8%로 떨어졌다. 같은 bf16 폭이라도 확률적 반올림을 쓰면 정확도가 87.6%로 돌아왔다. 저자들은 이 실패가 표현 해상도가 모자라서가 아니라 주로 반올림 편향 때문이라고 결론 내렸다. State는 매 단계 누적되며 이어지기 때문에, 저장 형식이 곧 모델 품질의 일부가 된다는 점을 보여 준다.

최근 연구의 눈에 띄는 수치

최대 2.6배State 최대 메모리 감소(SinkState)
최대 1.58배디코딩 속도 향상(SinkState)
1.8~2.0%GDN-2 대비 perplexity 감소(Muir)
85.6%→70.8%bf16 반올림 시 정확도(Qwen3.5-9B)
SinkState, Muir, Lost in Rounding이 각자의 실험 조건에서 보고한 값이다.
선형 어텐션 연구 지도 왼쪽부터 쓰기 규칙, 하드웨어·변환, 읽기·기억 접근, 최근 방향으로 묶었다. 화살표는 해당 논문이 앞선 구조를 직접 다룬 경우에만 그렸다.

한계와 쟁점: 언제 쓰고 언제 피하나

가장 큰 한계는 여전히 정확한 조회다. CCQ논문가 지적한 읽기 희석 문제와 HLA-WM논문이 확인한 장거리 망각은 고정 크기 State가 가진 구조적 성질에서 나온다. 긴 문서에서 특정 문구를 그대로 찾아내야 하는 업무라면 선형 층만으로 이루어진 모델보다 소프트맥스 층을 섞은 하이브리드나 읽기 보강 기법을 먼저 검토하는 편이 안전하다. 다만 비교 연구논문가 보였듯 하이브리드는 손실을 낮추는 대신 처리량을 내준다.

수치를 읽을 때도 주의할 점이 있다. 비교 연구논문는 학습 처리량과 반복 시간을 측정했을 뿐이고 추론 속도 벤치마크는 제공하지 않는다고 스스로 밝혔다. 여러 구조 연구의 실험도 대개 1B 파라미터 안팎에서 이루어졌다. 이런 결과를 '서비스에서 그만큼 빨라진다'로 옮겨 읽지 않아야 한다.

운영에서 흔히 하는 실수는 세 가지다. 첫째, State 정밀도를 메모리 절약용 설정쯤으로 여기고 bf16 반올림을 그대로 쓰는 것이다. Lost in Rounding논문의 결과처럼 추론 길이와 정확도가 함께 흔들릴 수 있다. 둘째, GPU용으로 조정된 커널을 다른 가속기에 그대로 옮기는 것이다. Systolic Linear Attention논문은 TPU에서 행렬 타일이 절반쯤 비는 문제를 보였다. 셋째, 기존 트랜스포머의 가중치를 복사만 하고 바로 Distillation을 시작하는 것이다. Taylor-Calibrate논문에 따르면 이렇게 하면 학습 토큰 상당 부분이 초기화를 바로잡는 데 쓰인다.

정리하면, 선형 어텐션은 긴 문맥 생성에서 메모리가 병목이거나, 동시 요청이 많아 요청마다 메모리를 일정하게 묶어 두고 싶을 때 잘 맞는다. 반대로 문맥 속 원문을 정확히 인출하는 것이 핵심 품질 지표라면 하이브리드 비율과 검색 과제 평가부터 확인해야 한다.

선형 어텐션 도입 전 점검

용도

  • 정확한 원문 인출이 핵심 품질 지표인가
  • 하이브리드 비율과 검색 과제 평가를 했는가
  • 메모리가 실제 병목인가

수치 해석

  • 학습 처리량을 추론 속도로 읽지 않았는가
  • 실험 규모가 내 모델과 비슷한가

운영

  • State 저장 정밀도와 반올림 방식을 확인했는가
  • 커널이 내 가속기에 맞게 조정됐는가
  • 변환 시 게이트 초기화를 따로 했는가
본문에서 다룬 한계와 흔한 실수를 확인 항목으로 옮겼다.

더 공부하려면

전체 지도를 먼저 잡으려면 선형 어텐션 비교 연구논문부터 읽는다. DeltaNet, Gated DeltaNet, KDA, Gated DeltaNet-2를 하나의 표기로 비교하므로 이후 논문의 수식이 훨씬 쉽게 읽힌다. 그다음 Gated DeltaNet-2논문에서 지우기와 쓰기를 분리한 이유와 청크 단위 학습 알고리즘을 확인한다.

약점과 그 보완책은 CCQ논문와 HLA논문를 짝지어 읽으면 좋다. 앞의 것은 읽기 단계를, 뒤의 것은 쿼리별 청크 접근을 고친다. 응용 사례로는 HLA-WM논문이 영상 월드 모델에서 장거리 망각이 어떻게 드러나는지 보여 준다.

실무 쪽 관심이라면 Taylor-Calibrate논문로 기존 모델을 변환하는 방법을, Systolic Linear Attention논문으로 하드웨어 맞춤 설계를, SinkState논문와 Lost in Rounding논문으로 서빙 시 State 관리를 살펴본다. 최신 구조 설계 방향은 Muir논문에서 이어 읽으면 된다.

관련 용어

어텐션 트랜스포머 KV 캐시 상태 공간 모델 RNN 컨텍스트 윈도 정밀도(FP32·BF16·FP8) Distillation

참고 문헌

핵심 논문

최근 연구

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.