상태 공간 모델과 Mamba: 어텐션 없이 긴 시퀀스를 읽는 법

왜 필요했나: 긴 시퀀스 앞에서 막히는 기존 모델

오늘날 LLM 대부분은 트랜스포머 위에서 돌아간다. 트랜스포머의 핵심인 어텐션은 문맥 안의 모든 토큰을 서로 비교해 정보를 촘촘하게 주고받는다. Mamba 논문논문은 이 강점에 두 가지 대가가 따른다고 정리한다. 하나는 정해진 창(컨텍스트 윈도) 밖의 내용은 아예 다루지 못한다는 점이고, 다른 하나는 창 길이의 제곱으로 계산량이 늘어난다는 점이다. 이 비용을 줄이려는 효율형 어텐션 변형도 많이 나왔다. 하지만 같은 논문은 그런 변형들이 어텐션을 효과적으로 만드는 성질을 함께 잃는 경우가 많았다고 지적한다.

순서대로 읽어 가는 RNN(순환 신경망)은 비용이 길이에 비례한다. 대신 학습 중에 기울기가 사라져 먼 과거를 잘 기억하지 못하는 문제가 있었다. S4 논문논문에 따르면 RNN·CNN·트랜스포머 모두 긴 의존성을 다루는 특수 변형을 갖고 있었지만, 1만 단계가 넘는 시퀀스로 키우는 데는 여전히 어려움을 겪었다. 긴 시퀀스 벤치마크인 Long Range Arena의 Path-X 과제(길이 16,384)에서는 이전 모델 모두가 무작위 추측(50%)보다 나은 결과를 내지 못했다.

그래서 필요했던 것은 이런 모델이다. 학습할 때는 병렬로 빠르게 돌고, 생성할 때는 토큰 하나당 일정한 비용만 들고, 그러면서도 먼 과거의 정보를 붙잡을 수 있어야 한다. 상태 공간 모델(SSM)은 이 조건을 노린 후보로 등장했다.

핵심 아이디어: 회의록 전체 대신 메모장 한 장

비유로 시작해 보자. 트랜스포머는 회의 내용을 한 줄도 버리지 않고 전부 받아 적은 뒤, 질문이 올 때마다 기록 전체를 다시 훑는 사람과 같다. 정확하지만 회의가 길어질수록 기록도 뒤져 보는 시간도 늘어난다. SSM은 크기가 정해진 메모장 한 장만 들고, 새 발언을 들을 때마다 메모를 고쳐 쓰는 사람에 가깝다. 메모장 크기가 정해져 있으니 회의가 아무리 길어져도 한 번 고쳐 쓰는 비용은 같다.

이 '메모장'이 바로 상태(state)다. S4 논문논문이 설명하듯 SSM은 원래 제어 이론·계산 신경과학 같은 분야에서 쓰던 수학 모델이다. 입력 신호가 숨은 상태를 거쳐 출력으로 이어지고, 행렬 A·B·C·D가 상태를 어떻게 바꾸고 무엇을 내보낼지 정한다. 핵심은 상태 행렬 A다. A를 잘 고르면 먼 과거의 신호를 수학적으로 오래 보존할 수 있다.

문제는 메모장에 무엇을 적을지다. 초기 SSM은 입력이 무엇이든 같은 규칙으로 메모를 고쳤다. 오디오처럼 연속적인 신호에서는 이 방식이 잘 맞았지만, 단어 하나하나의 의미가 중요한 텍스트에서는 약했다. Mamba논문는 바로 이 지점을 고쳤다. 새 토큰을 보고 '이건 적어 둘 만하다', '이건 흘려들어도 된다'를 그때그때 판단하게 한 것이다.

어떻게 작동하나: 상태 갱신, 두 가지 계산법, 그리고 선택

SSM 층 하나의 동작은 단계로 나눠 보면 이해하기 쉽다. 첫째, 토큰 하나가 들어오면 지금까지의 상태와 섞여 새 상태가 된다(A가 이전 상태를 얼마나 남길지, B가 새 입력을 얼마나 넣을지 정한다). 둘째, C가 새 상태에서 출력을 읽어 낸다. 셋째, 다음 토큰에서 같은 일을 되풀이한다. Mamba 논문논문의 설명대로 입력의 각 채널은 그보다 차원이 높은 숨은 상태를 거쳐 출력으로 이어진다.

S4논문가 강조한 SSM의 장점은 같은 계산을 두 방식으로 볼 수 있다는 점이다. 생성할 때는 한 단계씩 상태를 갱신하는 순환(recurrence) 방식으로 돌리면 된다. 학습할 때는 파라미터가 시간에 따라 변하지 않으므로, 전체 시퀀스를 하나의 긴 합성곱(convolution)으로 한꺼번에 계산할 수 있다. RNN처럼 추론하고 CNN처럼 병렬 학습하는 셈이다.

Mamba는 여기에 '선택(selection)'을 넣었다. 상태를 얼마나 갱신할지 정하는 간격 Δ와 B·C를 고정값이 아니라 현재 토큰에서 계산되는 값으로 바꾼 것이다. 그러면 모델이 시퀀스를 따라가며 정보를 골라 전달하거나 잊을 수 있다. 대가도 있다. 파라미터가 시간에 따라 바뀌니 위의 합성곱 계산법을 더는 쓸 수 없다. Mamba는 이를 하드웨어를 고려한 병렬 스캔 알고리즘으로 풀었다. 커다란 확장 상태를 GPU의 느린 메모리에 실제로 펼쳐 놓지 않아서, GPU 메모리 계층 사이의 데이터 이동을 피한다. 논문은 이 구현이 A100 GPU에서 이전 방식보다 최대 3배 빠르다고 보고했다.

마지막으로 Mamba는 이 선택적 SSM을 트랜스포머의 MLP 블록과 합쳐 하나의 단순한 블록으로 만들었다. 어텐션도, 따로 떨어진 MLP 블록도 없이 이 블록만 쌓는 구조다. 생성할 때는 이전 토큰들의 캐시가 필요 없으므로 토큰 하나당 일정한 시간만 든다. 계속 커지는 KV 캐시를 안고 가는 트랜스포머와 가장 크게 다른 점이다.

발전 흐름: S4에서 Mamba, Mamba-2까지

S4논문는 앞선 연구가 남긴 숙제를 풀었다. 논문에 따르면 바로 앞 단계였던 LSSL(선형 상태 공간 층)은 특별한 상태 행렬 A를 쓰면 깊은 SSM도 긴 의존성을 다룰 수 있음을 보였다. 하지만 상태 크기 N, 길이 L에 대해 O(N²L)의 연산과 O(NL)의 메모리가 들어 실제로 쓰기 어려웠다. S4는 A를 '저랭크 항 + 정규 항'으로 쪼개 안정적으로 대각화할 수 있게 바꿨다. 그 결과 계산이 잘 연구된 코시(Cauchy) 커널 계산으로 줄었고, 연산과 메모리가 거의 N+L에 비례하게 되었다. LSSL보다 최대 30배 빠르고 메모리는 400배 적게 쓴다. S4는 Path-X를 처음으로 풀어 88% 정확도를 냈고, LRA 전체 평균에서 기존 모델들을 20점 넘게 앞섰다. 순차 CIFAR-10에서 91% 정확도를 기록했고, 생성 속도는 60배 빨랐다.

Mamba논문는 S4 계열이 오디오·비전 같은 연속 신호에서는 강하지만 텍스트처럼 이산적이고 정보가 빽빽한 데이터에서는 약하다는 한계를 겨냥했다. 앞에서 설명한 선택 장치와 하드웨어 친화적 스캔으로 비슷한 크기 트랜스포머 대비 5배 높은 생성 처리량을 얻었다. 논문은 실제 데이터에서 100만 길이 시퀀스까지 성능이 좋아졌다고 보고했다. 언어 모델링에서는 Mamba-3B가 같은 크기 트랜스포머를 앞섰고, 두 배 크기 트랜스포머와 대등했다. 예를 들어 상식 추론 평균에서 Pythia-3B보다 4점 높았고 Pythia-7B도 넘어섰다. 다만 논문이 보인 스케일링 법칙 실험은 10억(1B) 파라미터까지다.

Mamba-2 논문논문은 두 계열이 생각보다 가깝다는 것을 보였다. 반분리(semiseparable) 행렬이라는 구조화된 행렬을 여러 방식으로 분해하면 SSM과 어텐션 변형들이 서로 이어진다는 것이다. 이를 상태 공간 쌍대성(SSD, State Space Duality)이라 부른다. 이 틀을 바탕으로 Mamba의 선택적 SSM을 다듬은 Mamba-2를 설계했고, 핵심 층이 2~8배 빨라지면서도 언어 모델링에서 트랜스포머와 경쟁력을 유지했다.

요즘 어디로 가고 있나: 왜 검색에 약한가, 긴 문맥을 어떻게 버티나

가장 큰 쟁점은 문맥 속 정보 검색(in-context retrieval)이다. 긴 글 속에서 특정 내용을 정확히 찾아 오는 일인데, Mamba는 여기서 트랜스포머보다 약하다. 보통은 고정 크기 상태가 정보를 잃기 때문이라고 설명해 왔다. 검색 병목 분석 연구논문는 이 설명에 반론을 냈다. 질문을 문맥보다 먼저 주는 설정에서는 무엇을 기억해야 할지 미리 알 수 있으니 상태 크기가 결정적 제약이 아니어야 한다. 그런데 이 설정에서도 Mamba는 크게 뒤졌다. 선택 게이트만 조작해도 정확도가 극단 사이를 오갈 만큼 게이트의 힘은 충분했다. 연구진은 문제를 다른 곳에서 찾았다. 토큰 Representation 안의 '질문과 관련 있다'는 신호가 층을 깊이 지나며 서서히 생기고, 게이트는 그보다 몇 층 더 지나서야 그 신호를 반영한다. 검색에 결정적인 층의 게이트는 아직 관련성과 맞춰져 있지 않았다. 선택 장치는 충분히 강력하지만, 판단에 쓸 신호가 아직 도착하지 않은 상태에서 일하는 경우가 많다는 뜻이다.

두 번째 흐름은 긴 문맥에서 성능이 떨어지는 문제를 학습 없이 메우는 시도다. SuPER-Mamba논문는 이미 학습된 Mamba 모델이 다음 토큰을 얼마나 '놀라워하는지'(Surprisal)를 위치마다 계산한다. 그리고 이 점수로 어떤 위치의 정보를 전역 상태 갱신에 우선 반영할지 정한다. 추가 학습도, 질문에 맞춘 점수 계산도 필요 없다. 세 SSM 모델에 적용한 LongBench-E 평균 점수가 8.06에서 15.69로 올랐다고 보고했다.

세 번째는 상태 갱신 방식 자체를 다시 보는 연구다. Mamba-3 진동 동역학 연구논문에 따르면 Mamba-3는 상태 갱신에 입력에 따라 달라지는 회전을 넣었다. 이 연구는 그 회전을 '덜 감쇠된 진동'으로 해석했다. 통제된 비교에서 진동하는 동역학이 진동 없는 감쇠보다 상태 추적 과제에서 나았고, 언어 모델 사전학습에서는 긴 문맥 예측과 길이 일반화에 도움이 됐다. 회전은 이미 담아 둔 정보와 새로 들어오는 갱신이 어떻게 합쳐질지를 조절하는 장치로 보인다는 것이 연구진의 해석이다.

한계와 쟁점

첫째, 압축의 대가다. 메모장이 한 장뿐이라는 장점은 그대로 약점이 된다. 트랜스포머는 원문을 KV 캐시에 그대로 두고 필요할 때 다시 볼 수 있지만, SSM은 지나간 내용을 다시 꺼내 볼 수 없다. 앞의 검색 연구논문는 상태 크기 외의 원인도 있음을 보였지만, 검색이 Mamba의 약점이라는 사실 자체는 확인했다. SuPER-Mamba 연구논문도 SSM 성능이 문맥이 길어질수록 자주 떨어진다는 점에서 출발한다.

둘째, 구현 의존성이다. 선택 장치를 넣는 순간 S4 시절의 빠른 합성곱 계산을 쓸 수 없게 됐다. Mamba는 GPU 메모리 계층을 세심하게 다루는 전용 스캔 커널로 이를 메웠다논문. 이론상 선형이라는 점이 실제 속도로 이어지려면 하드웨어에 맞춘 구현이 꼭 필요하다는 뜻이다.

셋째, 규모에 대한 근거다. Mamba-2 논문논문은 Mamba가 '소·중규모'에서 트랜스포머와 대등하거나 앞선다고 표현했고, Mamba 논문의 스케일링 실험도 10억 파라미터까지다. 훨씬 큰 규모에서도 같은 결론이 나오는지는 이 글의 근거 자료만으로는 판단할 수 없다. 벤치마크 수치를 '모든 규모에서 트랜스포머를 대체한다'로 읽지 않는 것이 좋다.

더 공부하려면

순서는 연대순이 좋다. 먼저 S4논문의 서론과 그림 1을 읽고 SSM이 순환·합성곱 두 방식으로 계산된다는 개념을 잡는다. 수식이 부담스러우면 저랭크 보정·코시 커널 부분은 '계산을 싸게 만드는 기법'으로만 이해하고 넘어가도 된다.

다음은 Mamba논문다. 선택 메커니즘이 왜 필요한지(선택적 복사·induction head 같은 합성 과제)와 하드웨어 친화적 스캔이 무엇을 피하는지를 중심으로 읽는다. 이어 Mamba-2논문를 읽으면 SSM과 어텐션이 왜 완전히 다른 세계가 아닌지 보인다.

최근 흐름은 검색 병목 분석논문을 먼저 권한다. Mamba의 약점을 '상태가 작아서'로만 보지 않게 해 준다. 그다음 학습 없이 긴 문맥을 보완하는 SuPER-Mamba논문, 상태 갱신의 동역학을 해석한 Mamba-3 연구논문 순서로 읽으면 된다.