기계적 해석 가능성: 희소 오토인코더로 모델 속 들여다보기

왜 필요했나: 숫자 더미가 된 모델 속

신경망은 입력을 받으면 층마다 수천 차원의 벡터, 곧 활성화(activation)를 만든다. 예측은 잘 맞지만 그 벡터의 각 숫자가 무엇을 뜻하는지는 알기 어렵다. 해석 가능성(Interpretability) 연구 가운데 기계적 해석 가능성은 '모델이 어떤 내부 계산으로 그 답에 이르렀나'를 부품 수준에서 밝히려는 흐름이다.

문제는 뉴런 하나가 개념 하나에 대응하지 않는다는 점이다. 대칭 데이터용 SAE 연구논문는 이를 중첩(superposition)이라는 현상으로 설명한다. 모델이 다뤄야 할 개념은 많고 차원은 그보다 적어서, 여러 개념을 적은 차원에 겹쳐 담는다는 것이다. 그래서 뉴런 하나를 들여다보면 서로 무관한 개념 여럿에 동시에 반응하는 일이 흔하다.

이 불투명함은 현장에서 비용이 된다. EEG(뇌파) 파운데이션 모델 연구논문는 임상 성능이 높아도 내부 계산이 보이지 않으면 의료 현장의 신뢰를 얻기 어렵다고 지적한다. 코드 정확성 연구논문는 AI가 제안한 코드가 실제 서비스에 상당량 들어가는 상황에서 모델이 '이 코드가 맞다'를 내부적으로 어떻게 판단하는지 알아야 안전하게 배포할 수 있다고 본다.

핵심 아이디어: 화음을 악기별로 나누기

오케스트라 녹음 하나를 떠올려 보자. 마이크에 들어온 소리는 한 줄의 파형이지만, 그 안에는 바이올린, 첼로, 트럼펫이 섞여 있다. 그리고 어느 순간이든 실제로 연주 중인 악기는 전체 편성 중 몇 개뿐이다. 이 두 성질, 곧 '섞여 있다'와 '동시에 소리 내는 것은 소수다'를 이용하면 파형을 악기별 소리로 다시 나눌 수 있다.

희소 오토인코더(Sparse Autoencoder, SAE)도 같은 생각으로 움직인다. Expander SAE 논문논문의 정리를 빌리면, SAE는 활성화 h를 학습된 사전 W와 희소 코드 x의 곱(h ≈ Wx)으로 나타낸다. 사전은 원래 차원보다 항목이 더 많은 과완비(overcomplete) 사전이고, 코드 x는 대부분 0이고 몇 칸만 값이 있다. 사전의 각 항목(피처, 또는 atom)이 악기 하나, 코드 값이 그 악기의 음량에 해당한다.

왜 차원을 일부러 늘릴까. 중첩 때문에 원래 차원보다 개념이 많기 때문이다. 대신 차원을 늘리면 같은 활성화를 설명하는 방법이 너무 많아지므로 '소수만 켜져라'는 희소성 제약을 걸어 답을 좁힌다. 같은 논문은 이 추론 문제가 압축 센싱(적은 측정값에서 희소한 원래 신호를 되찾는 문제)의 기본 구도와 매우 닮았다고 설명한다. 사람이 읽을 수 있는 피처를 얻고, 그 대가로 복원 오차와 계산량을 받아들이는 설계다.

어떻게 작동하나: 수집에서 개입까지

첫째, 해석하려는 모델을 고정해 두고 특정 층의 활성화를 대량으로 모은다. 의료 도메인 SAE 연구논문는 Gemma-2 모델의 20번째 층 활성화를, PhysSAE논문는 물리 정보 신경망(PINN)의 마지막 직전 층 활성화를 썼다. 어느 층, 어떤 데이터를 고르느냐가 이후 결과 전체를 좌우한다.

둘째, 인코더가 활성화를 희소 코드로 바꾸고 디코더가 사전으로 다시 복원한다. 학습은 '복원 오차는 작게, 켜지는 피처 수는 적게'라는 두 목표를 함께 맞춘다. 희소성을 강제하는 방식에 따라 변형이 갈린다. 상위 k개만 남기는 TopK SAE는 EEG 연구논문와 Expander SAE논문가, 문턱값 아래를 잘라 내는 JumpReLU SAE는 의료 도메인 연구논문가 썼고, 부분공간 SAE 연구논문는 ℓ1 규제를 건 기본 목적함수를 분석 대상으로 삼았다.

셋째, 각 피처가 무엇을 뜻하는지 이름을 붙인다. 그 피처가 강하게 켜지는 입력을 모아 사람이 보거나, 언어 모델에 맡겨 자동으로 설명을 붙인다. 의료 도메인 연구논문는 자동 평가와 사람 평가를 함께 썼고, ESMFold 연구논문는 추론형 언어 모델로 대규모 사전을 해석했다.

넷째, 이름이 맞는지 원래 모델에 개입해 확인한다. 피처를 지우거나(ablation) 키워서 모델 출력을 원하는 방향으로 미는 스티어링(steering)을 해 보고 결과가 예상대로 바뀌는지 본다. PhysSAE논문는 여기서 한 걸음 더 나아가, SAE 디코더를 거치지 않고 고정된 원래 은닉 상태에서 해당 피처 방향 성분만 빼는 방식으로 개입했다. SAE 복원 오차가 개입 결과를 오염시키지 않게 하려는 설계다.

발전 흐름: 출발점 연구들이 각각 고친 것

이 글의 출발점 연구들은 모두 2025~2026년에 나왔다. 그래서 '최초의 SAE'에서 이어지는 계보보다는, 같은 도구의 약점을 서로 다른 방향에서 손보는 흐름으로 읽는 편이 정확하다. 크게 데이터·효율, 구조 가정, 응용·검증의 세 갈래다.

데이터·효율 쪽에서 의료 도메인 SAE 연구논문는 넓은 데이터로 학습한 SAE가 정해진 피처 예산을 흔하지만 쓸모없는 패턴에 쓴다고 봤다. 임상 질의응답 19만 5천 건으로 학습 범위를 좁히자 분산을 최대 20% 더 설명했고, 복원 오차 속 설명되지 않는 선형 성분('암흑 물질')도 줄었으며, 피처가 '감염성 단핵구증' 같은 임상 개념과 맞아떨어졌다. Expander SAE논문는 사전이 커질수록 비싸지는 디코더를 희소한 연결 구조로 바꿨다. Qwen2.5-3B에서는 학습할 디코더 값을 293배 줄이고도 밀집 디코더 대비 CE 손실 복원의 84%를 유지했다.

구조 가정 쪽에서는 '피처 하나 = 방향 하나'라는 기본 가정을 고친다. 부분공간 SAE(SASA, 논문)는 실제 피처가 여러 차원을 가질 때 단일 방향 디코더가 하나의 피처를 거의 평행한 여러 피처로 쪼개게 되며, 필요한 피처 수가 그 피처의 차원에 지수적으로 늘어남을 증명했다. 그리고 디코더를 학습된 부분공간으로 바꾸는 방법을 제안했다. 대칭 데이터용 Equivariant SAE논문는 회전 같은 대칭이 SAE의 식별 불가능성(여러 설명이 똑같이 잘 맞는 문제)을 키운다고 보고, SAE 이론의 바탕인 선형 표현 가설을 대칭까지 다루도록 확장했다. SAE 뉴럴 오퍼레이터(SAE-NO, 논문)는 개념을 스칼라 값이 아닌 함수로 표현해 개념이 켜졌는지뿐 아니라 입력의 어디에서 어떻게 나타나는지까지 담는다. 학습 때보다 높은 해상도에서도 작동해, 기존 SAE가 실패하는 조건에서 일반화했다.

응용·검증 쪽은 SAE를 LLM 밖으로 넓히면서 '찾은 피처가 진짜인가'를 따진다. 코드 정확성 연구논문는 LLM에서 틀린 코드를 예측하는 방향을 찾아냈고, 이 방향이 인스트럭션 튜닝 후에도 효과를 유지한다는 점에서 사전학습 때 배운 메커니즘이 파인튜닝에서 재활용된다고 해석했다. EEG 연구논문는 구조가 다른 세 EEG 트랜스포머에 같은 절차를 적용하고, 피처를 이상 소견·나이·성별·투약 같은 임상 분류에 맞춰 평가했다. PhysSAE논문는 여섯 가지 PDE 계열에서 SAE 피처가 독립적으로 정의된 물리량과 최대 |r|=0.951로 맞아떨어지고, 피처를 지운 효과가 PCA나 ICA로 개입했을 때보다 공간적으로 1.2~4.2배 더 집중됨을 보였다.

요즘 어디로 가고 있나: 진단 도구와 과학 모델

최근 연구는 SAE를 '피처 도감 만들기'에서 '다른 질문에 답하는 진단 도구'로 쓰는 쪽으로 옮겨 간다. Distillation 해부 연구논문는 GPT-2(Teacher)와 층을 6개로 줄인 DistilGPT-2(Student)를 CKA, logit lens, 어텐션 패턴 분해, SAE 피처 통계, 활성화 패칭으로 비교했다. 간접 목적어 식별(IOI) 회로는 Student에서 완전히 무너져 정확도가 94.8%에서 35.2%로 떨어졌다. 반면 크기 비교(Greater-Than) 회로는 Teacher의 9층 비교 헤드가 Student의 4층으로 옮겨 가는 재배치를 거쳐(평균 Pearson r = 0.945) 과제 성능의 87.7%를 되찾았다. 저자들은 전체 지표만으로는 회로가 온전한지 알 수 없다고 결론짓는다.

다른 방향은 과학 모델 안을 들여다보는 일이다. ESMFold 연구논문는 아미노산 서열에서 3차원 단백질 구조를 예측하는 모델의 접힘 계산부(trunk)에 SAE를 적용했다. 그 결과 서열 정보를 이어받는 표현과 잔기 쌍 사이의 기하를 계산하는 표현이 일을 나눠 맡고 있음을 보였다. 또 기울기 기반 기여도 분석으로 개념이 블록을 따라 어떻게 조합되는지 추적하고, 그 계산이 알려진 생화학과 맞는 곳과 어긋나는 곳을 확인했다. PhysSAE, SAE-NO, EEG 연구와 함께 보면, SAE는 언어 모델을 넘어 물리·의학·생물 모델에 쓰는 범용 현미경이 되어 가고 있다.

한계와 쟁점

가장 근본적인 쟁점은 '정답 사전'이 하나로 정해지지 않는다는 점이다. Equivariant SAE 연구논문는 서로 다른 설명이 데이터에 똑같이 잘 맞을 수 있으며, 그중 무엇이 모델에 충실한지 복원 품질만으로는 가릴 수 없다고 지적한다. 대칭이 있는 데이터에서는 복원이 더 나빠도 피처가 더 쓸모 있을 수 있어서, 복원 품질을 해석 가능성의 핵심 척도로 쓰는 데 주의하라고 경고한다.

두 번째는 피처 쪼개짐과 흡수다. 부분공간 SAE 연구논문는 기본 목적함수가 다차원 피처를 여러 피처로 쪼개는 쪽을 실제로 더 선호한다고 증명했다. 의료 도메인 연구논문도 넓은 데이터의 SAE에서 피처가 조각나거나 서로를 흡수하는 현상을 보고했다. 피처 개수가 많다고 개념을 많이 찾았다는 뜻은 아니다.

세 번째는 개입의 부작용이다. EEG 연구논문는 스티어링 결과를 '선택적으로 조종 가능', '담겨 있지만 얽힘', '담겨 있지 않음'의 세 경우로 나눴다. 모델 성능 전체를 무너뜨리는 '철거용 쇠공' 같은 개입과, 나이와 병리처럼 하나만 누르려 해도 다른 하나가 망가지는 얽힘도 보고했다. 코드 정확성 연구논문에서도 오류를 고치는 스티어링은 맞는 코드를 망가뜨리는 대가가 따랐다. 그래서 저자들은 늘 개입하기보다 오류가 예상될 때만 선택적으로 개입하라고 제안한다.

실무에서 쓸 때 판단 기준

SAE가 잘 맞는 경우는 '모델이 특정 개념을 내부에 갖고 있는가'를 확인하거나, 그 개념을 경보 신호로 쓰고 싶을 때다. 코드 정확성 연구논문는 틀린 코드를 예측하는 방향을 개발자 검토용 오류 경보로 쓰자고 제안했다. 반대로 모델 동작을 영구히 고치는 수단으로 상시 스티어링을 거는 것은 위 연구들의 부작용 보고를 볼 때 신중해야 한다.

흔한 실수는 네 가지다. 첫째, 복원 오차나 손실 복원율이 좋다는 이유만으로 해석이 맞다고 믿는다. 둘째, 넓은 데이터로 만든 범용 SAE 하나로 특정 도메인까지 해석하려 한다. 의료 도메인 연구논문는 도메인을 좁히는 편이 낫다고 보고했다. 셋째, 피처 이름을 붙이는 데서 멈추고 개입 실험을 하지 않는다. 넷째, 개입 효과를 볼 때 목표 개념만 보고 다른 개념이나 전체 성능이 함께 무너지는지는 보지 않는다.

검증 방식도 미리 정해 두는 편이 좋다. PhysSAE논문처럼 무작위로 고른 피처나 PCA 같은 단순 기준과 비교하고, 여러 시드에서 결과가 반복되는지 확인한다. EEG 연구논문처럼 목표 개념과 비목표 개념에 미치는 효과를 함께 재야 한다. 압축이나 Distillation 뒤 모델을 점검할 때는 Distillation 해부 연구논문가 보여 주듯 전체 점수 말고 회로 단위로 확인할 필요가 있다.

더 공부하려면

처음이라면 의료 도메인 SAE 연구논문부터 읽기를 권한다. LLM 활성화에 SAE를 거는 전형적인 절차, 넓은 데이터의 한계, 자동·사람 평가가 한 논문에 다 들어 있다. 이어서 코드 정확성 연구논문를 읽으면 찾은 방향을 예측과 스티어링에 실제로 쓰는 법과 그 대가를 볼 수 있다.

이론에 관심이 있다면 대칭 데이터용 Equivariant SAE논문와 부분공간 SAE논문를 함께 읽는다. 앞의 것은 '복원 품질 ≠ 해석 품질'을, 뒤의 것은 '피처 쪼개짐은 목적함수가 만든다'를 다룬다. 둘 다 SAE의 기본 가정이 어디서 깨지는지 보여 준다. 대규모 적용의 비용이 궁금하면 Expander SAE논문가 저장량과 충실도 사이의 맞바꿈을 정리해 준다.

검증 방법론을 배우려면 PhysSAE논문와 EEG 연구논문가 좋다. 원래 은닉 상태에 직접 개입하는 법, 무작위 대조군을 두는 법, 의도하지 않은 효과까지 재는 법이 구체적으로 나온다. 마지막으로 Distillation 해부 연구논문와 ESMFold 연구논문에서 SAE가 다른 분석 도구와 어떻게 함께 쓰이는지 보면 최근 흐름을 따라잡을 수 있다.