← 주요 논문

논문 리뷰 · 2026년 11월 19일

Weight-Space Programming에는 Transformer가 필요 없다

Weight-Space Programming Doesn't Need Transformers

언어 모델전통 ML·추천·검색 중급 추천 47 cs.LG Pohang University of Science and Technology

LLM이 경사하강 없이 가중치를 직접 쓰게 하자 희소 사실 테이블 구조를 스스로 택했고, 이를 바탕으로 Transformer보다 훨씬 작고 빠른 연상 메모리 모델을 제안했다.

문제

Transformer는 경사하강으로 학습이 잘 되고 GPU에서 빨라서 표준이 됐다. 그런데 LLM이 대상 모델의 가중치를 직접 써 넣는 Weight-Space Programming(WSP)에서는 그 이유가 성립하지 않는다. 그렇다면 WSP에서도 Transformer 구조를 유지해야 하는지가 이 논문의 질문이다.

방법

세 프런티어 LLM(Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra)에 ARC 학습 예제 10개와 샌드박스만 주고 두 가지를 시켰다. 하나는 기존 구조(Transformer, SSM, RNN)의 가중치를 쓰는 것이고, 다른 하나는 구조부터 직접 설계하는 것이다. LLM은 평문 사실 문장을 희소 테이블로 컴파일하고 고정된 절차로 조회하는 모델에 수렴했다. 저자들은 이를 연상 메모리로 해석했다. 이어서 개념 테이블 A와 해시로 직접 주소를 찾는 개념쌍 테이블을 써서, 질문당 고정된 수의 행(120개 쌍 행)만 읽는 모델을 제안했다.

결과

한계

주 평가는 ARC 4지선다 과학 문제이고, 사전학습 모델과의 격차가 크다(54.4% 대 82.1%). 저자들도 주장의 범위를 '가중치를 직접 쓸 때 어떤 구조를 만들지'로 한정했다. 생성형 과제·수학·비전 확장 결과는 제공된 본문 범위에서 자세히 확인되지 않는다. 세대가 늘수록 LLM API 비용이 커진다(예: GPT-6 Astra 8세대 $490).

의미

LLM이 다른 모델을 '프로그래밍'하는 시대에는 경사하강에 맞춘 구조가 최선이 아닐 수 있음을 보여준다. 가중치 하나하나의 의미를 추적하고 고칠 수 있어 해석 가능성과 지식 편집 관점에서도 시사점이 있다.

핵심 용어

Weight-Space Programming(WSP)
경사하강이나 데이터 학습 없이 LLM이 대상 모델의 가중치를 직접 작성하는 방식이다.
연상 메모리(Associative Memory)
쿼리와 닮은 키를 찾아 그 키에 연결된 값을 불러오는 구조다. 이 논문은 Transformer와 희소 테이블을 모두 이 틀로 비교했다.
국소 편집(Local Edit)
가중치의 한 줄을 고쳐도 그 줄에 의존하는 예측만 바뀌는 성질이다. 학습 없이 모델을 디버깅하는 데 필요하다.

원문

저자: Hyunjong Ok, Jaeho Lee · 게시 2026-11-17 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.