Weight-Space Programming 가중치 공간 프로그래밍
가중치 공간 프로그래밍(Weight-Space Programming)은 LLM이 다른 신경망의 가중치(학습으로 정해진 숫자들)를 직접 읽고 해석해, 추가 학습 없이 그 숫자를 손으로 고치거나 새로 써서 모델의 동작을 바꾸는 방식이다. 2026년 11월 초에 이름이 붙은 초기 연구 개념이다.
무엇인가
신경망의 성능을 바꾸려면 보통 데이터를 더 넣어 학습하거나 파인튜닝을 한다. 이때 경사 하강법이 오차를 줄이는 방향으로 가중치를 조금씩 자동으로 움직인다. 가중치 공간 프로그래밍은 이 과정을 건너뛴다. LLM이 가중치 숫자를 직접 보고 '이 부분이 무슨 일을 하는지' 추론한 뒤 필요한 곳만 고친다. 이 이름은 연구 글 'Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights'에서 붙었다. Simon Willison은 이 글의 저자로 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab를 소개했고, AI타임스는 MIT 연구진의 연구라고 보도했다.
학습으로 고치기 대 직접 고치기
학습·파인튜닝데이터로 다시 가르치기
- 추가 데이터가 필요함
- 경사 하강법이 가중치를 자동으로 조정
- 가중치를 바꾸는 표준 방법
가중치 공간 프로그래밍LLM이 숫자를 직접 고치기
- 학습 루프 없이 가중치를 읽고 수정
- 문제 부위만 골라 고침
- 아직 초기 연구 단계
공통 둘 다 모델의 가중치를 바꿔 동작을 바꾼다
어떻게 작동하나
연구진은 세 가지 일을 시험했다고 밝혔다. 첫째, 가중치를 읽는 일이다. GPT-6 Astra가 단순화한 격자판 게임 네 가지(Breakout, Pong, Pac-Man, Freeway)를 학습한 작은 신경망의 가중치만 보고 각 신경망이 어떤 게임용인지 맞혔다고 한다. 둘째, 가중치를 처음부터 쓰는 일이다. 학습 없이 쓴 작은 게임용 신경망이 강화학습(PPO)으로 오래 학습한 신경망보다 잘했다고 밝혔다. 셋째, 기존 모델을 고치는 일이다. 소형 모델 Qwen3.5-0.8B가 수학 문제를 풀다 같은 추론을 반복하며 출력 한도에 걸리는 문제를 찾아, 15번째와 19번째 계층 가중치 일부(전체의 0.016%)를 고쳤다고 한다. 이 셋째 실험에서는 Python 도구로 가중치를 분석·수정하고 결과를 확인했지만, 학습 루프는 쓰지 않았다고 한다.
왜 주목받나
연구진은 수정 뒤 MATH-500 점수가 7.9%에서 48.1%로, GSM8K는 13.8%에서 67.1%로, 지시 이행 평가인 IFEval은 21.0%에서 62.3%로 올랐다고 밝혔다. 신경망 내부를 들여다보는 해석 가능성 연구가 실제로 모델을 고치는 데까지 이어질 수 있다는 점에서 관심을 끈다. AI가 AI를 직접 개선할 수 있다면 재귀적 자기 개선으로 이어질 수 있다는 기대와 우려도 함께 나온다. 이미지 복원용 디퓨전 모델에 이 방식을 적용하는 아이디어를 담은 논문도 arXiv에 나왔다. 이 논문은 '진단 → 수정 → 평가 → 다시 진단'을 반복하는 고리를 제안하지만, 스스로 추측 단계의 원고라고 밝힌다.
Qwen3.5-0.8B 수정 전후 점수
수정 전수정 후
알아 둘 점(한계)
수학 실력 자체가 몇 배로 늘어난 것은 아니다. 원래 모델의 반복 출력 결함을 없애서 이미 있던 풀이 능력이 드러난 것이라고 연구진도 설명한다. Sean Goedecke는 반복하는 추론과 그렇지 않은 추론을 비교해 관련 가중치를 줄이는 '스티어링' 계열 방법이라 유능한 인간 연구자도 할 수 있는 일이라고 반박했다. Matthew Honnibal은 도구 없이 가중치를 읽는 실험과 Python으로 고친 실험을 한데 섞어 오해를 부른다고 비판했다. 구글의 Gemma 3 270M에서는 뚜렷한 효과가 없었다고 한다. 기존 파인튜닝보다 싸거나 빠르다는 점도 아직 입증되지 않았다. 지금은 제한된 모델과 실험 환경에서 나온 초기 결과로 보는 것이 맞다.
예시
이 사이트에서도 'GPT-6 Astra가 학습 없이 Qwen 가중치 0.016%만 고쳐 MATH-500 점수를 크게 올렸다'는 소식과 'Python 실행이 포함돼 과장됐다'는 반론을 함께 다뤘다. 후속 글에서 Simon Willison은 자기 노트북에서 돌린 Qwen 3.8 27B에도 게임 신경망 가중치를 주고 해석하게 해 봤다. 그 결과 도구 없이 가중치를 읽는 실험 일부는 프런티어 모델이 아니어도 재현된다고 전했다. 실무에서 쓰는 기법이라기보다, LLM이 모델 내부를 얼마나 이해하는지 시험하는 연구 주제로 보는 편이 맞다.
이 사이트에서 나온 사례
함께 보면 좋은 용어
참고
- LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다 (GeekNews)
- Weight-Space Programming for Improving Image-Restoration Diffusion Models: Technical Conjectures and a Recursive Improvement Loop (arxiv.org)
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (alphaXiv)
- The Dawn of a New AI Paradigm: Weight-Space Programming (The Algorithmic Bridge)
- "AI가 다른 AI의 가중치 직접 수정"…재학습 없이 수학 평가 점수 6배 상승 (AI타임스)
- Qwen 3.8 27B on my laptop can interpret model weights, too (Simon Willison)