"GPT-6 Astra, 학습 없이 Qwen 가중치 0.016%만 직접 고쳐 MATH-500 7.9%→48.1%"…'Weight-Space Programming' 연구 공개(커뮤니티 전언)
발표 2026년 11월 2일
확인된 내용 (사실)
연구 블로그 'Sparks of Weight-Space Programming'에 GPT-6 Astra의 초기 실험 결과가 실렸다. 경사하강법이나 학습 루프를 쓰지 않고 신경망 가중치를 직접 읽고 고칠 수 있다는 내용이다. Qwen3.5-0.8B의 가중치 중 0.016%만 바꿔 반복 추론을 줄였고, 샘플링 조건을 그대로 두고 측정한 점수는 MATH-500이 7.9%→48.1%, IFEval이 21.0%→62.3%로 뛰었다고 한다. 작은 신경망은 실행하지 않고 가중치만 살펴 어떤 게임·언어를 학습했는지 알아맞혔다. 입출력층을 떼어 낸 언어 모델에서는 텍스트 복사를 맡은 어텐션 헤드를 찾아냈다고 밝혔다. 커뮤니티 글은 연구진이 MIT 소속이라고 소개했지만, 공개 자료로는 소속을 확인할 수 없다.
팩트체크 필요 (주장)
연구진은 환경 피드백 없이 한 번에 작성한 MinAtar 게임용 소형 신경망이 PPO로 1억 스텝 학습한 신경망보다 잘 플레이했다고 주장.
의미 (해석)
LLM이 가중치를 직접 해석·편집할 수 있다면 최적화와 해석 가능성 연구 모두에 새 경로가 생기고, 모델이 스스로를 고치는 시나리오에 대한 안전 논의도 커질 수 있다.
신뢰도 보통 · 공식 출처 확인 전
출처
- 커뮤니티 Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights [R] Reddit
- 커뮤니티 Astra, 가중치를 읽고 수정해 Qwen을 개선할 수 있음 GeekNews
- 커뮤니티 MIT researchers say GPT-6 Astra improved a small Qwen model’s math score from 7.9% to 48.1% by directly editing just 0.016% of its weights Reddit
MIT 관련 다른 소식
-
MIT·MIT-IBM 연구진 'Swarm Telepathy(SwaT)': 서로 다른 회사 모델끼리 텍스트 없이 KV 캐시를 직접 넘겨 소통…"정확도 평균 40%↑, 속도 4배"(보도)
MIT CSAIL과 MIT-IBM 연구소 연구진이 'Swarm Telepathy: 모델 계열 간 프리필 없는 KV 캐시 전송'이라는 논문을 온라인 아카이브에 올렸다고 AI타임스가 보도했다. 여러 모델이 텍스트를 주고받는 대신, 한 모델의 내부...
-
NVIDIA·MIT, MiniMax H3 기반 영상 화질 개선 모델 'Open-H3-Regenerate-2K' 가중치 공개…최대 4K로 재생성(보도)
量子位에 따르면 NVIDIA와 MIT 연구팀이 영상 화질 개선 프로젝트 'Open-H3-Regenerate-2K'의 모델 가중치를 Hugging Face에 올렸다. MiniMax의 H3 모델을 바탕으로 한 오픈소스 방식이며, 영상을 최대 4K...
-
가상 무인도 Claude 에이전트 실험 후속: MIT 연구진 논문 'Is this machine playing?' 공개…개발자도 몰랐던 던지기 기술 발견(보도)
MIT 연구진이 별도 임무 없이 가상 섬에 풀어놓은 AI 에이전트가 스스로 어떻게 탐색하는지 분석한 논문 'Is this machine playing?'을 arXiv에 공개했다. Anthropic의 Claude Code 등을 바탕으로 만든...
-
MIT 연구진, 원자의 3차원 배열과 자연어를 함께 이해하는 멀티모달 모델 개발…고체 배터리 전해질 소재 탐색에 활용(보도)
인공지능신문 보도에 따르면 MIT 연구진이 결정 소재의 원자 배열·결합 패턴을 언어 정보와 연결해 학습하는 멀티모달 모델을 만들었다. 이 모델은 소재의 구조와 물성, 가공 조건, 쓸 수 있는 용도까지 추론하도록 설계됐다. 기존 LLM은 주로...
-
MIT 연구진, 기존 예보 모델의 오류를 AI로 학습·보정해 2~6주 기상예보 성능 2배로…기후 평균보다 나은 예측 처음 입증(보도)
MIT 연구진이 기존 기상예보 모델의 오류를 AI로 학습하고 보정하는 방법을 개발했다. 대상은 2~6주 뒤를 내다보는 '계절 내 예측(subseasonal forecasting)'이다. 최상위 예보 모델에 이 방법을 적용하자 해당 기간의 예측...