AI Trend Research
KR

← 2026년 11월 3일 브리핑 · 04:00 업데이트로 추가

P2 연구 논문 언어 모델안전·정렬후속04:00 갱신MITOpenAIAlibaba

Weight-Space Programming 후속: "Qwen 개선 실험은 Python 실행이 포함돼 과장" 반론, 노트북의 Qwen 3.8 27B로도 일부 재현(커뮤니티 전언)

발표 2026년 11월 3일

확인된 내용 (사실)

논문 'Sparks of Weight-Space Programming'(저자 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab)을 두고 반론이 나왔다. Reddit 글과 GeekNews 요약에 따르면, 이 논문을 소개한 게시물이 성격이 다른 두 실험을 한 가지 능력처럼 묶었다는 지적이다. 하나는 원시 가중치 값을 직접 읽는 실험이고, 다른 하나는 Python으로 모델을 분석하고 수정한 실험이다. 도구 없이 가중치 숫자만 문맥에 넣어 진행한 실험은 3개였고, 대상은 가중치 1만7,000~17만2,000개 규모의 작은 네트워크였다. 화제가 된 Qwen3.5-0.8B 수학 성능 개선은 Python을 썼고, 연습 문제를 최대 50개 배치까지 모델에 돌려 볼 수 있는 조건이었다. Gemma 3의 수학 성능 개선은 실패했다고 한다. 한편 Simon Willison은 논문 예시 하나를 노트북에서 돌린 Qwen 3.8 27B로도 해냈다고 밝혔다. 또 다른 Reddit 사용자는 공개된 가중치 diff로 수정본을 다시 만든 뒤 Anthropic의 Jacobian lens로 'Wait' 반복 구간을 분석한 결과를 공유했다.

의미 (해석)

'학습 없이 가중치를 직접 고쳐 성능을 올렸다'는 주장이 어디까지 맞는지 다시 따져 볼 근거가 나왔다. 도구를 실행하고 피드백을 받을 수 있었는지가 결과 해석을 크게 바꾸므로, 원 논문 수치를 인용할 때는 실험 조건을 함께 밝혀야 한다.

신뢰도 보통 · 공식 출처 확인 전

출처

이어지는 소식

  1. 2026-11-03 "GPT-6 Astra, 학습 없이 Qwen 가중치 0.016%만 직접 고쳐 MATH-500 7.9%→48.1%"…'Weight-Space Programming' 연구 공개(커뮤니티 전언)
  2. 2026-11-03 Weight-Space Programming 후속: "Qwen 개선 실험은 Python 실행이 포함돼 과장" 반론, 노트북의 Qwen 3.8 27B로도 일부 재현(커뮤니티 전언)

MIT 관련 다른 소식