아침 브리핑 · 08:00
AI의 자기 개선, 감지의 공백
AI가 AI의 발전 속도를 끌어올린다는 이야기는 이제 전망을 넘어 공시와 실험에서 다뤄진다. 상장을 준비하는 Anthropic은 투자자 서류에서 자기 개선 가속을 위험 요인으로 적은 것으로 전해졌다. 한 연구 블로그는 모델이 다른 모델의 가중치를 학습 없이 직접 고쳤다고 주장했다. 그런데 같은 날 나온 다른 소식들은 이런 변화를 실시간으로 알아채고 설명할 장치가 아직 부족하다는 점을 함께 보여 준다.
자기 개선이 공시와 실험에 오르다
자기 개선 가속이 기업의 법적 공시에 들어가기 시작했다. TechCrunch 보도에 따르면 Anthropic은 미국 SEC에 새로 낸 서류에서 RSI(Recursive Self-Improvement, AI가 스스로 학습을 이끌어 능력 향상이 빨라지는 현상) 역량에 매우 가까워졌다고 경고했다1. 전해진 내용을 보면 회사는 차기 모델이 AI가 이끄는 연구에 힘입어 발전 속도가 두 배가 되는 문턱에 곧 이를 수 있다고 밝혔다. 투자자에게 알리는 위험 요인에 이런 서술이 들어갔다면, 안전 논의가 연구실을 넘어 법적 책임의 영역으로 옮겨 온 것으로 볼 수 있다.
연구 쪽에서도 같은 방향의 신호가 나왔다. 'Sparks of Weight-Space Programming'이라는 블로그 글은 GPT-6 Astra가 경사하강법 없이 신경망 가중치를 읽고 고칠 수 있다는 초기 실험 결과를 실었다2. 글에 따르면 Qwen3.5-0.8B의 가중치 가운데 0.016%만 바꿨더니 MATH-500 점수는 7.9%에서 48.1%로, IFEval 점수는 21.0%에서 62.3%로 올랐다. 연구진은 환경 피드백 없이 한 번에 작성한 MinAtar 게임용 소형 신경망이 PPO로 1억 스텝 학습한 신경망보다 게임을 잘했다고도 주장했다. 모델이 학습 루프를 거치지 않고 다른 모델을 편집한다는 주장은 Anthropic이 공시에 적은 가속 시나리오와 직접 맞닿아 있다.
개발 루프 안으로 들어온 모델
가중치 편집은 아직 실험 단계다. 반면 AI가 AI 시스템을 만들고 다듬는 일은 실무에서 이미 흔해지고 있다. AWS는 SageMaker AI에서 SeqKD(시퀀스 단위 Distillation)로 프런티어 Teacher 모델의 에이전트 동작을 작은 Student 모델에 옮기는 방법을 소개했다12. 큰 모델의 행동이 작은 모델을 만드는 재료가 되는 구조다. Microsoft와 UC Berkeley 연구진은 TokenEconomizer를 공개했다. 이 플러그인은 모델은 그대로 두고 앞선 작업에서 얻은 정보를 재활용하며, 연구진은 코딩 에이전트 비용을 최대 30.9% 줄였다고 주장했다6.
인프라 수요도 이 변화를 따라 움직이고 있다. 보도에 따르면 Amazon의 자체 칩 사업은 세 자릿수 성장을 이어 갔고, Graviton과 Trainium의 계약 규모는 20배 넘게 늘었다3. 보도는 그 배경으로 강화학습과 에이전트의 도구 호출 처리에서 CPU가 맡는 비중이 커진 점을 들었다. 모델이 스스로 시도하고 피드백을 받는 연산이 늘고 있다는 뜻이다. 앞 절의 자기 개선 논의가 실제 설비 수요와도 이어져 있음을 보여 준다.
감지와 설명은 아직 뒤에 있다
가속의 신호가 뚜렷해질수록 이를 알아챌 수단의 한계도 함께 드러난다. 보도에 따르면 Anthropic은 서류에서 가속이 진행되더라도 실시간으로는 감지하지 못하고 뒤늦게 알게 될 수 있다는 점을 인정했다. Google DeepMind와 스탠퍼드대 연구진은 논문 'A Heart Means Recursion'에서 관련 사례를 보고했다8. 빨간 하트 이미지 하나만 보여 줘도 시각언어모델이 코드를 짜는 방식이 크게 달라졌지만, 모델은 그 까닭을 제대로 설명하지 못했다. 모델의 자기 설명만으로는 행동 변화를 추적하기 어렵다는 이 결과는 자기 개선을 감시하는 문제와도 겹친다.
통제 장치가 한 곳에만 있으면 쉽게 우회될 수 있다는 사례도 나왔다. Cisco Talos가 공개한 악성코드 VOLTA-AUTODOXER는 한 모델이 분석 요청을 거부하면 다른 모델로 넘어가도록 만들어졌다9. 이와 다른 접근으로 GitHub은 12월 2일부터 공개 저장소에서 pull_request_target 이벤트를 기본으로 차단한다5. 개별 판단에 맡기지 않고 기본값으로 위험 경로를 닫는 방식이다. 다만 오늘 논지의 핵심 근거 두 가지는 아직 충분히 확인되지 않았다. Anthropic 서류의 내용은 원문이 아니라 보도와 커뮤니티 요약으로만 전해졌다. Weight-Space Programming 연구도 연구진 소속과 재현 가능성을 공개 자료로 확인할 수 없다.
기업과 실무자는 모델 성능만큼이나 변화를 측정하고 설명하는 체계에도 투자해야 한다. 에이전트나 Distillation을 도입하는 팀이라면 비용 절감 장치와 함께 모델의 행동 변화를 기록하고 검증할 장치도 처음부터 설계에 넣을 필요가 있다. 앞으로 확인할 일도 남아 있다. Anthropic 서류 원문의 RSI 관련 표현, Weight-Space Programming 연구의 정식 논문 공개와 재현 결과, Codex에서 언급된 GPT-6.2 Astra의 공식 발표 여부다. 공개 저장소 운영자는 12월 2일 전에 Actions 이벤트 정책을 점검해야 한다.