AI Trend Research
KR

← AI 용어집

AI 용어집 · 기초 · 에이전트 · 언어 모델 · 안전·정렬

Recursive Self-Improvement 재귀적 자기 개선

재귀적 자기 개선(RSI, Recursive Self-Improvement)은 AI가 자기 성능을 높일 방법을 스스로 찾아 적용하고, 그렇게 나아진 능력을 다음 개선에 다시 쓰는 반복 구조다. 지금은 사람이 검토하는 가운데 일부 영역에서 실험하는 단계다.

용어 정보
난이도
기초 · 소식을 읽을 때 자주 만나는 기술 용어
카테고리
인지·행동
추가
2026-10-23
쉽게 말하면 공부법을 스스로 고쳐 가는 학생과 비슷하다. 점수가 오르는 데서 그치지 않고 '공부법을 고치는 실력'까지 늘면 다음 개선은 더 빨라진다. 다만 AI는 점수만 올리는 꼼수를 찾아낼 수 있다. 그래서 학생의 경우보다 누가 채점하느냐가 훨씬 중요하다.

무엇인가

RSI에서는 AI가 고칠 곳을 직접 찾고, 수정안을 만들고, 평가 결과를 보고 다음 개선을 시도한다. 지금까지는 사람 연구자가 데이터·알고리즘·모델 구조를 바꾼 뒤 모델을 새로 학습시켜 성능을 높였는데, 이 점이 다르다. 개념 자체는 오래됐다. 국내 언론 보도에 따르면 수학자 어빙 존 굿이 1965년에 '지능 폭발' 가능성을 제기했고, 이후 위르겐 슈미트후버가 자기 프로그램을 스스로 고치는 이론 체계인 '괴델 머신'을 제안했다. 최근에는 LLM의 코딩·추론 능력과 에이전트의 도구 사용 능력이 좋아지면서 좁은 영역에서 직접 실험할 수 있게 됐다. 핵심은 점수가 한 번 오르는지가 아니라 '개선하는 능력' 자체가 좋아지는지다.

어떻게 작동하나

기본 고리는 단순하다. 지금 버전을 실행하고, 약점을 찾고, 수정안을 만들어 평가한 뒤, 더 나으면 다음 버전에 반영하고 다시 처음으로 돌아간다. Weco AI 연구진이 2026년 9월 공개한 AIDE²는 연구 에이전트가 자기 코드를 고치고 평가해 더 나은 버전을 고르는 시스템이다. 약 8일 동안 일곱 차례 연속으로 개선점을 찾았다고 소개됐는데, 새로운 탐색 방식과 긴 작업에 쓰는 기억 관리가 여기에 들어간다. 최근 실험은 모델 가중치보다 모델을 감싼 하네스(프롬프트·도구·메모리·작업 흐름 코드)를 고치는 경우가 많다. UCSB·마이크로소프트의 ScholarEvolve는 실패 사례를 분석한 뒤 관련 논문을 찾아 해결책을 코드에 구현하고, 모델 가중치는 그대로 둔다. 구글의 Harness²는 두 겹의 반복을 쓴다. 작업마다 수정안을 시험해 효과가 확인된 것만 합치고, 그 경험을 기록으로 쌓아 다음 개선에 활용한다.

자기 개선의 기본 고리

  1. 1. 실행 지금 버전으로 작업
  2. 2. 약점 찾기 실패·비효율 분석
  3. 3. 수정안 만들기 코드·프롬프트·메모리
  4. 4. 평가·비교 정말 나아졌나
한 바퀴를 돌 때마다 다음 버전이 나온다. 고리가 돌수록 '개선하는 능력'까지 좋아지는지가 RSI의 핵심이다.

왜 주목받나

AI 경쟁의 초점이 더 큰 모델·더 많은 데이터·더 많은 컴퓨팅에서 'AI가 스스로 성능을 높이는 능력'으로 옮겨 가고 있다는 분석이 나온다. 이것이 현실이 되면 AI 개발이 사람 연구자의 시간과 전문성에 기대는 정도가 달라질 수 있다. 구글 공동 창립자 세르게이 브린은 2026년 10월 제미나이 모델이 후속 모델 개발을 돕는 비중이 커지고 있다며, 구글이 RSI 궤도에 들어서기 시작했다고 말했다. 하네스를 고치는 방식은 모델을 다시 학습하지 않고도 에이전트를 나아지게 할 수 있어 기업 활용 가능성도 거론된다.

알아 둘 점(한계)

지금의 연구 자동화를 '사람 개입 없이 끝없이 지능을 높이는 완전한 RSI'와 같은 것으로 보면 안 된다. 브린이 든 사례도 연구원과 AI가 함께 후속 모델을 만드는 방식이고, 구글은 코드 변경을 반영하기 전에 사람이 검토한다고 밝혔다. 현실 업무에는 정답이 따로 없어서 수정이 진짜 개선인지 판단하기 어렵다. 한 작업에 맞춰 고친 규칙이 다음 작업에서는 오히려 짐이 되기도 한다. 평가 점수만 올리는 보상 해킹 위험도 있어서, 누가 결과를 검증하고 자율성을 어디까지 허용할지가 큰 과제로 남아 있다. 소개된 성과 수치는 대부분 연구진이 직접 밝힌 것이다.

확인된 것과 가설로 남은 것

지금의 연구 자동화사람과 AI가 함께

  • 좁은 영역에서 자기 코드·하네스 수정
  • 평가에서 효과가 확인된 변경만 반영
  • 사람이 검토한 뒤 반영

완전한 RSI아직 가설

  • 사람 개입 없이 스스로 계속 개선
  • 개선 능력 자체가 계속 향상
  • 검증·통제 방법이 큰 과제

공통 둘 다 AI가 개선한 결과를 다음 개선에 다시 쓴다는 구조는 같다

현재 사례는 왼쪽에 가깝다. 오른쪽은 아직 실현되지 않은 가설이다.

예시

구글은 2026년 10월 '제미나이 4 아르곤' 개발 과정을 소개하며 AI가 다음 모델 개발에 참여하는 모습을 공개했다. AI 에이전트는 대규모 학습 작업을 지켜보고, 설정 오류와 버그를 찾고, 데이터 중복을 확인하는 일에 쓰였다. 구글은 안전 보고서에서 실제 서비스 코드와 버그 수정의 대부분을 AI 에이전트가 작성한다고 밝혔다. 다만 코드 변경은 반영 전에 사람이 검토한다고 적었다. 사람이 최종 확인을 맡은 채 AI가 개발 속도를 높이는, '부분적 RSI'의 현재 모습을 보여 주는 장면이다.

함께 보면 좋은 용어

AI 에이전트 하네스 하네스² 보상 해킹 휴먼 인 더 루프 AGI

참고