모델 붕괴 Model Collapse
모델 붕괴는 AI가 만든 데이터로 다음 AI를 거듭 학습시키면서, 모델이 점점 원래 세상의 다양한 모습을 잊고 결과물이 단조롭거나 엉뚱하게 변해 가는 현상이다.
어떻게 작동하나
생성 모델은 학습 데이터에서 자주 나오는 패턴을 더 잘 배우고, 드물게 나오는 패턴은 덜 배운다. 이렇게 만든 모델의 출력에는 흔한 표현이 더 많이 담기고 드문 표현은 줄어든다. 이 출력을 다시 학습 데이터로 쓰면 드문 사례는 더 줄고, 그 모델의 오류는 다음 모델에 그대로 물려진다. 이 과정이 여러 세대 반복되면 데이터 분포의 '꼬리'가 사라지고 결과물이 한쪽으로 좁아지며, 심하면 의미 없는 출력이 나오기도 한다.
모델 붕괴가 쌓이는 고리
세대를 거듭할수록 다양성 감소
- 1모델 학습
- 2데이터 생성
- 3생성물로 재학습
- 4분포가 좁아짐
- 1. 모델 학습 흔한 패턴을 더 잘 배움
- 2. 데이터 생성 드문 사례는 덜 나옴
- 3. 생성물로 재학습 오류도 그대로 물려받음
- 4. 분포가 좁아짐 꼬리가 사라짐
왜 중요한가
인터넷에 AI가 만든 글·이미지가 빠르게 늘고 있어, 앞으로 웹에서 모은 학습 데이터에는 사람 대신 AI가 만든 내용이 점점 더 섞이게 된다. 이를 가려내지 않고 학습하면 의도치 않게 모델 붕괴가 일어날 수 있다. 그래서 사람이 직접 만든 원본 데이터의 가치가 높아지고, 데이터의 출처를 기록하는 일이 중요해진다. 합성 데이터를 적극 쓰는 요즘 학습 방식에서도 늘 따져야 하는 위험이다.
알아 둘 점
합성 데이터를 쓴다고 무조건 붕괴가 일어나는 것은 아니다. 실제 데이터와 섞어 쓰거나, 품질 검사와 필터링을 거치거나, 원본 데이터를 버리지 않고 계속 함께 쓰면 위험을 크게 줄일 수 있다는 것이 일반적인 이해다. 문제는 검증 없이 AI 출력만으로 세대를 거듭해 학습할 때 커진다. 즉 '합성 데이터 금지'가 아니라 '어떻게 섞고 거를지'가 핵심이다.
예시
AI 회사가 다음 모델을 학습할 때, 웹에서 모은 문서 가운데 AI가 쓴 것으로 보이는 글을 걸러 내거나 사람이 쓴 원본 비중을 일정하게 유지하는 것은 모델 붕괴를 막기 위한 대표적인 실무 대응이다. 합성 데이터로 수학 문제나 코드를 대량으로 만들 때도 정답 검증을 통과한 것만 남기는 식으로 품질을 관리한다.