유사성을 넘어선 기능적 의존성: 음악 생성 모델의 Training Data Attribution 계층 분해

문제

저작권 판단은 두 작품의 유사성에 초점을 맞춘다. 하지만 생성 AI는 유사성을 넘어서는 기능적 관계로 학습 데이터를 활용한다. TDA(Training Data Attribution)는 보상 분배의 근거 후보로 거론되지만, 소수 학습 샘플이 거의 모든 생성물에서 영향력 상위에 오르는 전역 영향 현상이 알려져 있다. TDA 점수를 그대로 보상 근거로 쓰면, 무엇이 생성됐는지와 상관없이 같은 샘플에 보상이 계속 돌아간다.

방법

생성물마다 TDA 점수를 표준화한 뒤 세 수준으로 정확히 나눈다. 전역 수준은 학습 샘플별로 모든 생성물에 대한 점수를 평균한 값이다. 그룹 수준은 전역 수준을 뺀 점수 벡터를 k-means로 군집화하고, 군집 안에서 평균한 값이다. 개별 수준은 그 나머지다. 각 수준이 전체 분산에서 차지하는 비중(합은 1)도 계산한다. MusicGen-S/L과 InspireMusic-Base/1.5B를 MTG-Jamendo 3만 개 구간으로 파인튜닝했다. 장르 12개에서 생성물 480개를 만들고, TDA 6개 방법과 Trak 변형 3개를 적용했다. 각 수준의 상위 샘플 10%를 지우고 다시 학습하는 삭제 실험을 해, 무작위 삭제와 비교했다.

결과

• 모델 4개와 TDA 방법 6개 및 변형 3개의 모든 조합에서, 전역·그룹 수준 영향이 무시할 수 없는 크기로 나타났다.
• 저자들은 개별 생성물에 고유한 영향이 그룹·전역 수준의 공유 영향 아래에 겹쳐 있다고 보고했다.
• GradDot과 Trak(λ=1)으로 한 삭제 실험에서, 각 수준의 상위 샘플을 지우면 무작위로 같은 수만큼 지울 때보다 해당 범위의 모델 동작이 더 크게 바뀌었다고 보고했다.
• 이 관찰을 바탕으로, 학습 데이터에 대한 모델과 생성물의 의존 관계를 범위별로 구분하는 '기능적 의존성(functional dependency)' 개념을 제안했다.

한계

실험은 자기회귀 음악 생성 모델 두 계열과 MTG-Jamendo 데이터 하나로 한정된다. 삭제 실험은 TDA 방법 두 개에만 적용했다. 그룹 수준은 k-means 군집화 결과에 좌우되며, 그룹이 실제 음악 장르와 맞지 않고 모델이 스스로 정의한 스타일이다. 제공된 본문이 실험 설정에서 잘려 있어 수준별 비중 수치는 확인하지 못했다. 보상 제도로 연결하는 부분은 법·경제·윤리 논의를 위한 제안 단계다.

의미

생성 AI 학습 데이터에 대한 보상 논의에서는 '이 데이터가 무엇에 얼마나 기여했나'를 투명하게 설명해야 한다. 이 분해 방법은 어떤 TDA 방법에도 붙일 수 있다. 모델 전체에 대한 기여와 특정 생성물에 대한 기여를 따로 보여 주므로, 저작권·보상 정책 설계에 쓸 수 있는 실무적 틀이 된다.

핵심 용어

TDA(Training Data Attribution)

각 학습 샘플이 특정 출력에 얼마나 영향을 줬는지 추정하는 기법이다. 주로 학습 샘플과 출력의 gradient를 비교하는 방식으로 계산한다.

전역 영향(global influence)

소수의 학습 샘플이 거의 모든 생성물에서 영향력 상위로 나타나는 현상이다. gradient 크기가 큰 이상치 샘플에서 주로 생긴다고 알려져 있다.

기능적 의존성(functional dependency)

학습된 모델이나 그 생성물이 학습 데이터에 의존하는 관계를 가리키는, 이 논문이 제안한 개념이다. 모델 전체, 스타일 그룹, 개별 출력처럼 범위를 나눠 다룬다.

삭제 실험(deletion test)

점수가 높은 학습 샘플 묶음을 지우고 다시 학습해, 무작위로 지웠을 때보다 모델이 더 많이 변하는지 보는 검증 방법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Changheon Han, Hugh Xuechen Liu, Ashkan Panahi, Kıvanç Tatar · 게시 2026-11-06 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.