합성 데이터의 실증적 프라이버시 지형 탐색

문제

민감한 데이터로 언어 모델을 파인튜닝하면 학습 데이터를 암기해 유출할 수 있다. 그런데 데이터 단계 방어(합성·재작성·PII 제거)와 학습 단계 방어(DP-SGD 등)를 같은 조건에서 성능과 유출을 함께 비교한 연구는 부족했다.

방법

Synthea로 만든 합성 환자 기록 5,000건에 가짜 약물명을 심은 카나리아 100개를 넣었다. 카나리아는 1·4·16·32·64회 중복으로 삽입해 총 7,340건이다. 무학습, 직접 파인튜닝, PII 제거, DP-SGD(ε=8), Goldfish, 일반 재작성, 프라이버시 인지 재작성(드문 세부 정보를 가상의 값으로 바꾸라고 지시)을 비교했다. 대상 모델은 Qwen3.5-4B-Base와 gpt-oss-20b이고 LoRA로 학습했다. 유출은 문장 이어쓰기·질문 응답에서 카나리아 약물명의 perplexity로, 성능은 held-out 기록과 약물명 perplexity로 측정했다.

결과

• 직접 파인튜닝은 두 모델 모두 성능이 가장 좋았지만 유출도 컸다. DP-SGD는 유출을 줄였지만 성능 손실이 컸다.
• PII 제거는 이름·주소 같은 식별자만 지우고 가짜 약물명 같은 비식별 사실은 남겨, 높은 중복에서 직접 파인튜닝과 비슷한 수준으로 유출됐다.
• 두 대상 모델 모두에서 프라이버시 인지 재작성이 일반 재작성보다 프라이버시와 성능 순위가 모두 높았다. DP-SGD와 GPT-5.5 기반 프라이버시 인지 재작성은 64회 중복에서도 유출에 강했다.
• LLM 심사자가 평가한 데이터 프라이버시는 문장 이어쓰기 유출 지표와 강하게 상관했다(ρ=0.89). 반면 심사자가 평가한 데이터 품질은 성능 향상을 예측하지 못했다(ρ=-0.64).
• 재작성본 5개로 1 에폭 학습한 결과는 재작성본 1개로 5 에폭 학습한 결과보다 나은 점이 없었다.

한계

재작성 방식은 형식적 차분 프라이버시 보장이 없고 실증적으로만 평가했다. 유출·성능을 모두 perplexity 기반 지표로만 측정했다. 대상 모델은 2개, 학습은 LoRA·단일 시드다. 데이터는 Synthea 합성 기록이라 실제 임상 문서의 다양성과 다를 수 있다. 중복 수준마다 다른 카나리아 그룹을 써서 카나리아 자체 난이도가 섞인다. 재작성은 추가 생성 비용이 든다.

의미

민감 데이터로 모델을 파인튜닝할 때 PII 제거만으로는 충분하지 않음을 보였다. 재작성 프롬프트 설계가 성능-프라이버시 균형을 크게 좌우한다는 점에서 데이터 전처리 파이프라인을 설계하는 데 바로 참고할 수 있다.

핵심 용어

카나리아(Canary)

학습 데이터에 일부러 심어 둔 고유한 비밀 정보다. 모델이 이를 맞히면 암기와 유출이 일어난 증거가 된다.

DP-SGD

예제별 기울기를 잘라내고 노이즈를 더해, 개별 학습 예제의 영향을 수학적으로 제한하는 차분 프라이버시 학습법이다.

Goldfish

정해진 규칙에 따라 일부 토큰을 손실 계산에서 빼서 그대로 암기하는 것을 줄이는 학습 기법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Zihao Zhao, Avi Schwarzschild, Casey Meehan, Katherine Lee, Zhili Feng, Dylan Sam · 게시 2026-10-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.