논문 리뷰 · 2026년 11월 21일
WeVisForensics: AI 생성 영상을 탐지하는 자기진화형 포렌식 에이전트
WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection
조사관 에이전트와 함께 학습하는 검사관 서브에이전트로 AI 생성 영상을 단계적으로 조사해, 평균 탐지 정확도 95.2%와 국소 증거 기반 판정을 얻었다.
문제
영상 생성 품질이 높아지면서 가짜 영상을 근거와 함께 탐지하기가 어려워졌다. 한 번에 CoT로 판단하는 기존 방식은 짧거나 국소적인 아티팩트를 놓친다. 고정된 멀티 에이전트 워크플로는 검사 항목을 유연하게 고르지 못한다. 조사 정책만 학습하면 고정된 전문가 모델의 탐지 능력 자체는 나아지지 않는다는 한계도 있다.
방법
메인 조사관(investigator) 에이전트가 영상 개요를 본 뒤, 검사관 라이브러리(FSL)에서 어떤 검사관을 어느 구간에 호출할지 정한다. 검사관은 외관, 물리 일관성, 상식, 화면 속 글자(OCR)를 보는 시각 검사관과 음성 프로필·ASR 분석을 하는 오디오 도구로 구성된다. 호출은 최대 4회이고, 조사관은 보고를 종합해 진짜/가짜를 판정한다. 학습에는 DTPO(Dual-Timescale Policy Optimization)를 쓴다. 조사관은 매 배치마다 강화학습으로 빠르게 갱신된다. 시각 검사관은 조사관이 실제로 낸 호출 가운데 주석된 아티팩트 구간과 맞는 것을 모아, 더 느린 주기로 LoRA Distillation과 스킬 카드 수정으로 개선된다. 오디오 도구와 OCR 검출기는 측정 기준을 안정적으로 유지하려고 고정한다. 학습 데이터로는 역할별 포렌식 주석과 상호작용 Trajectory를 담은 ForenCue-30K를 구축했다.
결과
- 저자들은 in-domain·out-of-domain·에이전트형 벤치마크 평균 탐지 정확도 95.2%로, 가장 강한 기존 탐지기보다 9.0%p 높았다고 보고했다.
- ForenCue-30K는 영상 30,000개로 만들었고, 서브에이전트용 역할별 레코드 117,552개, 메인 에이전트용 상호작용 Trajectory 33,896개, DTPO용 RL 풀 7,500개로 구성된다.
- 판정 정확도와 함께 에이전트가 관련 서브에이전트를 제대로 호출하는지(호출 정밀도)까지 평가하는 벤치마크 AgenticCue를 새로 제안했다.
한계
제공된 본문은 데이터 구성 부분에서 끊겨 있어 세부 실험 결과와 Ablation은 확인하지 못했다. 오디오 도구는 라벨된 오디오 위조 데이터가 부족해 고정했으므로 오디오 쪽 탐지 능력은 학습으로 개선되지 않는다. 호출은 4회로 제한되고, 30초가 넘는 영상은 대략 15초 구간만 조사한다. 학습용 생성 영상은 명시된 생성 모델들에 한정되며, 새 생성기에 얼마나 일반화되는지는 OOD 벤치마크 범위 안에서만 확인됐다.
의미
딥페이크 탐지 결과를 '어느 구간, 어떤 근거로 가짜인지'라는 감사 가능한 증거로 남긴다. 미디어 검증과 플랫폼 운영에 쓰기 좋은 형태다. 조사 정책과 검사관 모델을 함께 진화시키는 구조는 다른 멀티 에이전트 시스템 학습에도 참고가 된다.
핵심 용어
- DTPO(Dual-Timescale Policy Optimization)
- 조사관은 매 배치마다 빠르게, 검사관은 주기적으로 천천히 갱신하는 두 시간 척도 학습법이다. 서로 움직이는 표적이 되어 학습이 불안정해지는 문제를 줄인다.
- Forensic Sub-agent Library(FSL)
- 외관·물리·상식·OCR·오디오 등 관점별 검사관 모음이다. 각 검사관은 issue/no_issue/inconclusive 같은 판정, 신뢰도, 근거 설명을 구조화된 형태로 돌려준다.
- 스킬 카드
- 검사관의 역할 지시문 뒤에 붙는 '보고할 것/무시할 것' 규칙 목록이다. 별도 reflector 모델이 학습 중에 이 규칙을 수정한다.
원문
저자: Yipeng Du, Yuxi Li, Ying Zhang, Chong Sun, Chen Li, Jing Lyu, Ying Tai · 게시 2026-11-16 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.