실제 음향 환경을 위한 효율적 스트리밍 시청각 목표 화자 추출(Falcon)과 RealSSA 벤치마크

문제

실시간 시청각 목표 화자 추출(AVTSE)은 화상회의나 보청기처럼 지연에 민감한 곳에 필요하다. 그러나 기존 벤치마크는 화자를 2명으로 고정하고 근거리·원거리 간섭, 잔향, 돌발 소음을 다루지 않으며, 실제 녹음 평가 세트도 없다. 성능이 좋은 인과(causal) 모델은 엣지 기기에 올리기에 너무 무겁다. 경량 모델은 작은 분리기를 여러 번 반복 호출하는데, 그만큼 연산이 늘어 절감 효과가 상쇄된다.

방법

(1) RealSSA 벤치마크: RealSSA-Sim은 소형 회의실·중형 실내·대형 공공장소·야외의 4가지 장면에서 근거리 간섭 화자 1~5명을 배치하고, 원거리 간섭이 있는 장면에는 원거리 화자 10~15명을 더한다. 잔향(RT60), 환경 소음, 돌발 소음은 함께 샘플링한다. 규모는 약 153시간이다. RealSSA-Real은 모바일 기기 하나로 녹음한 평가 전용 실제 데이터다. (2) Falcon: 입 영상 특징과 오디오 특징을 융합한 뒤, 비대칭 U-Net 분리기가 인코더–디코더를 한 번만 통과하면서 주파수축·시간축·시간-주파수 결합 모델링을 해상도별로 나눠 수행한다. (3) 분리기의 STFT 인코더 공간에서 깨끗한 목표 음성과 각 근거리 간섭 화자를 대조하는 화자 대조 손실을 학습 때만 쓴다.

결과

• 저자들은 Falcon이 RealSSA-Sim, LRS2-2Mix, LRS3-2Mix, VoxCeleb2-2Mix에서 최강 인과 기준선(AV-TFGridNet, AV-Mossformer2, SwiftNet 등)과 같거나 더 높은 분리 품질을 냈다고 보고했다.
• 인과 AV-TFGridNet 대비 파라미터 91.9% 감소, 연산량 20.2배 감소, GPU 추론 지연 11.1배 감소.
• 실제 녹음 세트 RealSSA-Real에서는 지각 품질(DNSMOS·NISQA), WER, 화자 유사도에서 경쟁력 있는 수준이었다고 보고했다.
• 화자 대조 손실은 추론 비용 없이 근거리 간섭 누출을 줄이고, 다른 AVTSE 백본에도 적용된다고 보고했다.

한계

RealSSA-Sim은 단일 채널 16kHz 시뮬레이션이다. 목표 화자는 LRS3, 간섭 화자는 LibriSpeech에서 가져와 실제 대화 분포와 다를 수 있다. RealSSA-Real은 모바일 기기 하나로 녹음했고 정답 음성이 없어 참조 없는 지표로만 평가한다. 실제 엣지 기기 지연은 이 본문 범위에서 GPU 지연으로만 보고되어 있다.

의미

보청기, 화상회의, 웨어러블처럼 연산 자원이 제한된 기기에서 실시간 목소리 분리를 구현하려는 팀에 참고가 된다. 2화자 고정 벤치마크로는 드러나지 않던 다화자·소음 환경 성능을 함께 점검할 수 있는 평가 기준도 제공한다.

핵심 용어

AVTSE(시청각 목표 화자 추출)

목표 화자의 입 모양 영상을 단서로 여러 사람이 섞인 소리에서 그 사람 목소리만 뽑아내는 작업이다.

인과(Causal) 모델

현재와 과거 프레임만 보고 출력을 내는 모델이다. 미래 입력을 기다리지 않으므로 스트리밍 처리에 쓸 수 있다.

근거리·원거리 간섭

마이크에서 약 3m 이내에 있는 간섭 화자는 근거리, 그보다 먼 화자는 원거리로 나눈다. 원거리에서는 직접음보다 잔향 에너지가 커진다.

대조 손실(Contrastive Loss)

모델 출력을 정답에는 가깝게, 간섭 화자에게서는 멀어지게 만드는 학습 목표다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Wendi Sang, Kai Li, Yifan Li, Jianqiang Huang, Xiaolin Hu · 게시 2026-10-23 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.