Confucius4-R2T2: 이미 낸 출력을 고치지 않는 스트리밍 음성 인식 모델

문제

스트리밍 음성 인식 결과는 점점 사람보다 번역기나 음성 에이전트 같은 기계가 바로 받아 쓴다. 이미 낸 토큰이 나중에 수정되면, 그 토큰을 바탕으로 한 작업이 낭비되거나 에이전트가 잘못 행동할 수 있다. 기존 방법은 추론 시점의 확정 규칙이나 간접 학습으로 수정 빈도를 줄일 뿐, 수정이 전혀 없다는 보장은 주지 못했다. 또 오디오를 앞부분부터 점점 넣으면 새로 붙는 끝부분이 앞쪽 토큰을 흔드는 현상(residual interference)도 있다.

방법

인코더를 고정한 full-context 모델에 오디오를 점진적으로 넣는다. 각 시점까지 나온 출력 가운데 전체가 최종 full-context 출력의 접두사인 가장 긴 출력을 LSP 라벨로 쓴다. 저자들은 이 라벨이 시간에 따라 줄어들지 않고(단조), 마지막에는 전체 출력과 같으며, 모델이 실제로 냈던 출력 중 가장 길다는 성질을 증명했다. 오디오가 아직 부족하면 decoder가 Wait 토큰을 내도록 학습해, 언제 낼지와 무엇을 낼지를 분리한다. AuT 오디오 인코더와 projector는 고정하고, 중국어·영어 오디오 1,500시간으로 2단계 후학습했다. 노이즈·잔향 증강과 언어 태그 뒤집기도 적용했다. 추가 레이어나 attention mask는 쓰지 않으며, 청크 크기는 80ms부터 2초까지 조절할 수 있다.

결과

• 저자들은 R2T2가 출력 안정성(이미 낸 출력은 절대 수정하지 않음)을 보장하면서도, 스트리밍 인식 정확도를 기반 모델의 full-context 품질에 가깝게 끌어올렸다고 보고했다.
• 낮은 출력 지연으로 안정적인 텍스트를 내며, 상용 모델과 비교해도 정확도와 지연 시간에서 최고 수준이라고 주장했다.
• 후학습에 쓰지 않은 언어에서도 개선 효과가 나타났다고 보고했다.
• LSP와 기존 두 정의(all-future, final-anchored)를 비교하는 이론적 성질(단조성, 최종 출력과의 일관성, 최대성)을 증명했다.

한계

제공된 본문이 학습 데이터 절 이후로 잘려 있어 WER, 지연 시간 같은 구체적 수치와 기준선 비교는 확인하지 못했다. LSP 라벨은 토큰 하나만 어긋나도 그 시점의 credit을 0으로 만들어, 출력을 늦게 내는 쪽으로 치우친다(저자들도 인정). 양방향 인코더를 쓰므로 쿼리마다 늘어나는 오디오에 인코더를 다시 돌려야 해 계산 비용이 든다. 후학습 데이터는 비공개 중국어·영어 데이터다.

의미

실시간 번역, 음성 에이전트, 라이브 자막처럼 인식 결과를 바로 실행에 옮기는 시스템에서는 출력이 뒤집히지 않는 것이 정확도만큼 중요하다. 이 연구는 기존 full-context ASR을 구조 변경 없이 안정적인 스트리밍 모델로 바꾸는 실용적인 경로를 보여 준다. 모델 가중치와 코드도 공개했다.

핵심 용어

스트리밍 ASR

오디오가 들어오는 도중에 텍스트를 계속 내놓는 음성 인식이다. 정확도, 지연 시간, 출력 안정성 사이의 균형이 핵심이다.

Stable prefix(안정 접두사)

이전 시점의 출력이 항상 이후 출력의 앞부분과 일치해, 한번 낸 텍스트가 바뀌지 않는 성질이다.

LSP(Longest Stable Prefix)

그 시점까지 모델이 낸 출력 가운데 전체가 최종 출력의 접두사인 가장 긴 것이다. 이 논문에서는 스트리밍 학습 라벨로 쓴다.

Wait 토큰

아직 다음 토큰을 확정할 만큼 오디오가 충분하지 않을 때 모델이 내는 대기 신호다. 일반 텍스트 토큰과 같은 어휘 안에 있다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Daniel Huang, Qi He, Shaoxiong Duan, Yingjie Li, Qiao Cheng, Yitao Duan · 게시 2026-11-04 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.