음성 AI와 실시간 보이스 에이전트: 듣는 동안 생각하는 법

왜 필요했나: 사람 대화의 리듬을 못 따라가는 구조

사람끼리 대화할 때는 상대의 말이 끝나기 전부터 대답을 준비한다. 중간에 "네", "음" 같은 맞장구(백채널)를 넣기도 하고, 필요하면 말을 끊기도 한다. 보이스 에이전트(음성으로 대화하면서 예약·조회 같은 일을 처리하는 AI 에이전트)가 어색하게 느껴지는 이유는 대부분 이 리듬을 따라가지 못해서다.

가장 널리 쓰이는 구조는 캐스케이드(cascade, 단계 연결)다. 음성 인식(ASR)으로 말을 받아쓰고, LLM이 답을 쓰고, TTS(음성 합성)가 그 답을 읽어 준다. 부품을 하나씩 따로 고를 수 있어 만들기 쉽다. 하지만 단계마다 기다림이 쌓인다. 끝점 예측 연구논문는 캐스케이드 구조가 '말이 끝났는지'를 끝난 뒤에야 감지하기 때문에 병목이 생긴다고 지적한다. 사용자가 말을 멈춘 뒤에야 LLM이 일을 시작하니, 그 사이에 침묵이 생긴다.

텍스트로 바꾸는 순간 사라지는 정보도 문제다. WavReward논문는 음성 대화에 텍스트 기반 언어 모델로는 측정하기 어려운 비텍스트 정보가 많이 담긴다고 짚는다. 말투, 감정, 두 사람의 말이 겹치는 순간, 끼어들기 같은 것은 받아쓰기 한 줄에 다 담기지 않는다.

핵심 아이디어: 무전기에서 전화로

무전기를 떠올려 보자. 한쪽이 "오버"라고 말해야 상대가 말할 차례가 된다. 이렇게 한 번에 한쪽만 말하는 방식을 하프 듀플렉스(half-duplex)라고 한다. 전화는 다르다. 두 사람이 동시에 말하고 들을 수 있고, 상대가 말하는 도중에도 "아, 네" 하고 반응할 수 있다. 이것이 풀 듀플렉스(full-duplex)다. 일본어 풀 듀플렉스 연구논문는 풀 듀플렉스 대화 시스템을 말 겹침과 맞장구처럼 사람 대화의 동시·양방향 특성을 모델링하는 시스템이라고 설명한다.

이 아이디어를 구현하는 방법은 크게 두 가지다. 하나는 캐스케이드를 유지하면서 각 단계를 '미리' 움직이게 하는 방법이다. 다른 하나는 음성을 토큰(모델이 다루는 작은 단위)으로 바꿔, LLM이 다음 단어를 예측하듯 다음 소리를 바로 예측하는 엔드투엔드 음성 언어 모델(speech language model)을 쓰는 방법이다. NTPP논문는 두 화자의 목소리를 서로 다른 채널에 따로 녹음한 듀얼 채널 데이터에 주목한다. 이 데이터에는 대화의 구조와 흐름이 그대로 담겨 있다는 것이다.

두 방식이 맞바꾼 것은 분명하다. 캐스케이드에서는 받아쓴 텍스트가 중간에 남기 때문에 검사·기록·도구 연결이 쉽다. 대신 기다림이 생기고 비언어 정보가 사라진다. 엔드투엔드 풀 듀플렉스는 자연스러운 리듬을 얻는 대신, 속을 들여다보기 어렵고 복잡한 추론과 도구 사용에는 약할 수 있다.

어떻게 작동하나: 동시에 듣고 말하기, 그리고 미리 움직이기

엔드투엔드 풀 듀플렉스 모델은 대략 다음 순서로 돈다. 첫째, 들어오는 음성을 짧은 조각 단위의 음성 토큰으로 바꾼다. 둘째, 모델은 매 순간 '사용자 채널'과 '자기 채널'을 함께 본다. NTPP논문는 두 채널의 토큰을 한 쌍으로 묶어 다음 쌍을 예측하는 방식(Next-Token-Pair Prediction)을 제안했다. 그 결과 디코더 하나짜리 구조로도 화자에 얽매이지 않는 듀얼 채널 대화를 학습할 수 있었고, 기존 방법보다 추론 지연이 크게 낮았다고 보고했다. 셋째, 모델은 이번 순간에 말할지, 기다릴지, 맞장구만 칠지를 스스로 정한다. 사용자 대화로 정렬하는 연구논문가 지적하듯, 실시간 음성에는 끼어들기와 간투사("음", "어")가 많고 화자 턴 사이에 명시적인 경계도 없다. 그래서 이 판단 자체를 학습해야 한다.

캐스케이드를 빠르게 만드는 쪽에서 핵심은 '끝나기 전에 시작하기'다. 끝점 예측(Endpoint Anticipation, 논문)은 말이 끝났는지를 사후에 감지하는 대신, 음성을 보고 턴이 끝날 시점을 미리 예측한다. 이 모델은 최대 2.56초 앞서 끝점을 예측했다. 그 덕분에 아직 덜 들은 맥락으로도 LLM과 TTS를 추측 실행(speculative execution, 틀릴 수 있다는 걸 알면서 미리 계산해 두는 것)할 수 있다. Unmute 프레임워크에 붙였을 때 평균 지연이 505ms 줄었고, 추측 계산은 28.4% 늘었다.

이 수치는 이 분야의 기본적인 맞바꿈을 보여 준다. 지연을 줄이는 대가로, 예측이 빗나가면 버려지는 계산을 감수해야 한다. 그래서 이 연구는 실제로 줄어든 지연과 중복 계산 사이의 균형을 재는 지표를 따로 제안했다.

발전 흐름: 대화 구조를 배우고, 다듬고, 평가하기

대화 구조를 배우는 쪽에서는 NTPP논문가 듀얼 채널 음성 데이터를 최신 LLM 방식에 체계적으로 적용했다. 이 방법은 턴 전환 예측, 응답의 일관성, 자연스러움을 함께 개선했다. 일본어 풀 듀플렉스 연구논문는 영어 풀 듀플렉스 모델 Moshi를 바탕으로 일본어 모델을 공개했다. 대규모 일본어 음성 대화로 사전 학습을 한 뒤, 고품질 스테레오 대화 데이터로 파인튜닝하는 2단계 방식이었다. 여러 화자를 동시에 합성하는 TTS로 만든 합성 데이터도 학습에 더했다. 데이터가 적은 언어에서도 합성 데이터로 공백을 메울 수 있다는 점을 보여 준 셈이다.

모델을 다듬는 쪽에서는 사용자 대화로 정렬하는 연구논문가 텍스트 중심이던 선호 학습을 실시간 음성으로 옮겼다. 실제 다중 턴 음성 대화에서 15만 개가 넘는 선호 쌍을 AI 피드백으로 만들었는데, 말의 내용뿐 아니라 끼어드는 타이밍 같은 시간적 맥락에 대한 선호까지 담았다. 이 데이터로 풀 듀플렉스 음성-음성 모델을 오프라인 방식으로 정렬하자, 응답이 더 사실적이고 안전하며 맥락에 맞게 바뀌었다. TiCo논문는 "15초 정도로 답해 줘" 같은 시간 지시를 따르는 능력을 다뤘다. 생성 중간에 '지금까지 몇 초 말했는지'를 알려 주는 표식(Spoken Time Markers)을 넣고, RLVR(검증 가능한 보상 강화학습)으로 사후 학습했다. 그 결과 길이 오차가 바탕 모델보다 2.7배, 가장 강한 비교 모델보다 1.6배 줄었다.

평가하는 쪽에서는 WavReward논문가 음성 입력을 직접 듣고 대화 모델의 지적 능력(IQ)과 감정 대응(EQ)을 함께 채점하는 보상 모델을 만들었다. 선호 데이터셋 ChatReward-30K로 학습했으며, 객관 정확도가 Qwen2.5-Omni의 53.4%에서 91.5%로 올랐다. 이처럼 2025~2026년 연구는 '자연스럽게 말하는 모델'을 만드는 단계에서, 그 모델을 무엇으로 다듬고 무엇으로 잴지를 정하는 단계로 넓어졌다.

요즘 어디로 가고 있나: 들으면서 일하는 에이전트

최근 연구의 초점은 잘 말하는 모델에서 말을 들으면서 일까지 처리하는 에이전트로 옮겨 가고 있다. 조기 도구 호출 연구논문는 핵심 질문을 '어떤 도구를 부를까'에서 '언제 충분히 들었나'로 바꿨다. 요청에 필요한 도구와 인자가 처음 드러나는 시점(가장 이른 실행 가능 지점)에 표시를 단 합성 음성 대화 26,694개(786시간, 48개 도메인)를 만들고, 이 데이터로 멀티모달 모델을 학습했다. 도구 상태 macro-F1은 0.48·0.47에 그쳤다. 하지만 맞게 부른 호출만 놓고 보면, 턴이 끝날 때까지 기다리는 캐스케이드보다 평균 1.8~2.0초(도메인 안), 1.1초(외부 벤치마크) 먼저 움직였다.

Heartbeat Thinking논문은 기존 추측 방식의 약점을 짚었다. 새 음성이 들어올 때마다 생성을 끊으면, 인자가 다 채워지기 전에 도구 호출이 잘려 나간다는 것이다. 이 연구는 새 입력이 들어오면 새 추론을 띄우되, 이미 돌고 있는 추론과 실행 중인 도구는 끝까지 마치게 했다. 주기적으로 실행되는 추론은 최신 부분 전사와 함께, 지금까지 끝난 추론·도구 결과를 모아 둔 공유 기록을 읽는다. 그래서 준비 작업이 음성 업데이트를 넘어 계속 이어진다. FDBench v3에서는 도구 커버리지가 16%p 늘고 최종 응답 지연이 36.4% 줄었다. 다만 최종 과제 품질에 미친 효과는 벤치마크마다 달랐다.

DuplexAgent-RSI논문는 업계가 모여 가는 협업 패턴을 정리했다. 풀 듀플렉스 모델은 대화 창구로서 실시간 채널에 머물고, 검색·추론·코딩은 다른 에이전트에 비동기로 맡긴다. 둘을 잇는 하네스(모델을 감싸 작업 흐름을 조율하는 장치)가 작업 수락, 진행 보고, 취소, 교체, 결과 전달을 맡는다. 이 연구는 하네스를 고칠 수 있는 6개 모듈로 나눴다. 그리고 시뮬레이터가 만든 실패 기록을 근거로 LLM이 모듈을 고치는 닫힌 고리를 만들었다.

한계와 쟁점: 고를 때 따질 점

첫째, 미리 움직이는 데는 비용이 따른다. 끝점 예측논문은 지연을 505ms 줄이는 대신 추측 계산이 28.4% 늘었다. Heartbeat Thinking논문도 지연은 줄였지만 최종 품질 효과는 벤치마크마다 달랐다. 조회처럼 결과를 버려도 되는 작업은 미리 해 둘 만하다. 반면 결제·예약 취소처럼 되돌리기 어려운 작업은 요청이 확정되기 전에 실행하지 않도록 따로 막아 두는 것이 상식적인 설계다. 조기 도구 호출논문의 macro-F1이 0.5 안팎이라는 점도 '들으면서 행동하기'가 아직 초기 단계임을 보여 준다.

둘째, 평가가 어렵다. TiCo논문가 만든 TiCo-Bench에서는 기존 오픈소스·상용 모델이 명시적인 시간 제약을 자주 지키지 못했다. WavReward논문가 나온 이유도 텍스트 채점기로는 음성의 비언어 정보를 잴 수 없기 때문이다. 평균 지연 하나만 보고 '빠르다'고 판단하는 것은 흔한 실수다. 끼어들기에 제대로 양보하는지, 맞장구에 괜히 말을 멈추지는 않는지도 따로 시험해야 한다.

셋째, 합성 데이터에 기대는 부분이 크다. 일본어 모델논문과 조기 도구 호출논문 모두 합성 음성 대화를 썼다. 합성 대화는 소음, 사투리, 여러 사람이 동시에 말하는 상황처럼 실제 통화의 거친 조건과 다를 수 있다. 실제 운영 환경에서 다시 확인해야 한다.

실무에서 고를 때의 기준은 이렇다. 도구 호출이 많고 기록·감사가 중요하다면 텍스트가 중간에 남는 캐스케이드에 끝점 예측과 추측 실행을 더하는 것이 출발점으로 무난하다. 자연스러운 대화 리듬이 제품의 핵심이라면 풀 듀플렉스 모델을 쓴다. 둘 다 필요하다면 DuplexAgent-RSI논문처럼 대화 담당과 작업 담당을 나누고, 그 사이를 하네스로 조율하는 구성을 검토한다.

더 공부하려면

처음 읽는다면 끝점 예측논문부터 보는 것이 좋다. 캐스케이드 구조의 병목이 어디서 생기는지, 추측 실행으로 지연과 계산을 어떻게 맞바꾸는지가 가장 구체적으로 나온다. 이어서 NTPP논문와 일본어 풀 듀플렉스 연구논문를 읽으면 엔드투엔드 풀 듀플렉스 모델이 듀얼 채널 데이터로 어떻게 대화 리듬을 배우는지 감을 잡을 수 있다.

모델을 다듬고 평가하는 방법이 궁금하다면 사용자 대화로 정렬하는 연구논문, WavReward논문, TiCo논문 순서로 읽기를 권한다. 각각 선호 학습, 음성 전용 보상 모델, 시간 제어를 다룬다.

에이전트 쪽으로 넘어가려면 조기 도구 호출논문과 Heartbeat Thinking논문을 함께 읽고 '언제 움직일지'와 '움직이던 일을 어떻게 이어 갈지'를 비교해 보자. 마지막으로 DuplexAgent-RSI논문를 읽으면 이런 부품들이 실제 시스템에서 어떤 구성으로 엮이는지 볼 수 있다.