Apriel Voice 27B Preview: 음성·추론·도구 사용을 한 모델로 처리하는 공개 모델

문제

음성 비서가 쓸모 있으려면 받아쓰기만으로는 부족하다. 요청을 이해하고, 맥락을 추론하고, 대화를 이어가고, 도구를 호출해 일을 끝내야 한다. 기존 ASR→LLM→TTS cascade나 별도의 대화 모델에 일을 넘기는 구조는 이 기능들을 여러 구성 요소로 나눠 맡긴다. 또 텍스트 성능이 좋다고 해서 음성으로 들어온 요청에서도 똑같이 잘 추론한다는 보장은 없다.

방법

고정된 Whisper large-v3-turbo 인코더 출력을 8프레임씩 묶고, 약 4,770만 파라미터의 프로젝터로 디코더 임베딩 공간에 매핑한다. 1단계에서는 백본을 고정하고 다국어 전사·번역·이어말하기로 프로젝터만 학습한다(1,817만 예제). 2단계에서는 프로젝터와 MoE 백본·라우터를 함께 업데이트한다. 데이터 출처별로 Cross-entropy, Forward KL Distillation, 또는 둘의 조합을 고르고, 텍스트 replay로 기존 능력을 보존한다. 원래 체크포인트를 고정한 사본이 Teacher가 되어 같은 내용의 텍스트를 입력받는다. 학습 데이터는 사내에서 합성한 텍스트 대화의 일부 구간을 TTS로 음성화해 만든다. Teacher를 로컬에서 서빙하고, Teacher·Student 연산을 겹쳐 실행하고, 전체 어휘 손실 커널을 융합해 학습 효율을 높였다.

결과

• Thinking 모드에서 Big Bench Audio 98.90, Speech-BFCL 81.13을 기록했다.
• τ-Voice 평균 작업 성공률은 65.51%이고, 평균 지연 시간은 1.91초다.
• EVA-Bench 영어 정확도는 51.27%, experience pass@1은 74.13%다.
• 2단계 학습은 8노드(Teacher GPU 16개, Student GPU 48개)에서 약 3일 동안 총 526억 토큰 규모로 진행됐다.

한계

제공된 본문에서는 헤드라인 수치를 다른 모델과 비교한 결과를 확인하지 못했다. 저자들은 다른 공개 모델 대비 강하다고 주장한다. 대화 학습 데이터는 내부에서 합성했으며, 저자들도 충실도 검사가 합성 과제나 정답 자체의 정확성까지 보장하지는 않는다고 밝혔다. 음성 출력은 외부 합성기에 맡기고, 시각 능력 유지는 실험으로 측정해야 하는 항목이다. 아직 Preview 단계다.

의미

음성 이해, 추론, 도구 호출을 백본 하나로 처리하는 공개 모델이어서, 콜센터나 사내 헬프데스크 같은 음성 에이전트를 별도 ASR이나 대화 모델 없이 구성하는 선택지가 된다. 기존 LLM에 새 모달리티를 붙이면서 원래 능력을 지키는 학습 레시피로도 참고할 만하다.

핵심 용어

Speech projector

음성 인코더가 만든 음향 특징을 언어 모델의 입력 임베딩 공간으로 옮기는 작은 신경망이다.

Forward KL Distillation

Student 모델의 다음 토큰 분포가 Teacher 모델의 분포를 따라가도록 KL 발산으로 학습시키는 방식이다. 여기서는 기존 능력을 보존하는 데 쓰인다.

Text replay

새 모달리티로 적응하는 동안 원래의 텍스트 데이터를 섞어 학습해 기존 능력이 잊히는 것을 막는 방법이다.

MoE(Mixture of Experts)

토큰마다 일부 Expert만 활성화하는 구조다. 이 모델은 전체 파라미터 약 260억 개 중 토큰당 약 40억 개만 사용한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Aman Tiwari, Akshay Kalkunte, Akintunde Oladipo, Jash Shah, Tara Bogavelli, Hoang Nguyen, Nishanth Madhusudhan, Vishal Juneja, 외 · 게시 2026-10-29 · 라이선스 CC BY-NC-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.