IQuest-Q1: 에이전트형 CLI 시스템을 위한 오픈 MoE 기반 모델

문제

명령줄 인터페이스(CLI)는 언어 모델이 도구·파일·코드 실행에 접근하는 가장 범용적인 통로다. 그래서 더 강한 에이전트를 만들려면 CLI 능력이 필요하다. 동시에 대형 모델을 안정적이고 효율적으로 확장하는 학습 설계도 과제다.

방법

256개 전문가 중 8개를 활성화하는 MoE 모델이다(88층, GQA와 SWA를 3:1로 섞은 하이브리드 어텐션, Query-Aware Sink). 어텐션 입력만 정규화하는 Stable SplitNorm, Muon 옵티마이저, μP를 함께 써서 작은 프록시 모델에서 찾은 학습률을 그대로 옮긴다. 사전학습 2단계에서 코드 비중을 40%에서 70%로 늘렸고, 미드트레이닝에서 컨텍스트를 32K→128K→512K로 확장했다(총 29T 토큰). 컨테이너화한 100만 개 이상의 저장소 인스턴스에서 에이전트 Trajectory를 만들었다. 사후학습은 SFT, 도메인 특화 강화학습, 다중 Teacher On-policy Distillation(MOPD)을 여러 스캐폴드에 걸쳐 결합했다. 마지막에 모델 병합을 하고, MTP 층 하나를 재귀형 드래프터로 바꿔 Speculative Decoding에 쓴다.

결과

• 같은 데이터로 학습한 Qwen3-30B-A3B 구성의 MoE 기준선 대비 스케일링 효율이 1.93배다. 같은 학습 손실에 도달하는 데 연산량이 약 52%만 필요했다고 보고했다.
• 저자들이 제안한 임계 모델 크기(CMS)를 외삽하면 활성 파라미터 약 572B, 총 파라미터 약 12T까지 안정성 여유가 있다고 추정했다.
• 저자들은 DeepSWE v1.1, CyberGym, NL2Repo, JobBench, Humanity's Last Exam 등 8개 에이전트·추론 벤치마크에서 성능을 보였다고 밝혔다(제공된 본문 범위에는 구체적 수치가 없다).

한계

제공된 본문에는 벤치마크별 점수가 그림으로만 언급되어 다른 모델과의 정량 비교를 확인할 수 없다. 핵심 지표 중 IQuest-CLIBench는 비공개 내부 벤치마크다. CMS 수치는 측정 범위 밖으로 추세를 외삽한 추정치다. 스케일링 효율 비교도 30B급 기준선 한 가지와의 비교다.

의미

코딩·CLI 에이전트에 특화된 대형 오픈 웨이트 MoE 모델이 하나 더 생겼다. 학습률 전이, 안정성 여유를 재는 지표(CMS), 에이전트 Trajectory를 대량으로 만드는 방법 같은 학습 노하우가 비교적 자세히 공개되었다.

핵심 용어

MoE(Mixture of Experts)

여러 전문가 FFN 중 토큰마다 일부만 골라 계산하는 구조다. 총 파라미터는 크지만 토큰당 연산량은 활성 파라미터 수준으로 유지된다.

μP(Maximal Update Parametrization)

모델 폭이 바뀌어도 최적 하이퍼파라미터가 유지되도록 초기화와 학습률 스케일을 정하는 방식이다. 작은 모델에서 튜닝한 값을 큰 모델에 옮길 수 있다.

MOPD

Multi-teacher On-policy Distillation. 서로 다른 능력을 가진 여러 고정 Teacher 모델의 지식을 Student 자신의 Rollout 위에서 하나의 모델로 합치는 방식이다.

Speculative Decoding

작은 드래프터가 여러 토큰을 먼저 제안하고 본 모델이 한 번에 검증해 추론 속도를 높이는 기법이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, Chuan Shi, Feng Chang, Hongxin Li, 외 · 게시 2026-10-22 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.