Qwen 논문 'SpecOPD': Draft 블록을 병렬로 On-policy Distillation해 투기적 디코딩 가속(커뮤니티 전언)
확인된 내용 (사실)
Qwen 팀의 논문으로 소개된 SpecOPD가 r/LocalLLaMA에 공유됐다. 투기적 디코딩의 Drafter를 On-policy Distillation으로 더 학습시키려면 보통 Draft와 검증을 차례로 거치는 Rollout이 필요하다. 논문은 이런 순차 의존 없이도 Draft 블록을 지도할 수 있다는 점을 이용해 학습을 병렬화한다.
팩트체크 필요 (주장)
Acceptance length가 정체된 Drafter도 성능을 더 끌어올릴 수 있다고 주장한다.
의미 (해석)
추론 가속용 Drafter 학습 비용을 줄이는 방법이다. 오픈 모델 서빙 효율에 바로 영향을 줄 수 있다.
신뢰도 보통 · 공식 출처 확인 전
출처
Alibaba 관련 다른 소식
-
중국 빅테크, NVIDIA 'RTX Pro 5500' 약 600만 개 주문했지만 4개월간 공급은 약 1%에 그칠 듯(Bloomberg 보도 전언)
AI타임스가 전한 Bloomberg 보도에 따르면 Alibaba, Tencent, ByteDance 등은 수출 규제를 피할 수 있는 워크스테이션 GPU 'RTX Pro 5500'을 약 600만 개, 700억 달러(약 94조 원)어치 주문했다....
-
Kimi K3.1 Pro 후속: Huawei Ascend·Alibaba Cloud SuperPoD가 출시 당일부터 지원…모델 규모는 2.8T 파라미터(보도)
Pandaily 보도에 따르면 Huawei는 vLLM Ascend와 SGLang으로 Moonshot AI의 2.8T 파라미터 모델 Kimi K3.1 Pro를 출시 당일부터 Atlas 800 A3, Atlas 900 A3 SuperPoD,...
-
Unsloth, Qwen3.8-Flash-Next용 Dynamic v3.1 GGUF 공개…"에이전트 벤치마크 정확도 10~15%↑"(커뮤니티 전언)
Unsloth가 r/LocalLLaMA에 Qwen3.8-Flash-Next용 Dynamic v3.1 GGUF 양자화 버전을 올렸다. BF16·Q8_0·Q5_1·IQ4_NL 사이를 오가는 새 전환 방식도 함께 제공한다. 에이전트 벤치마크는...
-
Tencent, 새 플래그십 오픈 웨이트 모델 'Hy4' 공개…처음으로 이미지 이해 지원, 에이전트 기능 강화(보도)
South China Morning Post 보도에 따르면 Tencent가 11월 4일(수) 새 대표 대규모 언어 모델 Hy4를 오픈 웨이트로 내놨다. 이 계열 모델로는 처음으로 시각 이해를 넣어 이미지 처리, 복잡한 차트 분석, 시각 정보가...
-
Lenovo Kaitian, 중국산 Zhaoxin CPU·Houmo NPU 넣은 1.6L AI 미니 PC 공개…Qwen3.6-35B-A3B를 로컬에서 초당 약 29토큰(보도)
Pandaily 보도에 따르면 Lenovo의 Kaitian 브랜드가 부피 1.6L짜리 AI 호스트를 공개했다. Zhaoxin KX-7000 CPU에 Houmo LQ50 NPU를 붙여 160 TOPS를 낸다. 이 구성으로...