← 주요 논문

논문 리뷰 · 2026년 11월 18일

Sage S2.1 Flash 기술 보고서: 과학 데이터 인식과 에이전트 능력을 갖춘 320B MoE 모델

Sage S2.1 Flash Technical Report

언어 모델에이전트과학·바이오 중급 추천 85 cs.AI Intern Large Models

분자·서열·스펙트럼 전용 인코더와 대규모 검증 가능 환경 학습을 결합해, 문서 기반 업무와 ML 실험 벤치마크에서 1위를 차지한 320B MoE 모델을 만들었다.

문제

과학 연구를 돕는 에이전트는 텍스트·이미지뿐 아니라 분자 구조, 단백질·DNA 서열, 스펙트럼 같은 과학 데이터를 함께 이해해야 한다. 또 도구 사용, 검색, 코딩, 과학 소프트웨어 조작처럼 여러 단계에 걸친 작업을 직접 수행해야 한다.

방법

320B 파라미터 MoE 백본(Sparse·Linear Attention 혼합)에 Sage Sci-Perception을 붙였다. 분자 그래프(MoleculeSTM), 단백질·DNA·RNA 서열(ESM-2, DNABERT-2, RNA-FM)은 전용 인코더로 처리하고, 스펙트럼은 측정값 구간을 순서대로 자른 패치로 표현한다. 모달리티별 Projector가 이 표현을 위치 정보와 함께 백본의 임베딩 공간으로 옮긴다. 사후학습에서는 실행 결과·환경 상태 변화·제출 산출물로 성공 여부를 확인할 수 있는 환경을 대규모로 만들었다. 대표 예가 ToolSpace로, 실제 실행 Trajectory에서 도구 조합 그래프를 만들고 상태를 고려한 랜덤 워크로 여러 환경에 걸친 장기 과제와 검증 스크립트를 역으로 합성한다. 검색 과제는 지식 그래프 기반 정방향 합성과 시드 질의 기반 역방향 합성으로 만들고, 코딩 과제는 SWE·터미널·웹 개발 과제를 모아 실행 환경을 자동 구성했다.

결과

한계

제공된 본문이 중간에 잘려 있어 비교 기준 모델 이름, 벤치마크별 전체 점수, 과학 인코더(Sci-Perception)의 단독 성능은 확인하지 못했다. 공개된 순위는 5개 기준 모델과의 비교에 한정된다. 초록에는 모델명이 'S1.5 Flash'로, 제목·본문에는 'S2.1 Flash'로 적혀 있어 표기가 일관되지 않다.

의미

과학 데이터 전용 인코더를 범용 LLM 백본에 붙이는 설계와, 결과를 자동으로 검증할 수 있는 학습 환경을 대규모로 만드는 방법을 함께 보여준다. 문서·스프레드시트 업무나 ML 실험 자동화 에이전트를 만드는 팀이 참고할 만한 데이터 합성 파이프라인이다.

핵심 용어

MoE(Mixture of Experts)
여러 전문가 서브네트워크 중 일부만 토큰마다 골라 계산하는 구조다. 전체 파라미터는 크지만 토큰당 계산량은 줄일 수 있다.
Modality-specific Projector
분자·서열·스펙트럼 같은 비텍스트 입력의 표현을 언어 모델 임베딩과 같은 차원으로 바꿔주는 작은 신경망이다.
검증 가능 환경(Verifiable Environment)
에이전트가 과제를 끝냈는지를 실행 결과나 환경 상태로 프로그램이 자동 판정할 수 있는 학습 환경이다.
ToolSpace
실제 도구 실행 기록에서 도구 간 데이터·상태 의존 관계를 그래프로 만들고, 이를 따라 여러 환경에 걸친 장기 과제를 합성하는 프레임워크다.

원문

저자: Kun Cai, Haodong Chen, Guangran Cheng, Qingxiu Cheng, Xu Dai, Guanting Dong, Qiming Ge, Lixin Gu, 외 · 게시 2026-11-16 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.