AI Trend Research
KR

← 2026년 10월 16일 브리핑 · 12:00 업데이트로 추가

P2 오픈소스 가중치 공개 언어 모델데이터 엔지니어링데이터·평가12:00 갱신NVIDIAHugging Face

NVIDIA, 인도어 사전학습 데이터 2.8조 토큰 규모로 확대…데이터 생성 파이프라인 공개

발표 2026년 10월 16일

확인된 내용 (사실)

NVIDIA가 Hugging Face 블로그에 'Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline'이라는 글을 올렸다. 제목대로라면 인도 언어(Indic) 사전학습 데이터를 2.8조 토큰 규모로 늘렸고, 데이터를 만드는 파이프라인을 공개했다. 수집된 항목에는 본문 요약이 없어 언어 구성, 데이터 출처, 라이선스, 함께 공개한 모델이 있는지는 확인하지 못했다.

팩트체크 필요 (주장)

2.8조 토큰 규모 인도어 사전학습 데이터, 공개 데이터 생성 파이프라인(글 제목 기준)

의미 (해석)

영어 밖의 언어에서는 사전학습 데이터가 부족한 것이 가장 큰 걸림돌이다. 대규모 데이터와 함께 생성 파이프라인까지 공개되면 다른 저자원 언어(한국어 포함)에도 같은 방식을 가져다 쓸 수 있다. 정확한 공개 범위와 라이선스는 원문에서 확인해야 한다.

신뢰도 보통

출처

NVIDIA 관련 다른 소식