← 2026年10月16日 简报 · 于韩国时间 12:00 更新时加入

NVIDIA将印度语言预训练数据扩展至2.8万亿token,并公开数据生成流水线

发布 2026年10月16日

已核实(事实)

NVIDIA在Hugging Face博客上发表了题为《Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline》的文章。从标题来看,NVIDIA已将印度语言(Indic)预训练数据扩展至2.8万亿token,并公开了数据生成流水线。收集到的条目中没有正文摘要,因此尚未确认语言构成、数据来源、许可证,以及是否同时发布了模型。

待核实(说法)

2.8万亿token规模的印度语言预训练数据,以及公开的数据生成流水线(依据文章标题)

意义(解读)

在英语以外的语言中,预训练数据不足是最大的障碍。如果在发布大规模数据的同时还公开生成流水线,其他低资源语言(包括韩语)也可以沿用同样的方法。确切的公开范围和许可证需查阅原文确认。

可信度 中

来源

更多关于 NVIDIA