AI 术语表 · 入门 · 语言模型
预训练
预训练是 AI 模型先阅读互联网文本、书籍、代码等海量数据，掌握语言和世界基础知识的第一个训练阶段。之后会以完成这一阶段的模型为基础，针对各种用途进行打磨。
通俗解释 这类似于孩子在确定职业之前，通过阅读大量书籍学习语言和常识的时期。不过，模型与其说是“理解”内容，不如说是从统计上学习数据中出现的模式，因此和人的阅读并不完全相同。
工作原理
在 LLM 的预训练中，通常会极大量地重复一种练习：看句子的前半部分，猜出接下来的词元（文字片段）。答案本来就包含在原文中，因此不需要人逐条标注答案。模型每次猜错，都会对内部参数（承载模型所学内容的数字）做细微调整，在这一过程中同时学到语法、事实知识以及推理的痕迹等。图像和视频模型也以类似的方式，先从大量数据中学习基本模式。
为什么重要
模型的基本能力和知识大多在预训练中形成。一个预训练良好的模型可以很容易地用于翻译、摘要、编程等不同任务，因此被称为“基础模型”。所以数据的数量和质量、模型规模以及投入的计算量会在很大程度上决定性能，研究这种关系的就是缩放定律。
注意事项
预训练需要大量 GPU 等计算资源，因此往往只有大公司或研究机构才能从零开始完成。只完成预训练的模型更擅长续写文本，而不是友好地回答问题，所以要用于对话式服务，还需要后训练。训练数据中的错误或偏见也可能原样留在模型中。此外，模型无法知道训练数据收集时间点之后发生的事情。
示例
我们使用的对话式 AI 服务背后的 LLM，都是先用大量文本进行预训练，然后再针对对话进行打磨的模型。本站介绍过的“Kandinsky 6.0 Video”这类同时生成视频和音频的基础模型，从大框架上看也遵循先用大量数据学习基本能力、再根据目标用途进行调整的流程。
本站出现过的地方
- 论文 DuoMatching：面向少步视频生成的联合分布与边缘分布同时匹配 2026-10-08
- 论文 Kandinsky 6.0 Video：同步生成视频和音频的基础模型 2026-10-07