AI 术语表 · 基础 · MLOps 与 LLMOps

实验跟踪

实验跟踪是在每次训练 AI 模型时，自动记录使用了哪些数据、代码和设置以及结果如何，以便日后比较并完全复现的工作。

关于这个术语

通俗解释 它就像科学实验的实验记录本。只有记下放了什么材料、放了多少、在多少度下加热，才能再次做出好结果。不过与手写笔记不同，大部分记录由代码自动完成。

工作原理

在训练代码中加入几行记录代码后，每次训练运行（称为一次“运行”，run）时信息都会被自动保存。通常记录超参数（如学习率等设置值）、代码版本、数据版本、训练过程中损失函数值的变化、最终评估指标、生成的模型文件等。记录可以在网页界面上以表格或图表查看，便于并排比较多次运行。

一次运行应记录的内容

输入

结果

这是复现和比较所需的基本记录项。数据版本容易被遗漏。

模型开发是一点点调整设置、反复运行几十上百次的过程，没有记录的话，很快就会找不到“昨天效果很好的那组设置”。实验跟踪有助于复现好的结果，并找出改了什么之后性能提升的原因。团队成员之间也更容易共享结果，减少重复运行同一实验的浪费。最佳运行得到的模型会登记到模型注册表，进入部署阶段。

如果只记录代码和设置而漏掉数据版本，往往无法复现。记录留得太多，存储空间会迅速增长，因此最好事先确定要保留哪些内容。在 LLM 时代，不仅是训练，在更换提示词并比较 Evals 分数时也会采用同样的方式。

MLflow、Weights & Biases 等是代表性的实验跟踪工具。例如，研究人员一边调整微调设置一边多次训练时，每次运行的损失曲线和评估分数都会累积到仪表盘上。从中挑出最好的一次运行，比较哪些设置不同之后，再把该模型上传到注册表。