AI 术语表 · 基础 · 效率与基础设施
FLOPS
FLOPS 是计算机每秒能执行的浮点（带小数点的数）运算次数，是表示 AI 芯片计算速度的代表性单位。
工作原理
AI 模型的计算大多是乘法和加法，把它们逐一计数就是运算次数。芯片规格中用 FLOPS 表示每秒执行多少次，由于数字很大，会加上 TFLOPS（万亿级）或 PFLOPS（千万亿级）。数值会因精度不同而相差很大，所以规格表中 FP32·BF16·FP8 分别写着不同的数字。精度越低，同一块芯片能处理的运算越多。
区分 FLOPS 与 FLOPs
很多时候，末尾 S 大写表示“每秒运算次数（速度）”，小写 s 表示“运算次数之和（总量）”。论文里说“训练用了多少 FLOPs 的算力”，指的是总量。常用的粗略估算是“训练运算总量 ≈ 参数数量 × 训练 token 数 × 6 左右”。把这个总量除以芯片实际每秒的处理量，就能得到训练大致所需的时间。
FLOPS 与 FLOPs
FLOPS每秒运算次数
- 芯片的速度
- 标注在 GPU 规格表中
- 数值随精度而不同
FLOPs运算次数之和
- 任务所需的计算量
- 谈及训练算力时
- 用参数数量和 token 数估算
在哪里会看到
主要出现在 GPU·TPU 规格表的性能表、云实例说明，以及讨论缩放定律的论文和文章中。AI 监管讨论中也有以训练运算总量作为基准线的情况。在模型对比文章中谈到“一次推理所需的运算”时也会用到。
注意事项
规格表上的数字是理论最大值，实际训练中由于要等待内存搬运和通信，通常远达不到这个数。部分规格表会同时列出假设“稀疏性（sparsity）”的数值，因此需要确认数字是在什么条件下得出的。不能把不同精度的数字放在一起比较。LLM 推理的瓶颈往往是内存带宽而不是计算，因此仅凭 FLOPS 很难判断推理速度。
示例
挑选 GPU 的工程师会看规格表上的 BF16 TFLOPS 值来估算训练速度，但如果同一行标有“启用稀疏性”，就把它的一半左右当作实际基准。挑选推理服务器时，会先看 VRAM 容量和内存带宽，而不是 FLOPS。