制造业 AI：视觉缺陷检测、预测性维护、数字孪生

为什么需要：缺陷罕见，人眼会疲劳

长期以来，制造产线的质量检测一直依赖人眼。PaDiM（paper）论文在引言中指出了这个问题：在生产线上，缺陷是极少出现的事件，靠人逐一找出很麻烦。实现自动化后，即使注意力下降也能保持稳定的检测质量，还能减轻作业人员的负担。

但也很难像一般图像分类那样，收集大量“正常”和“缺陷”图片进行监督学习（用带正确标签的数据来学习的方式）。该论文给出了两个原因：缺陷样本总是不足，而且缺陷可能以意想不到的形态出现。正常数据大量存在而缺陷数据极少，也就是类别极度不平衡的情况。

PatchCore（paper）论文把这称为“冷启动（cold-start）”问题。正常产品的图片容易获得，但要事先定义所有可能出现的缺陷，成本高且复杂。缺陷也多种多样，从细小划痕这样的微小缺陷到零件缺失这样的大型结构缺陷都有。因此，“只看正常样本学习，再找出与正常不同之处”的方法成了工业异常检测的出发点。

核心思路：深入了解正常，就能看出异常

打个比方，这就像一位熟练的检测员。这位检测员不会背诵缺陷案例集，而是因为看过成千上万件正常产品，即使遇到从未见过的缺陷也能察觉“哪里不一样”。这种设置称为 One-class 学习：训练数据中只有正常类，测试时把与正常不同的样本判为异常。

这里的异常检测分为两项工作：一是为整张图像打出异常分数的“检测”，二是为每个像素或小块（图块）打分、生成异常图（热力图）的“定位”。PaDiM（paper）论文解释说，定位能给出更精细、更易解释的结果。因为对现场作业人员来说，“哪里”出了问题与“有缺陷”的判定同样重要。

两篇起点论文共同依赖的是预训练 CNN（卷积神经网络）。它们只是从已经用大规模通用图像训练过的模型中提取特征，并不重新对神经网络进行繁重的训练。“什么是正常”不是用模型权重来表示，而是用收集正常特征得到的统计量或列表来表示。

工作原理：PaDiM 与 PatchCore

PaDiM（paper）的流程如下。1）把正常图像输入预训练 CNN。2）从多个层中取出与图像各图块位置对应的激活值并拼接，形成图块嵌入（数值向量）。浅层包含细致的纹理，深层包含更抽象的语义，因此混合使用多层。3）计算同一位置上正常图块的均值和协方差，为每个位置建立多元高斯分布。4）检测时，用马氏距离（连分布的离散形状也考虑在内的距离）衡量新图块与该位置正常分布的偏离程度，作为异常分数。论文把测试阶段的时间和空间复杂度较低、且与训练数据规模无关这一点作为工业应用的优势。

PatchCore（paper）选择了另一条路。1）使用 CNN 中间层的图块特征，并与周围邻域聚合以保留空间上下文。使用中间层是为了减轻为通用图像分类训练的深层特征与工厂图像不匹配的偏差。2）把所有正常图块特征收集到记忆库（正常特征存储库）中。3）由于相似特征大量重复，用贪心核心集子采样（只挑选能很好代表整体的一部分保留）来缩减记忆库，从而降低存储空间和推理时间。4）检测时，以每个图块与记忆库中最近正常图块之间的距离作为异常分数。它利用了只要有一个图块异常、整张图像即可视为异常这一点。

PatchCore 论文报告称，在广泛使用的 MVTec AD 基准上，图像级检测 AUROC（判别性能指标，越接近 1 越好）最高达到 99.6%，并表示错误比此前最好的方法减少了一半以上。两种方法都不需要用目标数据重新训练神经网络，这一点在现场很有吸引力。

发展脉络：从重建到特征比较

PaDiM（paper）论文把已有方法归为两类。第一类是重建方法：只用正常图像训练自编码器或 GAN，把难以复原的部分视为异常。这种方法直观、易于解释，但论文指出，自编码器有时连异常图像也能很好地复原，因此性能有限。

第二类是嵌入相似度方法：把预训练模型的特征与正常基准进行比较。其中用 KNN（k 近邻）与所有正常图块比较的方法定位性能较好，但测试时需要搜索全部训练数据，计算量随数据增加线性增长。PaDiM 用按位置的高斯分布来概括正常，从而避开了这一可扩展性问题。它还扩展了实验方式，使其更接近实际检测环境，在产品位置未对齐的数据上也进行评估。

PatchCore（paper）属于同一特征比较路线。它指出的局限是：用通用图像训练的深层特征与工厂图像不太匹配，以及测试时可用的正常信息较少。作为解决方案，它提出了中间层图块特征、邻域聚合以及用核心集压缩的记忆库。它报告称只用一部分正常数据也能达到与已有方法相近的性能，显示出在样本较少情况下的潜力。

最近的方向：少样本、合成缺陷、可解释的检测

第一个方向针对新产品只有几张正常图片的情况。Anchor and Adapt（paper）是一种 VLM 类的提示学习方法。它先用其他产品的标注数据学习并固定“正常”和“异常”的基准点（锚点），然后只用目标产品的几张正常样本对正常一侧进行额外适配。这是为了减轻每种产品都要人工另写缺陷描述文本的负担。在 MVTec-AD 与 VisA 之间互相迁移的 1、2、4 张设置下，它报告了有竞争力的检测和定位性能。

第二个方向是合成缺陷。FLASH（paper）在只有正常图像的情况下，借助 VLM 的引导和图像生成模型生成少量缺陷图像。然后从中剪下缺陷片段保存起来，反复合成到新的正常图像上（“生成一次，合成多次”）。合成数据的用途是校准判定阈值（calibration）。在 MVTec AD 2 上，它报告的结果为 78.1%，接近用真实缺陷校准时的上限（图像级 F1 83.6%）。

第三个方向是描述并推理缺陷的检测。Anomaly-LR（paper）判断，工业异常检测正在超越检测和定位，走向描述并推理缺陷的多模态检测。它提出在图像的视觉表示空间内逐步细化缺陷依据的方法。为此，它从 4,523 张工业图像构建了包含 22,228 个图像-问题对的训练数据 IAD-LR-22K。

基于传感器时间序列的预测性维护与数字孪生

预测性维护（PdM）是利用传感器、机器和生产系统的数据估计设备何时会发生故障，并在故障发生前安排维护。混合架构基准研究（paper）对 6 种深度学习架构进行了 700 多次实验。Transformer 能较好地跟踪稳定、变化缓慢的过程，但在混乱的数据中，容易把传感器噪声误认为有意义的信号。相比之下，该研究报告称，将 LSTM（RNN 的一种）层与 Transformer 层结合的混合架构对工厂噪声更具鲁棒性。其解释是 LSTM 起到了噪声滤波器的作用。

预测时长也很重要。TQRNN30d（paper）以 9 个制造设施的 72 台机器为对象。它按机器将训练、验证和测试划分为 43/14/15 台，在未用于训练的机器上进行评估。在提前 30 天的预测中，报告的 F1 为 79.97%。

迁移到其他机器和工况也是一大问题。FreqCondNorm（paper）尝试用一个 Transformer 基础模型统一处理采样频率从 1Hz 到约 100kHz 不等的信号。在故障诊断中，它在 CWRU 数据上报告了 99.2% 的准确率，在未训练过的 MFPT 数据上报告了 82.1% 的准确率。但作者自己也指出，剩余使用寿命（RUL）预测并未得到改善。

数字孪生是用数据映射真实设备结构和状态的虚拟副本。数字孪生研究（paper）在 C-MAPSS 数据的 RUL 预测上比较了 5 种时间序列基础模型。同时考察多个传感器的多变量架构明显优于单变量架构，且在运行工况变化时差距尤其大。该研究进而提出一种融合方法，利用数字孪生中存储的设备结构（哪些部件连接在何处）来限制注意力的关注范围。研究报告称，预训练权重、目标任务适配和数字孪生信息三者之间相互补充。

现场应用中的数据、运维问题与局限

最常见的警告是“在实验室可行，在工厂却不行”。混合架构基准研究（paper）将“可靠性差距”列为研究动机：在实验室中看似完美的预测性维护模型，可能在真实工厂数据上意外失效。视觉检测也是如此。PaDiM（paper）把评估扩展到未对齐的数据，也是因为实际检测条件比基准更粗糙。不能把 MVTec AD 上 99.6% 这类分数理解为实际产线的缺陷检出率。

第二是数据变化。光照、相机位置、原材料批次、设备老化一旦变化，“正常”本身的样子就会改变。只学习过正常样本的模型很容易把新的正常误判为异常。因此需要监控这种数据漂移，并建立重新构建正常基准的运维流程。正如 FreqCondNorm（paper）所示，迁移到不同机器或工况目前仍不容易。

第三是判定阈值。异常分数是连续值，需要决定在哪里切分。但由于真实缺陷样本极少，阈值也很难校准。这正是 FLASH（paper）用合成缺陷来校准阈值的原因。不过，合成结果也未达到以真实缺陷为基准的上限。

最后是责任问题。漏检的缺陷可能导致客户的安全问题，过多的误报则会让产线停机。现实的做法是采用人在回路结构：把模型作为缩小可疑区域的工具，由人负责最终的出货、维护判断以及判定阈值的变更。本文所依据的资料中没有关于制造业 AI 的特定国家或机构的监管内容。因此，监管要求需要另行查阅各行业、各国家的官方指南。

延伸学习

视觉检测建议从 PaDiM（paper）开始阅读。其引言和相关工作部分简要梳理了重建方法与特征比较方法的区别。接着阅读 PatchCore（paper），就能自然理解为什么需要记忆库和核心集。两篇论文都使用 MVTec AD，结合基准图示一起看更容易理解。

之后可按兴趣选择。如果新产品的样本很少，看 Anchor and Adapt（paper）；如果没有缺陷数据、难以确定阈值，看 FLASH（paper）。如果对用语言描述缺陷的检测感兴趣，读 Anomaly-LR（paper）。

预测性维护建议先通过混合架构基准研究（paper）理解噪声问题。然后通过 TQRNN30d（paper）了解按机器划分的评估和长期预测，再通过 FreqCondNorm（paper）考察迁移到其他机器的问题。数字孪生与时间序列基础模型的结合，可以从数字孪生研究（paper）入手。