Weak Supervision
弱监督(Weak Supervision)是一种方法:不由人逐条为数据标注正确答案,而是利用规则、关键词、现有模型等准确度参差不齐的多种“弱”线索批量生成答案(标签),再用这些标签训练模型。
工作原理
首先,由人编写多个称为“标注函数”的简单规则。例如,“句子中出现‘退款’一词就归为投诉咨询”这样的简短规则,以及现有词典、数据库或其他模型的预测,都可以作为标注函数。每条规则只对部分数据给出答案,而且规则之间也可能互相矛盾。接着,“标签模型”会分析各条规则的正确频率及彼此的重叠程度,为每条数据确定最可能的标签及其置信度。最后,用这样得到的标签训练实际要使用的模型,就能得到一个可以泛化到规则未覆盖案例的模型。
为什么重要
监督学习需要大量带标签的数据,但在医疗、法律、企业内部文档等需要专业知识的领域,标注成本非常高。弱监督让专家的知识不必逐条落在数据上,而是以“规则”的形式一次性应用到大量数据。修改规则后,所有标签都会重新生成,因此即使标准发生变化,也无需从头重新标注。如今,让 LLM 打标签并将其结果作为弱线索之一的做法也很常见。
注意事项
生成的标签中混有噪声,因此需要一小份经人工核对的验证数据来衡量质量。如果所有规则都偏向同一方向,标签模型也会原样继承这种偏差。规则几乎覆盖不到的罕见案例因标签不足,模型在这些情况下容易表现较弱。因此,弱监督常与主动学习(Active Learning)等方法结合使用,挑出必须由人查看的案例加以补充。
示例
假设一家公司想把客服咨询自动分为“配送”“退款”“技术问题”。与其由人逐一分类数万条咨询,不如让负责人编写几十条关键词规则,并把现有 FAQ 匹配结果和 LLM 的分类结果一并作为线索输入。标签模型综合这些线索生成训练用标签,再用数百条人工核对过的数据检查准确率,然后训练分类模型并部署到服务中。