Active Learning

Active Learning（主动学习）是一种学习方式：模型挑出自己判断为“拿不准”的数据，请人为其标注正确标签。目的是在降低标注成本的同时高效地提升性能。

关于这个术语

通俗解释 这就像一个学生不把习题集从头做到尾，而是只挑出自己不会的题去问老师。不过，它的局限在于，模型判断“不会”的标准本身可能是错的。

工作原理

首先用少量已标注数据训练模型。然后让模型在大量未标注数据上运行，挑出它对预测最没把握的数据，或与已有数据差异很大的数据。只对挑出的数据由人工标注正确答案，加入后重新训练模型。重复这一过程，直到性能足够好。

Active Learning 的迭代循环

直到性能足够好

不断循环四个步骤，直到性能足够好。

在医学影像判读、法律文书分类等只有专家才能标注正确答案的领域，每一个标签都很昂贵。当无法为所有数据打标签时，优先标注对模型帮助最大的数据，是用同样预算做出更好模型的方法。它还能省去为模型已经能答对的简单数据打标签的工夫。

如果只挑模型拿不准的数据，可能会选出大量异常值或含噪声的数据。另外，挑选的数据如果集中在某一侧，就无法均衡地代表整体数据，从而产生偏差。因此，通常会同时考虑“不确定性”和“多样性”来挑选。由于每轮迭代都需要人参与，搭建好标注工作流程也很重要。

许多数据标注工具都具备这样的功能：先由模型做出预测，只把置信度低的条目展示给标注人员。例如，在为制造工厂构建缺陷检测模型时，只让检验员确认大量产品照片中模型难以判断是正常还是缺陷的那些，就能以较少的标注工作快速改进模型。在实际服务中收集用户修改过的回答再用于训练的数据飞轮，也运用了同样的思路。