AI 术语表 · 进阶 · 数据工程
Entity Resolution
Entity Resolution（实体解析，找出并合并同一对象）是指在不同数据中，找出名称或写法略有差异的记录是否实际指向同一个人、公司或商品，并将它们合并为一条的工作。
工作原理
首先进行预处理，统一名称中的空格、大小写、简称（如“(株)”与“株式会社”）等书写差异。由于将所有记录两两比较耗时过长，会按同一地区或名称首字等方式分组，以减少需要比较的候选，这一步称为“分块（blocking）”。然后为每个候选对计算名称、地址、电话号码的相似度得分，并通过规则或机器学习模型判定是否为同一对象。被判定为相同的记录会归为一组，生成一条代表记录。
逐步缩小候选范围的过程
为什么重要
同一客户被重复统计，会使客户数量和销售额分析出现偏差；同一家公司分散在多个名称下，就无法准确评估交易风险。在整合多个部门、多个系统的数据来构建数据仓库或知识图谱时，这是必不可少的步骤。它也与 AI 训练数据中防止相同内容被多次收录的去重密切相关。如今也有方法用嵌入查找语义相近的记录，或让 LLM 对模糊的候选对进行判定。
注意事项
必须始终在“错误合并”与“漏掉本应合并的记录”这两类错误之间取得平衡。在医疗、金融等错误合并会造成严重损害的领域，会设置由人工确认模糊情况的流程。由于处理的是包含个人信息的记录，还需要同时考虑个人信息去标识化和访问权限管理。数据会持续流入，因此这不是一次性完成的工作，而需要持续更新。
示例
某购物网站希望整合线上会员信息、线下门店会员卡和客服咨询记录，构建“单个客户的完整画像”。即使同一位客户在门店用英文名注册、在线上用韩文名注册，只要电话号码和地址相近，就可以通过 Entity Resolution 将其归为同一人。这样可以减少重复发放优惠券，推荐系统也能基于客户的完整购买历史进行推荐。