论文解读 · 2026年10月14日

ARCS：通过结构化消歧实现精确的 Text-to-SQL

ARCS: Towards Precise Text-to-SQL via Structured Disambiguation

提出了一种用选择题和滑块消除真实数据库中自然产生的问题歧义的方法及相应基准。即使是最新的 LLM，在有歧义的问题上执行准确率也大幅下降。

问题

大多数 Text-to-SQL 基准由无歧义且过度详细的问题构成。真实用户问题中的歧义（例如“销售额”是否包含退款）会悄无声息地导致结果出错。现有通过对话反问的方式效率低，给用户带来的负担也大。

方法

提出了“结构化消歧”。找出问题中的歧义点，若解释有限则以选择题形式、若像数值阈值那样无限则以滑块形式让用户选择。同时生成与所选组合相对应的参数化 SQL。歧义按语言轴（语义、句法）和数据库轴（列、表、值、计算）两个正交维度分类。原样使用了 BIRD 的 5 个和 Spider 2.0 的 1 个数据库。用 gpt-4.1 生成候选问题，由作者亲自标注所有歧义点、解释和 SQL（每个问题约 2.5 小时）。评估分为使用 LLM 用户模拟器的 End-to-End 设置，以及将消歧与 SQL 生成分开的 Fine-grained 设置。

结果

作者报告称，在有歧义的问题上，gpt-6-sol 的 End-to-End 执行准确率仅为 51%，开源模型均未超过 27%（例如 gptoss-120b 为 26.05%）。
所有模型的 End-to-End 准确率都低于给定正确解释时的执行准确率（EX_disambiguated）。例如 claude-opus-4.5 从 67.85% 降至 38.59%。
作者报告称，Text-to-SQL 能力相近的前沿 LLM 在消歧性能上差异很大，并提出消歧可能在训练目标中较少被涉及。

局限

只有 6 个数据库，领域有限。规模为从 101 个问题中采样的 300 余个实例，且正文中任务数也有 311 和 331 两种不同写法。End-to-End 评估依赖 LLM 用户模拟器，可能与真实用户不同。候选问题由 gpt-4.1 生成，标注由作者亲自完成。

意义

对在内部数据库上接入 Text-to-SQL 的企业数据分析服务有启示。若对有歧义的问题不加处理，数字会悄无声息地出错。这为通过选择题等轻量 UI 确认用户意图的设计提供了依据。

关键术语

Text-to-SQL: 将自然语言问题转换为数据库 SQL 查询的任务。
结构化消歧（Structured Disambiguation）: 不采用自由反问，而是针对每个歧义点展示选项和滑块，由用户选择以确定意图的方式。
执行准确率（EX）: 以生成的 SQL 的执行结果是否与标准 SQL 的执行结果一致来评分的指标。

原文

作者: Yihao Hu, Yanlin Feng, Naoki Otani, Nikita Bhutani · 发布 2026-10-07 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。