论文解读 · 2026年10月19日

PremiseSQL：评估 Text-to-SQL 系统的前提批判与弃答能力

PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems

构建了一个将 1,800 条前提错误的 Text-to-SQL 查询与 1,800 条原始查询配对的基准，表明 LLM 默认会照单全收错误问题，而在强指令下又会连正常查询也一并拒绝。

问题

现有 Text-to-SQL（NL2SQL）研究假设用户问题总是合理且可回答的。因此，即使问题条件相互矛盾或询问 schema 中不存在的元素，模型也会生成可以执行但语义错误的 SQL。模型还经常悄悄补入没有依据的假设。

方法

作者将识别错误问题并暂缓生成 SQL 的能力定义为“前提批判能力”。前提错误被分为 4 个大类（表述错误、前提矛盾、前提缺失、超出能力的请求）和 9 个子类型。作者用 GPT-5.1 改写 Spider 1.0 和 BIRD 的查询，生成有缺陷的查询（正样本），经 Gemini-2.5-Pro 自动验证和人工审核后，与原始查询（负样本）配对。提示词有 3 种：Base（常规 SQL 生成）、Implicit（提示问题可能有错误）、Explicit（断定问题存在缺陷）。正样本按 SQL 弃答程度、缺陷检测（DET）、类型识别（TYPE）评分，负样本按 SQL 生成率（GEN）、合理性判断（VAL）评分。共评估了 16 个最新 LLM 的 172,800 条回答。

结果

在 Base 设置下，16 个模型的汇总缺陷检测率（DET）仅为 0.319，SQL 弃答得分仅为 0.177。原始查询的 SQL 生成率（GEN）为 0.988。即使是表现最好的 Claude Opus 5.5，DET 也只有 0.492，漏掉了一半以上的缺陷。
在 Implicit 设置下，汇总 DET 升至 0.672，原始查询的 GEN 保持在 0.903、VAL 保持在 0.826。但模型间差异很大。DeepSeek V3.2 的 DET 最高，为 0.898，但原始查询 GEN 仅为 0.455。
在 Explicit 设置下，汇总 DET 升至 0.931。但原始查询的 GEN 降至 0.523，VAL 降至 0.321，大量正常查询也被拒绝。
最极端的例子是 Qwen3.5-397B。其缺陷查询 DET 为 0.968，但原始查询 GEN 为 0.004，VAL 为 0.005。相比之下，Gemini 3.1 Pro Preview 的原始查询 GEN 为 0.941，VAL 为 0.704，受影响较小。
作者报告称，强指令虽然提高了表面上的批判表现，却无法产生基于依据、前后一致的前提判断。

局限

缺陷查询由 GPT-5.1 生成并经 LLM 和人工验证，因此可能与真实用户产生的错误分布不同。源数据只有 Spider 1.0 和 BIRD 两个。评估仅在 temperature 0 下比较了 3 种提示词，也没有提出提升这一能力的训练方法。GEN 衡量的是是否生成 SQL，而不是生成 SQL 的准确性。基于执行的验证放在附录中。所提供的正文在中途截断，因此未能反映后半部分的分析。

意义

业务用的自然语言数据库查询工具即使在问题有误时，也可能给出看似合理的 SQL 和结果。这项研究表明这种风险确实很大。研究还表明，仅靠“有错误就拒绝”这类提示词，会引发拒绝正常查询的反向问题。实际应用中应同时衡量缺陷检测率和正常查询处理率。

关键术语

Text-to-SQL (NL2SQL): 接收自然语言问题和数据库 schema，生成可执行 SQL 的任务。
前提批判能力（Premise Critique）: 判断问题中的假设在数据库语境下是否成立、从而发现缺陷的能力。也包括在存在缺陷时不生成错误 SQL、而是暂缓作答。
弃答（Abstention）: 对于无法回答或有误的问题，不勉强作答而停止生成的行为。在本论文中，对应于将 sql 值输出为 null。
正/负样本配对评估: 将缺陷查询（正样本）与其原始查询（负样本）一起评估的方法。可以区分模型是依据证据拒绝，还是按指令无条件拒绝。

原文

作者: Shuo Lin, Jinzhe Li, Chenlu Guo, Yanhan Li, Yuan Wu, Yi Chang · 发布 2026-10-15 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。