논문 리뷰 · 2026년 10월 19일

PremiseSQL: Text-to-SQL 시스템의 전제 비판과 답변 보류 능력 평가

PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems

전제가 잘못된 Text-to-SQL 질의 1,800개와 원본 1,800개를 짝지은 벤치마크를 만들어, LLM이 잘못된 질문을 기본적으로 그대로 믿고, 강하게 지시하면 정상 질의까지 거부한다는 점을 보였다.

문제

기존 Text-to-SQL(NL2SQL) 연구는 사용자 질문이 항상 타당하고 답할 수 있다고 가정한다. 그래서 모델은 조건이 모순되거나 스키마에 없는 요소를 묻는 질문에도 실행은 되지만 의미가 틀린 SQL을 만든다. 근거 없는 가정을 몰래 채워 넣는 경우도 많다.

방법

잘못된 질문을 알아채고 SQL 생성을 보류하는 능력을 '전제 비판 능력'으로 정의했다. 전제 오류를 4개 대분류(표현 오류, 전제 모순, 전제 누락, 능력 밖 요청)와 9개 하위 유형으로 나눴다. Spider 1.0과 BIRD 질의를 GPT-5.1로 변형해 결함 질의(양성)를 만들고, Gemini-2.5-Pro 자동 검증과 사람 검토를 거친 뒤 원본 질의(음성)와 짝지었다. 프롬프트는 Base(일반 SQL 생성), Implicit(질문에 오류가 있을 수 있다고 안내), Explicit(질문에 결함이 있다고 단정) 3가지다. 양성 샘플은 SQL 보류 정도·결함 탐지(DET)·유형 식별(TYPE)로, 음성 샘플은 SQL 생성률(GEN)·타당성 판단(VAL)로 채점했다. 16개 최신 LLM의 응답 172,800개를 평가했다.

결과

Base 설정에서 16개 모델 집계 결함 탐지율(DET)은 0.319, SQL 보류 점수는 0.177에 그쳤다. 원본 질의 SQL 생성률(GEN)은 0.988이었다. 가장 높은 Claude Opus 5.5도 DET 0.492로 결함의 절반 이상을 놓쳤다.
Implicit 설정에서는 집계 DET가 0.672로 올랐고, 원본 GEN 0.903·VAL 0.826이 유지됐다. 다만 편차가 컸다. DeepSeek V3.2는 DET 0.898로 가장 높았지만 원본 GEN은 0.455에 그쳤다.
Explicit 설정에서는 집계 DET가 0.931까지 올랐다. 그러나 원본 질의의 GEN은 0.523, VAL은 0.321로 떨어져 정상 질의도 대거 거부했다.
가장 극단적인 사례는 Qwen3.5-397B다. 결함 질의 DET는 0.968이었지만 원본 GEN은 0.004, VAL은 0.005였다. 반면 Gemini 3.1 Pro Preview는 원본 GEN 0.941, VAL 0.704로 영향을 덜 받았다.
저자들은 강한 지시가 겉보기 비판 성능은 높이지만, 근거에 기반한 일관된 전제 판단을 만들어내지는 못한다고 보고했다.

한계

결함 질의는 GPT-5.1로 생성하고 LLM과 사람이 검증했기 때문에, 실제 사용자가 만드는 오류 분포와 다를 수 있다. 원천 데이터는 Spider 1.0과 BIRD 두 가지뿐이다. 평가는 temperature 0에서 프롬프트 3종만 비교했고, 이 능력을 높이는 학습 방법은 제시하지 않았다. GEN은 생성된 SQL의 정확도가 아니라 생성 여부를 잰다. 실행 기반 검증은 부록에 있다. 제공된 본문이 중간에서 끊겨 후반 분석은 반영하지 못했다.

의미

업무용 자연어 DB 질의 도구는 질문이 잘못돼도 그럴듯한 SQL과 결과를 내놓을 수 있다. 이 연구는 그런 위험이 실제로 크다는 점을 보여 준다. 또 '오류가 있으면 거부하라'는 프롬프트만으로는 정상 질의 거부라는 반대 문제가 생긴다는 점도 보여 준다. 실무에서는 결함 탐지율과 정상 질의 처리율을 함께 측정해야 한다.

핵심 용어

Text-to-SQL (NL2SQL): 자연어 질문과 DB 스키마를 받아 실행 가능한 SQL을 만드는 작업이다.
전제 비판 능력(Premise Critique): 질문에 담긴 가정이 DB 맥락에서 성립하는지 따져 결함을 찾아내는 능력이다. 결함이 있으면 잘못된 SQL을 만들지 않고 보류하는 것까지 포함한다.
답변 보류(Abstention): 답할 수 없거나 잘못된 질문에 억지로 답하지 않고 생성을 멈추는 행동이다. 이 논문에서는 sql 값을 null로 내는 것에 해당한다.
양성/음성 쌍 평가: 결함 질의(양성)와 그 원본(음성)을 함께 평가하는 방식이다. 모델이 근거를 보고 거부하는지, 지시에 따라 무조건 거부하는지를 구분할 수 있다.

원문

저자: Shuo Lin, Jinzhe Li, Chenlu Guo, Yanhan Li, Yuan Wu, Yi Chang · 게시 2026-10-15 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.