ARCS: 구조화된 모호성 해소를 통한 정밀한 Text-to-SQL

문제

Text-to-SQL 벤치마크는 대부분 모호하지 않고 과하게 상세한 질문으로 구성돼 있다. 실제 사용자 질문(예: '매출'에 환불을 포함할지)의 모호성은 결과를 조용히 틀리게 만든다. 대화로 되묻는 기존 방식은 비효율적이고 사용자 부담이 크다.

방법

'구조화된 모호성 해소'를 제안했다. 질문의 모호 지점을 찾고, 해석이 유한하면 객관식으로, 숫자 임계값처럼 무한하면 슬라이더로 사용자가 고르게 한다. 고른 조합에 맞는 파라미터화된 SQL도 생성한다. 모호성은 언어 축(의미·구문)과 DB 축(컬럼·테이블·값·계산)의 두 직교 차원으로 분류했다. BIRD 5개, Spider 2.0 1개 DB를 수정 없이 사용했다. gpt-4.1로 질문 후보를 만들고, 저자들이 모든 모호 지점·해석·SQL을 직접 주석했다(질문당 약 2.5시간). 평가는 LLM 사용자 시뮬레이터를 쓰는 End-to-End 설정과, 모호성 해소·SQL 생성을 분리한 Fine-grained 설정으로 나눴다.

결과

• 저자들은 모호한 질문에서 gpt-6-sol의 End-to-End 실행 정확도가 51%에 그쳤고, 오픈소스 모델은 모두 27%를 넘지 못했다고 보고했다(예: gptoss-120b 26.05%).
• 모든 모델에서 정답 해석을 줬을 때의 실행 정확도(EX_disambiguated)보다 End-to-End 정확도가 낮았다. 예를 들어 claude-opus-4.5는 67.85%에서 38.59%로 떨어졌다.
• 저자들은 Text-to-SQL 능력이 비슷한 프런티어 LLM들도 모호성 해소 성능은 크게 다르다고 보고했다. 그리고 모호성 해소가 학습 목표에서 덜 다뤄졌을 가능성을 제기했다.

한계

DB가 6개로 도메인이 제한적이다. 질문 101개에서 샘플링한 300여 개 인스턴스 규모이고, 본문 안에서도 과제 수가 311과 331로 다르게 표기된다. End-to-End 평가는 LLM 사용자 시뮬레이터에 의존해 실제 사용자와 다를 수 있다. 질문 후보는 gpt-4.1이 생성했고, 주석은 저자들이 직접 했다.

의미

사내 DB에 Text-to-SQL을 붙이는 기업 데이터 분석 서비스에 시사점이 있다. 모호한 질문을 그냥 넘기면 숫자가 조용히 틀린다. 객관식 선택 같은 가벼운 UI로 사용자 의도를 확인하는 설계가 필요하다는 근거가 된다.

핵심 용어

Text-to-SQL

자연어 질문을 데이터베이스 SQL 쿼리로 변환하는 작업이다.

구조화된 모호성 해소(Structured Disambiguation)

자유로운 되묻기 대신 모호 지점별 선택지와 슬라이더를 보여주고, 사용자가 골라서 의도를 확정하는 방식이다.

실행 정확도(EX)

생성한 SQL의 실행 결과가 정답 SQL의 실행 결과와 일치하는지로 매기는 지표다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Yihao Hu, Yanlin Feng, Naoki Otani, Nikita Bhutani · 게시 2026-10-07 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.