논문 리뷰 · 2026년 11월 17일
MEM-SQL: 메모리 기반 Text-to-SQL
MEM-SQL: Memory-Empowered Text-to-SQL
검증된 과거 SQL을 템플릿·쿼리 블록·스키마 개념 3계층 메모리로 저장하고 필요할 때만 스키마를 조회해, 정확도를 높이면서 입력 토큰과 지연을 크게 줄였다.
문제
Spider·BIRD 같은 벤치마크는 질문을 서로 독립적으로 평가한다. 하지만 실제로는 같은 DB에 반복해서 질의하므로, 과거에 검증된 쿼리가 조인이나 계산 로직을 제공할 수 있다. 과거 쿼리를 재사용할 때의 정확도와 비용을 측정할 기준이 없었다. 무엇을 기억하고, 언제 검색 결과가 충분하다고 판단할지도 불분명했다.
방법
먼저 HARE 벤치마크를 만들었다. Spider·BIRD·Spider 2.0·BEAVER에서 고른 823개 검증 쿼리를 바탕으로 1,600개 요청을 만들고, 6개 기본 범주와 6개 복합 범주의 재사용 유형을 주석했다. 요청은 GLM5.3-Flash로 생성하고 Claude Opus 5.5로 검토했다. MEM-SQL은 과거 쿼리를 세 계층으로 저장한다. 슬롯화한 전체 쿼리 템플릿, 재사용 가능한 SELECT 블록(컴포넌트), 도메인 용어와 컬럼·조인을 잇는 스키마 개념이다. 질문은 계층별 요구 단위(atom)로 분해한다. 한 계층은 모든 atom이 임계값을 넘는 매칭을 찾았을 때만 채택한다(Coverage Gate). OSL(On-demand Schema Linking)은 채택된 계층이 없거나 생성기가 증거가 부족하다고 판단할 때만 스키마를 조회한다.
결과
- 6개 LLM 평균 실행 정확도(EX)는 이력을 쓰지 않는 Direct Generation의 37.1%에서 MEM-SQL의 50.0%로 올랐다. 입력 토큰은 평균 76.6%, 지연은 68.8% 줄었다.
- GPT6-Luna 기준 EX 49.9%로 A-MEM(45.0%), BIRD-History(43.5%), DAIL-SQL(42.9%)보다 높았다. 입력 토큰은 12.6k로 다른 기법(56k~69k)보다 크게 적었다.
- 여러 검증 쿼리를 함께 재사용해야 하는 요청에서는 정확도가 56.7%에서 29.7%로 떨어졌다. 재사용 컴포넌트를 새 구조에 넣거나 공유 조인과 결합해야 할 때 가장 크게 떨어졌다.
- OSL을 다른 세 메모리 설계에 적용하자 모든 비교에서 비용이 줄었다. 정확도 이득은 메모리 설계에 따라 달랐다.
한계
HARE 요청은 LLM이 생성하고 LLM이 검증했기 때문에 실제 사용자 질의 분포와 다를 수 있다. 메모리는 평가 동안 고정된 검증 이력만으로 만들며, 이력이 계속 쌓이거나 잘못된 쿼리가 섞이는 상황은 다루지 않는다. 다중 쿼리 조합은 모든 기법에서 여전히 병목이다.
의미
기업 데이터 분석에서는 같은 DB에 비슷한 질의가 반복된다. 검증된 SQL 이력을 잘게 나눠 재사용하면 정확도와 비용을 함께 개선할 수 있다는 점을 보여준다. 스키마 전체를 매번 넣는 방식의 대안으로 실무 적용성이 높다.
핵심 용어
- Text-to-SQL
- 자연어 질문을 데이터베이스에서 실행할 수 있는 SQL 쿼리로 바꾸는 작업이다.
- 스키마 링킹(Schema Linking)
- 질문에 필요한 테이블·컬럼을 DB 스키마에서 찾아 연결하는 단계다. 큰 DB에서는 비용이 크다.
- Coverage Gate
- 한 메모리 계층의 모든 요구사항이 임계값 이상으로 매칭될 때만 그 계층을 쓰는 규칙이다. 강한 매칭 하나가 다른 누락을 가리지 못하게 한다.
- 실행 정확도(EX)
- 생성한 SQL을 실행한 결과가 정답 쿼리의 실행 결과와 같은 비율이다.
원문
저자: Xiaoqi Wang, Wenqi Pei, Shizheng Hou, Yilai Liu, Han Chen, Boyan Li, Yuyu Luo, Hongyang Du · 게시 2026-11-13 · 라이선스 CC BY 4.0 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.