NitiBench+: 17개 분야에 걸친 시점 반영 태국 법률 질의응답 벤치마크

문제

법원은 판결 당일 시행 중인 법을 적용하지만, 법률 QA 벤치마크는 현행 법을 기준으로 채점한다. 저자들이 조사한 53개 법률 벤치마크 중 법조문의 버전까지 채점하는 것은 하나도 없었다. 저자들의 이전 벤치마크인 NitiBench도 2년 만에 인용의 2.3%가 현행 조문과 맞지 않게 됐다.

방법

태국 대법원·헌법재판소·최고행정법원 판결로 17개 법률 분야에 걸친 1,670개 문항(하위 질문 4,071개)을 만들었다. 문항마다 사실관계를 주고 결론, 이유, 적용 조문을 묻는다. 정답은 판결문에서 그대로 발췌했다. 인용된 조문마다 판결일 당시 시행 텍스트와 현행 텍스트를 모두 담았다. 검색 코퍼스에는 모든 태국 법조문의 모든 날짜별 버전(106,041개 조문, 394,943개 텍스트)이 들어 있다. 채점은 두 가지다. 하나는 태국 변호사협회 채점 기준에 따른 Bar-standard 점수(0~10점)로, 사람 채점자와 보정한 LLM 판정자를 쓴다. 다른 하나는 모델이 인용한 조문과 법원 인용의 겹침(Citation F1)이다. Part I에서는 오픈 웨이트 모델 13개로 조문 버전을 바꿨을 때의 영향을 측정했다. Part II에서는 도메인별로 층화한 500문항 비공개 테스트셋에서 26개 모델을 세 설정으로 평가했다. 세 설정은 기억만으로 답하기, 법원 인용 조문을 제공받기, 시행 법령을 검색하는 에이전트로 답하기다.

결과

• 4개 법원 판결 156,650건을 분석한 결과, 인용한 법이 이후 개정·폐지된 비율이 대법원 67.1%, 헌법재판소 62.4%, 행정법원 42.6%, 특허·전문항소법원 23.3%였다.
• 정답 조문을 주더라도 개정된 조문의 현행 텍스트를 읽으면 Bar-standard 점수가 0.25점 떨어졌다. 폐지된 조문을 현행 기준으로 찾지 못하면 0.79점 떨어졌다.
• 점수 하락은 규칙 자체가 바뀐 428개 문항에서 0.45점이었고, 문구만 바뀐 331개 문항에서는 하락이 없었다. Citation F1로는 이 차이를 잡지 못했다.
• 리더보드 최고 모델은 10점 만점에 7.78점, 오픈 웨이트 최고 모델은 6.39점이었다.
• 검색 도구 없이 태국 법을 조금이라도 기억해 낸 오픈 웨이트 모델은 5개뿐이었다. 검색 도구를 주자 26개 중 20개 모델은 점수가 올랐고 6개는 떨어졌다.

한계

태국 법과 태국어에 한정된 벤치마크다. 채점은 사람 채점자와 보정한 LLM 판정자에 의존한다. Part I의 버전 영향 분석은 오픈 웨이트 모델 13개로만 했다. 리더보드 테스트셋은 500문항(분야당 29~30개)으로 분야별 비교의 통계적 여유가 크지 않다. 모델 출력은 법률 자문이 아니라고 저자들이 명시했다.

의미

법률 RAG나 법률 에이전트를 만들 때 조문 번호가 맞는지만 확인하면 시점이 틀린 답을 놓칠 수 있다. 판결일 기준 버전 관리가 필수라는 점을 수치로 보여 준다. 비영어권 법률 분야에서 현재 모델의 한계를 보여 주는 공개 리더보드라는 점에서도 의미가 있다.

핵심 용어

법령 시점 드리프트

판결이나 질문의 근거가 된 조문이 이후 개정·폐지되어 현행 텍스트와 달라지는 현상이다.

Bar-standard 점수

태국 변호사협회 시험 채점 기준(0~10점)으로 결론뿐 아니라 법적 추론 과정까지 평가하는 점수다.

Citation F1

모델이 인용한 법조문과 법원이 실제로 근거로 삼은 조문이 얼마나 겹치는지를 정밀도·재현율로 측정한 지표다. 조문의 버전 차이는 반영하지 못한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Pawitsapak Akarajaradwong, Sarana Nutanong, Chompakorn Chaksangchaichot · 게시 2026-11-02 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.