인식은 근거 확보가 아니다: 다국어 재무 근거 추출 벤치마크

문제

여러 나라 기업의 공시를 비교하려면 언어가 달라도 같은 회계 개념을 알아보고, 그 개념에 해당하는 수치(전기 비교 수치 포함)를 모두 찾아야 한다. 기존 벤치마크는 이 두 능력을 같은 다국어 근거 위에서 함께 평가하지 않았다.

방법

영어·프랑스어·그리스어 발행사 각 30곳의 FY2025 ESEF 보고서에서 발행사가 직접 붙인 iXBRL 태그를 이용해 수치와 IFRS 개념 매핑을 추출했다. 서로 다른 기업의 실제 공시를 공통 IFRS 개념 187개로 연결했다. 과제는 네 가지다. T1은 재무 수치를 판별하고 속성(유형·기간·차대변)을 맞힌다. T2a는 표시된 수치들이 공유하는 개념을 고른다. T2b는 주어진 개념에 해당하는 수치를 모두 고른다. T2c는 후보 라벨 없이 다른 개념의 발췌문을 골라낸다. T2a와 T2b는 같은 맥락에서 짝지어 평가한다. 재무 전문가 2명이 10% 층화 표본을 검수했다. 모델 15개를 평가했다.

결과

• 저자들은 API·오픈 웨이트 참조 모델 8개가 개념 인식(T2a)에서 97.3~99.4% 정확도를 보였지만, 개념을 맞힌 그룹 중 26.6~41.9%에서 대상 수치를 하나 이상 놓쳤다고 보고했다.
• 참조 모델 8개 중 7개에서 그리스어의 근거 재현율(recall)이 가장 낮았다. 반면 영어 근거를 빼도 개념 인식은 높게 유지됐다.
• 후보 라벨 없는 개념 구별(T2c)에서는 모델 간 차이가 컸다. Gemini 3.8 Flash가 95.1%인 반면 GPT-5.6 Luna는 49.4%였다.
• 평가한 금융 특화 모델은 이 프로토콜에서 각자의 기반 모델보다 나아진 폭이 제한적이었다.

한계

언어 3개, 발행사 90곳, FY2025 한 해 보고서만 다룬다. 전문가 검수는 10% 표본에만 적용했고, 나머지 주석은 발행사 태그를 그대로 썼다. API 모델은 reasoning을 끈 상태로 평가했고, 모델 간 연산량을 맞추지 않았다. T2는 발행사를 공유해 부트스트랩 신뢰구간을 내지 않았고, 통계 검정은 탐색적 수준이다.

의미

재무 문서 추출에서 '개념을 맞혔다'는 지표가 '필요한 수치를 다 찾았다'를 보장하지 않음을 보여 준다. 전기 비교 수치 누락처럼 실무 분석을 망가뜨리는 누락을 따로 측정해야 한다는 점을 실무자에게 알려 준다.

핵심 용어

iXBRL

재무보고서 본문과 표의 수치에 회계 개념 태그를 직접 심는 형식이다. 유럽 ESEF 공시에서 쓰인다.

IFRS Accounting Taxonomy

국제회계기준(IFRS)의 회계 개념(예: 매출, 이익)을 표준 식별자로 정리한 분류체계다.

Exhaustive Fact Selection

주어진 개념에 해당하는 수치를 문맥 속에서 하나도 빠짐없이 골라내는 과제다. 재현율과 정확한 집합 일치로 평가한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Lingfei Qian, Yan Wang, Xueqing Peng, Polydoros Giannouris, Nadhem Zmandar, Yi Han, Yanguang Liu, Víctor Gutiérrez-Basulto · 게시 2026-10-14 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.