← 주요 논문

논문 리뷰 · 2026년 11월 12일

FinCosmos: 금융 에이전트를 위한 오픈 월드 평가 체계

FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance

에이전트데이터·평가금융·보험 중급 추천 20 cs.AI The Fin AI

숨겨진 투자 전략을 가진 가상 사용자, 웹에서 직접 구하는 데이터, 시점 제약을 모두 열어 둔 평가를 만들어, 현재 코딩 에이전트가 금융 업무에서 '조용한 실패'를 한다는 것을 드러냈다.

문제

금융 업무를 맡은 에이전트는 '조용한 실패'를 할 수 있다. 사용자가 원하지 않은 전략, 검증되지 않은 데이터, 미래 정보를 쓴 백테스트로 만든 보고서도 올바른 보고서만큼 그럴듯해 보인다. 기존 벤치마크는 과제, 데이터, 시간 흐름 중 하나 이상을 고정한다. 그래서 이런 실패를 측정하지 못하고 아예 없애 버린다.

방법

가상 사용자(투자자 페르소나 3종)는 6개 전략 구성요소(종목 선정, 마켓 타이밍, 포트폴리오 구성, 리스크 관리, 체결, 거래비용)로 이루어진 문법에서 샘플링한 전략을 숨긴 채, 에이전트가 물어볼 때만 세부를 알려준다. 가능한 전략은 약 380만 가지다. 에이전트는 데이터를 받지 않는다. 웹에서 직접 구하고, 데이터 기준일(cutoff)을 지켜 스스로 백테스트를 만든 뒤 결과를 전달한다. 채점에는 정답이 필요 없다. 프로그램이 시점 정합성과 보고된 지표의 재계산 가능성을 검증하고, LLM judge는 의미적 충실도만 평가한다. 45개 차원으로 채점하며, 사용자가 만족하고 15개 거부(veto) 검사를 모두 통과해야 합격이다.

결과

한계

공개 벤치마크는 고정 과제 10개, 과제·시스템당 3세션으로 규모가 작다. 가상 사용자는 LLM이라 사용자 시뮬레이터 모델에 따라 결과가 달라질 수 있다. 저자들도 관련 연구를 들어 LLM 시뮬레이터의 충실도 한계를 언급하고, 전문가 검증으로 보완했다. 전략 공간은 정의된 6개 구성요소 문법 안으로 제한된다. 일부 차원은 LLM judge에 의존한다.

의미

사용자 만족이나 LLM judge만으로 에이전트를 평가하면 그럴듯하지만 틀린 결과를 성공으로 셀 수 있다. 이 연구는 그 위험을 수치로 보여준다. 금융처럼 검증이 중요한 분야에서 에이전트를 도입할 때 프로그램 기반 검증과 시점 정합성 검사가 필요하다는 근거가 된다.

핵심 용어

Look-ahead bias
백테스트에서 해당 시점에는 알 수 없었던 미래 정보를 써서 성과가 부풀려지는 오류다.
Point-in-time 정합성
각 의사결정이 그 날짜에 실제로 공개되어 있던 데이터만 썼는지 여부다.
조용한 실패(Silent failure)
오류 없이 실행되고 결과물도 그럴듯해 보이지만, 실제로는 의도·데이터·시간 중 무언가가 틀린 실패다.
Veto 검사
하나라도 기준에 못 미치면 다른 점수와 관계없이 불합격시키는 필수 검사 항목이다.

원문

저자: Yupeng Cao, Xueqing Peng, Lingfei Qian, Haohang Li, Yangyang Yu, Anke Xu, Wenbo Cao, Yan Wang, 외 · 게시 2026-11-05 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.