실제 웹 환경에서의 Deep Search: OpenDS-World 벤치마크

문제

Deep Search 에이전트는 빠르게 발전했지만, 실제 열린 웹에서 처음부터 끝까지 조사하는 능력은 충분히 평가되지 않았다. 실제 웹 정보는 여러 모달리티(텍스트·이미지·오디오·영상)와 형식(HTML·PDF·XML·Parquet)에 흩어져 있고, 가상 투어 조작이나 파라미터 입력 같은 상호작용을 거쳐야 얻을 수 있는 경우가 많다. 기존 벤치마크는 이를 함께 다루지 못한다.

방법

과제는 공개 영상에서 시작한다. 전문 주석자가 영상의 시청각 내용으로만 식별할 수 있는 앵커 엔티티(Wikidata 항목에 대응)를 정한다. 이어 Google 검색으로 출처를 고르며 증거 경로를 확장하고, 각 노드는 여러 출처로 교차 검증한다. 마지막에 경로를 역으로 뒤집어, 중간 엔티티를 간접적으로 묘사한 제약 조합 형태의 질문을 만든다. 10명의 검토자가 증거와 답의 유일성을 검증해 8개 도메인, 200개 과제를 확정했다. 사람 50명이 독립적으로 풀이 시험을 했고, 12개 모델은 동일한 도구 환경과 실행 프로토콜로 평가했다.

결과

• 최고 성능 모델 GPT-6 Astra의 정확도는 200개 과제 기준 39.0%였다.
• 사람 참가자는 LLM 도구 없이 독립 시도 1,000회에서 21.1% 정확도를 기록했고, 과제의 42.5%는 배정된 사람 모두가 풀지 못했다.
• 저자들은 도구 호출이 많거나 실행 시간이 길다고 정확도가 높아지지는 않는다고 보고했다. 이를 출처 선택, 도구 조정, 긴 작업 관리의 한계로 해석했다.

한계

과제가 200개로 규모가 작고, 모든 과제가 영상에서 시작하는 구조로 고정되어 있다. 실제 열린 웹을 쓰므로 시간이 지나 페이지가 바뀌거나 사라지면 재현성이 떨어질 수 있다(영상은 아카이브해 배포한다). 사람 기준선은 LLM 도구를 금지한 조건이라 실무 사용자 환경과 다르다.

의미

사내 리서치 자동화나 Deep Research 제품을 평가할 때, 정적 검색 벤치마크로는 드러나지 않는 멀티모달·이종 형식·상호작용 접근 능력을 측정하는 기준이 된다. 최고 모델도 40%를 넘지 못해 개선 여지가 크다는 점을 보여준다.

핵심 용어

Deep Search 에이전트

검색·브라우징·파일 처리 도구를 여러 단계에 걸쳐 쓰면서 증거를 모으고 연결해 복잡한 질문에 답하는 AI 에이전트다.

증거 경로(Evidence Path)

시작 단서에서 최종 답까지 이어지는 엔티티와 출처의 연결 고리다. 각 연결이 검증 가능한 웹 증거로 뒷받침된다.

Question Inversion

완성된 증거 경로를 거꾸로 뒤집어, 중간 단계를 직접 드러내지 않는 간접 묘사들의 조합으로 질문을 만드는 방식이다.

상호작용 접근 요구

단순 검색으로는 얻을 수 없고 페이지 탐색, 파라미터 입력, 인터페이스 조작, 다운로드 같은 행동을 해야 드러나는 정보다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• Hugging Face

저자: Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen, 외 · 게시 2026-10-19 · 라이선스 CC BY-NC-ND 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.