FrontierPhysics: 물리학 연구 전 과정을 수행하는 에이전트 평가 벤치마크

문제

기존 물리 벤치마크는 고정된 질문, 쪼개진 하위 작업, 또는 원논문을 주고 재현하는 과제 위주다. 그래서 문헌 조사부터 논문 작성까지 열린 연구 과정 전체를 평가하지 못한다. 정답 여부와 함께 연구 품질을 보는 경우도 드물다.

방법

현직 물리 연구자 42명(26개 기관)이 직접 수행한 연구를 바탕으로 과제를 만들었다. 이론·계산·실험 물리 9개 분야이며, 제출된 182개 중 56개가 일반 검토, 도메인 동료 검토, 실패 사례 분석을 거쳐 채택됐다. 에이전트는 PI 지시 수준의 프롬프트를 받아 문헌 조사, 연구 계획, 실험 수행을 하고 수치 결과물과 paper.pdf를 제출한다. 채점은 결정적 검증기(테스트 스크립트)와 리뷰어 에이전트(GPT-5.6 Sol)의 루브릭 평가를 함께 쓴다. 검증기와 필수(blocker) 루브릭을 모두 통과해야 합격이며, 비필수 항목은 가중 품질 점수가 된다. 22개 모델·26개 설정·4개 하네스로 과제당 3회씩 실행했다.

결과

• 어떤 설정도 168회 Rollout 중 46회를 넘겨 통과하지 못했다. 모든 에이전트의 전체 통과율(Pass@1)은 30% 미만이었고, 최고는 Claude Opus 5.5의 27.4%였다.
• 대체로 비용을 더 쓸수록 통과율이 올랐지만, 일부 Claude 모델은 비용이 늘수록 통과율이 낮아졌다(Opus 5.5 > Fable 5.1 > Opus 5 순). 저자들은 GPT 모델이 대체로 비용 효율이 더 좋다고 보고했다.
• Claude Opus 5.5를 리뷰어로 바꿔 다시 채점하면 GPT-6 Astra Rollout의 합격 여부는 거의 같았다. 다만 자기 모델 계열 Rollout에는 더 관대했다.
• GPT-6 Astra Rollout 168개를 수작업 분석한 결과, 주요 약점은 물리 지식 부족이나 실행 오류가 아니라 엄밀하지 못한 추론과 전문가 직관 부족이었다.

한계

과제가 56개뿐이고 분야별 과제 수가 적어 분야 간 차이는 불확실하다(저자 언급). 채점의 상당 부분이 LLM 리뷰어 에이전트에 의존하며, 리뷰어 모델에 따라 자기 계열 편향이 관찰됐다. 실패 유형 수작업 분석은 한 모델(GPT-6 Astra)에 한정됐다. 과제당 Rollout은 10시간 제한 안에서 3회로, 연구 기간이 긴 실제 연구와는 조건이 다르다.

의미

AI 에이전트가 '과학 연구를 한다'는 주장을 문제 풀이가 아닌 연구 전 과정과 논문 품질로 검증하는 틀을 제시한다. 현재 최상위 모델의 한계가 지식보다 추론의 엄밀성과 연구 감각에 있다는 진단은, 연구 보조 에이전트의 개발 방향과 도입 기대치를 정하는 데 참고가 된다.

핵심 용어

엔드투엔드 연구 벤치마크

문헌 조사, 계획, 실험, 결과 검증, 논문 작성까지 연구 전체를 에이전트가 수행하게 하고 평가하는 방식이다.

Agent-as-judge

단일 LLM 호출 대신 도구를 쓰는 에이전트가 Trajectory·코드·출력 파일을 직접 살펴보고 루브릭으로 채점하는 평가 방식이다.

Blocker 루브릭

과학적 타당성에 꼭 필요한 합격/불합격 기준이다. 하나라도 실패하면 다른 점수가 높아도 최종 점수는 0이 된다.

Pass@1 / Pass@3

Pass@1은 Rollout 3회의 평균 통과율이고, Pass@3은 3회 중 한 번이라도 통과한 과제의 비율이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 프로젝트
• Hugging Face

저자: Bingran You, Wenjun Ke, Ria Rosenauer, Bo Liu, Wenbo Chen, Min Chen, Shuqi Xu, Yue Ma, 외 · 게시 2026-11-04 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.