RealCLI: CLI 에이전트의 인간–에이전트 협업 통합 평가 벤치마크

문제

CLI 에이전트가 점점 긴 작업을 수행하지만, 기존 벤치마크는 사용자 지시가 실행 내내 고정되어 있다고 가정하거나 최종 결과만 평가한다. 실제로는 사용자가 실행 도중 정보를 보태고 제약을 바꾸며 위험한 작업의 승인 여부를 결정한다. 그런데 이런 과정에서 에이전트가 이해하기 쉽게 행동하는지, 사용자의 방향 수정을 따르는지, 위험을 정직하게 알리는지를 함께 재는 통합 평가는 없었다.

방법

HCI 이론에 근거해 협업 품질을 5개 차원으로 나눴다. 이해 가능성, 조종 가능성, 관찰·복구, 신뢰 보정, 안전·위험 인식이다. 실제 CLI 로그 분석을 바탕으로 이를 22개 하위 차원과 51개 상호작용 시나리오 템플릿으로 구체화했다. 10개 범주·52개 하위 도메인에 걸친 101개 과제는 각각 두 모드로 평가한다. EXEC는 전체 명세를 처음에 제공하고, COLLAB는 스크립트 사용자가 정보를 조각으로 나눠 주면서 수정·제약 변경·승인 같은 탐침(probe)을 던진다. 과제 성공은 같은 verifier로 판정하고, 협업 품질은 1,658개 체크리스트 항목을 4단계로 집계한다. 최종 지표 J_collab는 협업 모드 과제 성공률과 협업 점수의 곱이다.

결과

• 11개 모델 × 3개 하네스(Claude Code, Terminus-2, Codex), 총 33개 구성을 평가했다. 최고 구성(Claude Opus 5)의 평균 점수는 49.2%였다.
• J_collab 최고치는 Claude Opus 5 + Terminus-2의 37.6%로, 같은 구성의 EXEC 성공률 65.4%보다 27.9%p 낮았다.
• 저자들은 사용자 상호작용이 전체 통과율을 사실상 바꾸지 못했고, 효과는 과제 유형과 모델에 따라 달랐다고 보고했다.
• 에이전트는 이해 가능성과 관찰·복구는 비교적 잘했지만, 조종 가능성, 신뢰 보정, 안전·위험 인식에서는 일관되게 약했다. 과제 성공률이 같은 모델끼리도 협업 특성은 크게 달랐다.

한계

사용자는 스크립트로 시뮬레이션되어 실제 사용자의 다양한 반응을 다 반영하지 못한다. 과제는 101개로 규모가 제한적이다. 협업 점수는 체크리스트와 임계값(시나리오 통과율 75%) 설계에 민감할 수 있다. 본문에 최고 평균 점수가 초록·표의 49.2%와 서론의 52.7%로 서로 다르게 적혀 있다.

의미

코딩·운영 에이전트를 실제 업무에 도입할 때는 과제 성공률뿐 아니라 사용자 개입 수용, 위험 고지, 파괴적 작업 전 승인 같은 협업 품질이 중요하다. 이 벤치마크는 그 차이를 정량적으로 비교할 기준을 제공한다.

핵심 용어

CLI 에이전트

터미널 명령으로 코드, 파일, 시스템 자원을 직접 다루며 작업을 수행하는 LLM 에이전트다. Claude Code, Codex 등이 해당한다.

Paired 평가(EXEC/COLLAB)

같은 과제·환경·verifier에서 자율 실행과 사용자 협업 실행을 각각 돌려 직접 비교하는 설계다.

신뢰 보정(Trust Calibration)

에이전트가 자기 능력의 한계, 위험, 실제 진행 상태를 과장이나 은폐 없이 정확히 알리는 능력이다.

J_collab

협업 모드 과제 성공률과 협업 품질 점수를 곱한 지표다. 어느 한쪽이 낮으면 전체 점수가 함께 낮아진다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma, Hongxin Li, Yaxin Du, 외 · 게시 2026-10-15 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.