FDE-Gym: AI 도입의 마지막 단계를 평가하는 현장 배치 엔지니어 벤치마크

문제

기존 에이전트 벤치마크는 이슈·명세·티켓으로 잘 정의된 과제를 준다. 실제 고객 현장에 배치된 엔지니어(FDE)는 모호한 요구를 명확히 하고, 운영 중인 시스템에서 작업하며, 말해지지 않은 제약을 찾아야 한다. 요청 자체가 잘못된 문제를 겨냥할 때도 있다. 이런 능력을 평가하는 벤치마크가 없었다.

방법

업계 전문가들이 2024년 이후 중국·싱가포르·미국에서 진행된 실제 납품 프로젝트를 18개 업종, 20개 시나리오로 각색했다. 핵심 사실을 바꾼 변형까지 포함해 총 95개 과제를 만들었다. 에이전트는 운영 시스템 사본, 문서, 직원 명부가 있는 작업 공간에서 시작한다. 스크립트로 응답이 고정된 130여 명의 이해관계자에게 질문하며 시스템을 수정한다. 점수는 보류 데이터에서 고객 KPI가 얼마나 개선됐는지를 아무것도 안 했을 때 0, 전문가 정답 해법일 때 1로 정규화한 값이다. 여기서 이해관계자 연락 비용(메시지, 시험 실행, 대기)을 빼고, 무단 조치 같은 사고가 나면 양의 점수를 0으로 만든다. 지시 정보량을 L0(문제·제약 모두 제공)부터 L3(스폰서의 원래 요청)까지 네 단계로 나눠 병목 지점을 분리했다. 요청을 문자 그대로 구현한 해법은 0.2 이하, 지름길 해법은 0.8 이하만 받도록 검증했다.

결과

• L3 설정에서 Claude Opus 5.5가 평균 0.56으로 가장 높았고 95개 중 14개를 해결했다. 13개 구성 중 5개는 하나도 해결하지 못했다. 과제마다 가장 잘한 구성만 골라도 평균 0.70, 해결 30개였다.
• 제약을 알려주면 상위 3개 모델은 0.73~0.82점이었지만, 스스로 찾아야 하면 0.39~0.62점으로 크게 떨어졌다.
• 상위 모델들은 이해관계자에게서 핵심 사실의 72~85%를 얻었지만, 납품한 시스템의 개선 폭은 정답 해법의 0.60~0.70 수준이었다. 연락 비용으로 점수가 0.14~0.22 더 깎였다.
• Claude Haiku 4.5는 95개 중 79개 과제에서 아무것도 안 한 기준보다 낮은 점수를 받았다. 저자들은 약한 모델이 오히려 고객 상황을 악화시킬 수 있다고 보고했다.

한계

이해관계자 응답은 재현성을 위해 스크립트로 고정했고, 작은 모델이 질문을 주제에 연결하는 방식이라 실제 대화보다 유연성이 낮다. 실행 환경은 Python·SQLite만 허용하고 일반 네트워크를 막아 실제 현장보다 제한적이다. L0~L2 비교는 원본 과제 20개에서만 했다. 과제 수는 95개다.

의미

기업에 AI를 도입할 때 진짜 어려운 부분은 구현보다 '무엇이 실제 문제인지'와 '숨은 제약'을 찾는 일이라는 점을 수치로 보여준다. 에이전트를 고객 현장 업무에 투입하기 전에 점검할 기준이 될 수 있다.

핵심 용어

FDE(Forward-Deployed Engineer)

공급사가 고객 조직 안에 배치해 요구 파악부터 구축·배포까지 맡기는 엔지니어.

정규화 비즈니스 개선도(Normalized Business Uplift)

납품 시스템이 고객 KPI를 얼마나 개선했는지를, 아무것도 안 한 경우 0, 전문가 해법 1로 맞춘 값. 0보다 작으면 원래보다 나빠졌다는 뜻이다.

과제 지시 수준(L0~L3)

환경과 채점은 그대로 두고 과제 설명에 담긴 정보만 줄여 가는 설계. 구현, 제약 발견, 문제 재정의 중 어디서 실패하는지 분리해 볼 수 있다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen, Xiaojian Liao, 외 · 게시 2026-10-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.