UserArena: 장기 쇼핑 에이전트를 위한 상호작용형 사용자 시뮬레이션 벤치마크

문제

추천 에이전트를 학습·평가하려면 쇼핑 환경과 사용자 반응을 흉내 내는 시뮬레이터가 필요하다. 하지만 기존 자료는 여러 세션에 걸친 세밀한 실사용자 Trajectory가 드물다. 평가도 다음 행동 일치만 보고, 시뮬레이션 결론이 실서비스 A/B 결과와 맞는지는 거의 검증하지 않는다. 학습된 시뮬레이터는 행동 왜곡, 희소한 지도 신호, exposure bias 문제도 있다.

방법

아시아 대형 이커머스 플랫폼의 사용자 11,010명, 세션 64,729개, 상품 566,102개, 행동 13종을 담은 벤치마크를 구축했다. 매 단계마다 사용자 프로필·화면·상품 맥락·행동을 정렬하고, 피드와 상세 페이지를 재구성한 상호작용 환경을 제공한다. 평가는 L0(출력 유효성)부터 L4(CTR·장바구니율 등 결과 충실도)까지 5단계다. OPTD는 LLM으로 전체 Trajectory에서 쇼핑 의도를 요약해 고정된 Teacher에게만 특권 정보로 준다. Student는 자기가 생성한 응답 위에서 Teacher의 토큰 분포를 일반화 JSD로 따라간다. 토큰마다 KL 예산(trust region)으로 의도의 영향을 제한하고, 실제 응답에 대한 teacher-forcing 손실을 함께 쓴다.

결과

• 교차 세션 Trajectory는 5,768명의 사용자, 59,378개 세션으로 구성되며, 사용자당 평균 10.29세션·86.36행동이다.
• 저자들은 기존 벤치마크(Qilin, OPeRA, OmniBehavior 등)와 달리 실제 Trace, 시각 맥락, 전체 행동 공간, 장기 이력, 실서비스 A/B 검증을 모두 갖춘 유일한 벤치마크라고 보고했다.
• Qwen3.5-2B로 통일한 비교에서 OPTD가 텍스트 기반(RecAgent, Agent4Rec, Shop-R1 등)과 GUI 기반(A/B Agent, STA) 시뮬레이터 중 종합 충실도가 가장 높았다고 보고했다.
• 오프라인 시뮬레이션에서 OPTD가 실서비스 A/B 테스트의 정책 효과를 가장 가깝게 재현했다고 보고했다.

한계

데이터가 단일 플랫폼에서 왔고, 실서비스 A/B 검증은 정책 한 쌍 비교에 기반한다. 주요 비교가 2B 모델 규모로 제한된다. 의도 추출에 대형 LLM(Qwen3.5-397B)이 필요하다. 제공된 본문에서 주요 결과 표 수치는 잘려 있어 세부 지표는 확인하지 못했다.

의미

추천·쇼핑 에이전트를 비싼 온라인 실험 없이 개발하려면 믿을 만한 사용자 시뮬레이터가 필요하다. 시뮬레이션 결과를 실서비스 A/B와 맞춰 보는 검증 틀은 커머스 기업이 오프라인 평가의 신뢰도를 판단하는 데 직접 참고할 수 있다.

핵심 용어

사용자 시뮬레이터

실제 사용자가 화면을 보고 클릭·스크롤·구매 등으로 어떻게 반응할지 흉내 내는 모델이다. 추천 정책을 오프라인으로 평가하거나 강화학습할 때 쓴다.

On-policy Distillation

Student가 직접 생성한 응답 위에서 Teacher의 토큰별 분포를 따라가도록 학습하는 방식이다. 정답 prefix만 쓰는 teacher forcing의 학습-추론 불일치를 줄인다.

특권 정보(privileged information)

학습 때 Teacher만 볼 수 있는 추가 정보다. 여기서는 전체 Trajectory에서 뽑은 쇼핑 의도이며, Student는 추론 때 이것을 보지 못한다.

Trust region

의도 정보가 Teacher의 분포를 바꾸는 정도를 KL 발산 예산 안으로 제한하는 장치다. Student가 볼 수 없는 정보에 과하게 맞춰지는 것을 막는다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Jujia Zhao, Jiakai Tang, Jing Yu, Wen Chen, Jian Wu, Han Zhu, Fei Sun, Suzan Verberne, 외 · 게시 2026-10-22 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.