논문 리뷰 · 2026년 10월 9일

Kuration SDK: 데이터 큐레이션으로 Virtual2Real 격차 해결하기

Kuration SDK: Addressing the Virtual2Real Gap via Data Curation

CS:GO와 CS2 게임플레이로 학습한 확산 월드 모델을 비교해 FVD·LPIPS가 실제 플레이 품질을 반영하지 못함을 보였고, 데이터 진단 도구로 그 원인을 행동-화면 변화의 크기 차이로 좁혔다.

문제

행동 조건부 월드 모델의 품질 지표는 아직 자리 잡지 않았다. FVD, LPIPS, JEDi 같은 영상 유사도 지표가 실제 '플레이 가능성'(순간이동, 벽 통과, 조작 반응성 등)을 반영하는지도 불분명하다. 행동 의미나 물리 기반 벤치마크도 게임별 추정기나 프로브가 필요해 범용 신호를 주지 못한다. 저자들은 이 간극을 Virtual2Real 격차라고 부른다.

방법

먼저 DIAMOND를 공개 CS:GO 데이터로 재현해 학습·평가 파이프라인이 원 논문과 일치하는지 확인했다. 이어 같은 맵(de_dust2), 프레임레이트, 행동 인코딩, 규모를 맞춘 CS2 데이터로 큐레이션하지 않은 baseline_v1을 학습했다. 그리고 오픈소스 Kuration SDK로 데이터의 진단 특성을 측정했다. 키 입력 직후 Optical flow 변위를 재는 pixel_shift와 action_state_consistency, 충돌 검출, SLAM 기반 궤적 복원 등이 포함된다. 이 측정을 바탕으로 커버리지 기반, 희귀 Trajectory 업웨이팅, 충돌 인지, 행동-상태 일관성 기반 등 4가지 큐레이션 전략을 비교했다.

결과

재현 실험은 DIAMOND 보고값 대비 FVD는 4.4% 낮고 LPIPS는 4.2% 높아, 저자들은 평가 노이즈 범위 안이라고 보고했다. 공개 가중치를 자체 파이프라인으로 평가하면 원 논문 수치와 1% 이내로 일치했다.
CS2 테스트셋에서 baseline_v1의 LPIPS는 0.4785로 DIAMOND(0.6049)보다 20.9% 좋았고 FVD도 비슷하거나 더 나았다. 그러나 인터랙티브 Rollout에서는 플레이 가능성이 더 낮았다고 저자들은 보고했다. FVD 최고값은 600에폭 중 60에폭에서 나와 학습 종료 기준으로도 부적절했다.
행동-상태 일관성 분석에서 CS:GO의 단일 키 입력 반응 크기는 CS2보다 1.4~2.1배 컸다. 키를 놓은 뒤 움직임 크기도 CS:GO는 입력 중의 112~126%로 오히려 커졌고, CS2는 76~78%로 줄었다. 후진/전진 대칭도는 CS:GO 26%, CS2 80%였다.
4가지 큐레이션 전략 중 커버리지 기반, 희귀 Trajectory, 충돌 인지는 일부 지표를 개선했지만 플레이 가능성은 바꾸지 못했다. 진단 결과에 근거한 행동-상태 일관성 선택만 baseline_v1보다 플레이 가능성이 정성적으로 개선됐다고 보고됐다.

한계

플레이 가능성은 공식 프로토콜이 아니라 저자들이 직접, 블라인드 없이 Rollout을 보고 판단한 것이라 기대 편향을 배제할 수 없다. 행동-상태 일관성 전략은 정량 지표와 학습 일정이 아직 확정되지 않아 정성 결과뿐이다. 일부 전략의 LPIPS·FVD·JEDi도 GPU 부족으로 측정하지 못했다. 반응 크기를 모멘텀·대칭과 분리하는 통제 Ablation과 반대 방향 큐레이션 같은 음성 대조군이 없다. 두 데이터는 엔진 세대(Source vs Source 2)도 달라 그 영향이 일부 섞였을 수 있다.

의미

게임·로봇용 월드 모델을 학습할 때 영상 품질 지표만으로 데이터나 모델을 고르면 실제 조작성 문제를 놓칠 수 있음을 구체적 사례로 보여준다. 학습 전에 데이터의 행동-반응 특성을 측정하는 실용적 진단 방향과 공개 도구도 제시한다.

핵심 용어

행동 조건부 월드 모델(Action-conditioned World Model): 과거 프레임과 사용자 입력(행동)을 받아 다음 화면을 예측하는 모델이다. 게임 시뮬레이션이나 로봇 정책 학습의 가상 환경으로 쓰인다.
Virtual2Real 격차: 이 논문이 정의한 용어로, FVD·LPIPS 같은 지표 점수와 실제로 플레이해 볼 때의 품질 사이의 불일치를 말한다. 시뮬레이터의 정확도보다 학습 데이터 분포에서 비롯되는 문제로 본다.
FVD / LPIPS: FVD는 영상 특징 분포 간 거리, LPIPS는 프레임 단위 지각적 차이를 재는 생성 영상 품질 지표다. 둘 다 위치 순간이동이나 벽 통과처럼 여러 프레임에 걸친 물리 위반은 잘 잡지 못한다.
행동-상태 일관성(Action-State Consistency): 같은 입력이 항상 비슷한 화면 움직임을 만드는지를 나타내는 데이터 특성이다. 이 논문에서는 키 입력 뒤의 Optical flow 변위로 측정한다.

원문

저자: Nirmit Desai, Eric Song, Mayank Sengupta, Tejal Bedmutha, Siri Reddy, Sahiti Dharmavaram, Kunal Sawarkar · 게시 2026-10-07 · 라이선스 CC BY-SA 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.