논문 리뷰 · 2026년 11월 10일

SplatAnything: 임의 장면을 위한 Feed-forward 3DGS용 Gaussian 간격 정규화

SplatAnything: Gaussian Spacing Normalization for Feed-forward 3DGS across Arbitrary Scenes

컴퓨터 비전 생성형 미디어 고급 추천 60 cs.CV Zhejiang University

Gaussian 중심 사이 간격의 중앙값으로 장면 스케일을 정규화(GSNorm)해, 장면 크기와 카메라 구성이 달라도 잘 일반화하는 Feed-forward 3DGS를 만들었다.

문제

Feed-forward 3DGS는 기하 파운데이션 모델이 만든 좌표 공간을 그대로 쓴다. 이 공간은 점들의 평균 반경 거리로 정규화(RDNorm)되어 있다. 그래서 이웃한 Gaussian 중심 사이 간격은 장면 스케일과 카메라 구성에 따라 크게 달라진다. 저자들은 RDNorm 이후에도 장면 종류에 따라 Gaussian 간격 중앙값이 최대 4.5배까지 차이 난다고 보고했다. 비슷하게 보이는 영역에도 서로 다른 Gaussian 크기 정답이 주어지는 셈이어서, 학습 신호가 모호해진다. 그 결과 렌더링에 구멍이 생기거나 지나치게 흐려진다.

방법

픽셀마다 Gaussian을 하나씩 두면 Gaussian 간격은 대략 깊이를 초점거리로 나눈 값(D/√(fx·fy))이 된다. GSNorm은 모든 유효 픽셀에서 이 값을 구한 뒤 중앙값으로 장면 전체를 다시 스케일링한다. 이렇게 하면 대표 간격이 1로 맞춰지고, 장면 안의 상대적인 간격 차이는 그대로 남는다. 기하 추정에는 동결한 WorldMirror 2.0을 쓴다. 같은 모델의 백본을 Gaussian 백본으로 파인튜닝하고, 가벼운 GSHead를 처음부터 학습해 픽셀별 불투명도·회전·스케일·SH 계수를 예측한다. 손실은 MSE와 LPIPS다. 학습에는 H20 GPU 64장으로 20,000 iteration이 들었다. 이와 함께 데이터셋 7개, 입력 뷰 1~64장, 입력-타깃 겹침 0.2~0.6 범위의 Extrapolation 시점을 포함하는 벤치마크를 새로 만들었다.

결과

포즈 없이 4~64뷰를 입력한 설정에서 DTU DISTS 0.229를 기록해 가장 강한 기준선 Mirror2-GS(0.347)보다 낮았다(낮을수록 좋음).
같은 설정의 DL3DV LPIPS는 0.156으로 Mirror2-GS(0.188), DA3-GS(0.228)보다 낮았다. 7개 데이터셋 중 대부분에서 DISTS·LPIPS 1위였다.
포즈를 함께 넣은 설정에서도 Mip-NeRF 360 LPIPS 0.440으로 Mirror2-GS 포즈 조건 버전(0.506), ReSplat(0.525)보다 좋았다.
단일 뷰 입력에서는 DL3DV DISTS 0.279로 SHARP(0.335)보다 좋았다. 다만 ScanNet·NRGBD·Mip-NeRF 360에서는 SHARP가 더 좋아 결과가 엇갈렸다.

한계

ETH3D LPIPS(포즈 없음)는 0.049로 QuerySplat(0.031), YoNoSplat(0.033)보다 나빠 모든 지표에서 앞서지는 않는다. 단일 뷰 설정에서는 단안 전용 모델 SHARP보다 뒤지는 데이터셋이 있다. Gaussian 간격 계산은 국소적으로 깊이가 일정하다는 1차 근사에 기대며, 성능이 동결된 기하 모델(WorldMirror 2.0)의 깊이 품질에 좌우된다. 평가 벤치마크를 저자들이 직접 설계했고, 학습에 GPU 64장 규모가 필요하다.

의미

이미지 몇 장으로 몇 초 만에 3D 장면을 만드는 기술은 대규모 3D 복원과 콘텐츠 제작에 쓰인다. 이 논문은 아키텍처를 바꾸지 않고 정규화 기준만 바꿔 실내·실외·물체처럼 스케일이 다른 장면에서의 일반화를 개선했다. 같은 계열 파이프라인에 쉽게 적용해 볼 수 있다.

핵심 용어

3DGS(3D Gaussian Splatting): 장면을 수많은 3D Gaussian(위치·크기·색·불투명도)의 집합으로 표현해 빠르게 렌더링하는 방식이다. Feed-forward 방식은 장면마다 최적화하지 않고 네트워크 한 번의 계산으로 Gaussian을 예측한다.
Gaussian 간격(Gaussian spacing): 이웃 픽셀에서 역투영한 Gaussian 중심 사이의 거리다. 표면을 빈틈없이 덮으려면 Gaussian 크기가 이 간격에 맞아야 한다.
RDNorm / GSNorm: RDNorm은 점들의 평균 반경 거리로 장면 크기를 맞추는 기존 정규화다. GSNorm은 Gaussian 간격의 중앙값으로 장면 크기를 맞추는, 이 논문이 제안한 정규화다.
Extrapolation 시점: 입력 이미지들 사이가 아니라 입력 범위 밖에 있는 새 시점이다. 복원한 기하 구조의 정확도가 더 크게 드러나는 어려운 평가 조건이다.

원문

저자: Hao Yu, Zhenwei Wang, Yongzhen Hu, Yuning Gong, Junta Wu, Xiaowei Zhou, Hujun Bao, Tengfei Wang, 외 · 게시 2026-11-05 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.