← 주요 논문

논문 리뷰 · 2026년 11월 19일

NVIDIA Kumo Tabular: 정확도와 효율을 함께 끌어올린 표 데이터 파운데이션 모델

NVIDIA Kumo Tabular: Pushing the Accuracy-Efficiency Frontier for Tabular Prediction

전통 ML·추천·검색효율·인프라 중급 cs.LG

합성 표 데이터만으로 사전학습한 In-context learning 기반 표 파운데이션 모델 3종을 공개해, 8개 벤치마크 1위와 경쟁 모델보다 빠른 예측을 달성했다.

문제

표 데이터 예측은 오랫동안 과제마다 튜닝한 그래디언트 부스팅 트리가 주도했다. 최근 표 파운데이션 모델(TFM)이 학습 없이 예측하며 앞서기 시작했지만, 정확도와 추론 속도, 대형 표 처리 능력을 함께 갖추기는 어려웠다.

방법

TabICL·TabICLv2 구조를 확장했다. 셀 임베딩은 이웃 셀을 묶고 sin/cos 특징과 결측 임베딩을 쓴다. 표 인코더는 열 어텐션(inducing point로 선형 비용)과 행 어텐션을 번갈아 쌓아 행 임베딩을 만든다. 이어 ICL Transformer가 레이블 있는 행을 맥락으로 테스트 행을 예측하며, 테스트 행은 KV 헤드 2개만 읽는 Test-GQA를 쓴다. 길이 인식 온도로 긴·넓은 표에서도 어텐션이 흐려지지 않게 했다. 사전학습 데이터는 랜덤 인과 그래프 기반 Kumo prior로 생성했고, 측정 노이즈, 상관 특징 블록, 결측 패턴, 학습 가능성 필터를 추가했다. 표 크기를 1,024행에서 최대 6만 행으로 늘리는 3단계로 학습했다. 크기는 S(27M), M(61M), L(214M)이다.

결과

한계

사전학습은 합성 표만 썼다. 한 번에 최대 10개 클래스를 다루고 그 이상은 하위 과제로 나눈다. 20만 행이 넘으면 추정기마다 학습 행을 서브샘플링하고, 열도 추정기당 최대 500개만 쓴다. L 체크포인트 하나에 약 11,600 GPU시간이 든다. 순위와 속도 비교는 각 벤치마크 프로토콜을 따른다.

의미

표 데이터는 금융, 제조, 의료 등 기업 현장에서 가장 흔한 데이터다. 튜닝 없이 강한 예측을 빠르게 내는 오픈 모델(가중치·학습 코드 공개)이어서 AutoML이나 GBDT 파이프라인의 대안·보완으로 바로 시험해 볼 수 있다.

핵심 용어

표 파운데이션 모델(TFM)
대량의 예측 과제로 사전학습해, 새 표가 주어지면 별도 학습 없이 한 번의 forward pass로 테스트 행을 예측하는 모델이다.
In-context learning(ICL)
레이블이 있는 학습 행을 입력 맥락으로 함께 넣어, 가중치 업데이트 없이 그 패턴으로 테스트 행을 예측하는 방식이다.
Prior(합성 데이터 생성기)
랜덤 인과 그래프와 함수로 가짜 표를 무한히 만들어 내는 생성기다. 모델은 이 분포에서 사후 예측 분포를 근사하도록 학습된다.

원문

저자: Jingang Qu, Valter Hudovernik, Martin Jurkovič, Cedric Lorenz, David Holzmüller, Federico Lopez, Dmitry Gordeev, Akihiro Nitta, 외 · 게시 2026-11-17 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.