주제 탐구 · 2026-11-16 · 기초 · 작성자 bombong
JEPA: 픽셀 재구성 대신 잠재 공간에서 예측하는 사전학습
JEPA는 가려진 부분을 픽셀로 다시 그리지 않습니다. 대신 그 부분이 '무엇일지'를 임베딩 공간에서 맞히게 해서 의미 있는 표현을 배웁니다. 이미지에서 출발해 소리·센서·위성 영상·주행 영상으로 넓어졌고, 요즘은 행동 계획과 언어 모델에 연결하는 연구가 늘고 있습니다.
목차
- JEPA는 보이는 부분(컨텍스트)으로 가려진 부분(타깃)의 원본 픽셀이 아니라 그 부분의 임베딩을 예측하게 합니다. 그래서 맞힐 수 없는 세부 대신 맞힐 수 있는 구조에 학습 용량을 씁니다.
- 정답 임베딩도 모델이 만들기 때문에 모든 입력을 같은 벡터로 보내는 '붕괴'가 생길 수 있습니다. 보조 과제처럼 표현을 붙잡아 두는 장치가 필요합니다.
- 어디를 가리고 무엇을 조건으로 줄지가 성능을 좌우합니다. 그래서 예측 순서, 캡션 조건, 불확실성 모델링 같은 변형이 나왔습니다.
- 최근에는 V-JEPA 계열 표현을 주행 계획 고르기나 비디오 언어 모델에 연결합니다. 다만 인코더에 정보가 담겨 있어도 이를 '읽어 내는' 학습은 따로 설계해야 합니다.
- 잠재 공간 예측만으로 견고성이 보장되지는 않습니다. 의료 영상 연구에서는 잡음과 공격에 표현이 크게 흔들렸습니다.
왜 필요했나: 픽셀을 다시 그리는 사전학습의 고민
라벨이 없는 대량의 데이터로 모델을 미리 학습시키는 사전학습에서 흔히 쓰는 방법은 '가리고 맞히기'다. 이미지 일부나 소리 일부를 지운 뒤 모델에게 원래대로 복원하게 하면, 사람이 정답을 달지 않아도 데이터 자체가 문제와 정답이 된다. 이를 자기 지도 학습이라고 부른다.
그런데 원본을 픽셀이나 파형 그대로 복원하게 하면 모델은 나뭇잎의 결, 카메라 잡음, 배경 소음처럼 애초에 맞힐 수 없는 세부까지 맞추려고 애쓴다. 정작 나중에 쓸모 있는 '이게 무엇이고 어떻게 놓여 있나'라는 의미를 배우는 데 쓸 용량이 그만큼 줄어든다.
JEPA(Joint-Embedding Predictive Architecture, 결합 임베딩 예측 아키텍처)는 이 문제를 피하려고 예측 대상을 바꿨다. Audio-JEPA논문는 JEPA를 '가려진 영역의 잠재 표현을 고수준 특징 공간에서 예측하는 자기 지도 학습 틀'이라고 소개하고, 원본 오디오를 복원하는 대신 스펙트로그램 패치의 잠재 표현을 예측한다. 센서 시계열에 JEPA를 적용한 CHARM논문도 잠재 공간에서 예측하는 방식이 센서 잡음에 강한 표현을 유도한다고 설명한다.
핵심 아이디어: '다시 그리기' 대신 '무엇일지 말하기'
사진의 일부를 가리고 두 가지 시험을 낸다고 해 보자. 첫 시험은 가려진 부분을 붓으로 똑같이 그리게 한다. 털 한 올, 그림자 하나까지 맞춰야 점수가 나온다. 두 번째 시험은 '여기에는 강아지 머리가 정면을 보고 있을 것'처럼 요지만 말하게 한다. 두 번째 시험을 잘 보려면 장면을 이해해야 하지만 붓질 실력은 필요 없다. JEPA는 두 번째 시험을 낸다.
이름의 '결합 임베딩'은 보이는 부분과 가려진 부분을 같은 임베딩 공간(의미를 숫자 벡터로 나타내는 공간)으로 옮긴다는 뜻이다. '예측'은 그 공간 안에서 한쪽 벡터로 다른 쪽 벡터를 맞힌다는 뜻이다. 정답이 픽셀이 아니라 벡터이므로, 예측할 수 없는 세부는 벡터를 만드는 단계에서 걸러질 수 있다.
대가도 있다. 결과가 픽셀로 나오지 않으니 그림을 생성하는 데는 바로 쓸 수 없다. 정답 벡터를 모델 스스로 만들기 때문에 학습이 엉뚱한 쪽으로 무너질 위험도 생긴다. 또 다른 대안인 대조 학습(같은 대상의 두 모습은 가깝게, 다른 대상은 멀게 당기는 방식)과 비교하면, JEPA는 '다른 대상' 예시를 따로 고를 필요 없이 예측만으로 학습한다. Text-Conditional JEPA논문는 특징 예측만으로 하는 비전-언어 사전학습이 여러 과제, 특히 세밀한 시각 이해와 추론이 필요한 과제에서 대조 방식보다 낫다고 보고했다.
픽셀 재구성 대 JEPA
픽셀 재구성가린 부분을 다시 그리기
- 정답이 원본 픽셀·파형
- 맞힐 수 없는 세부까지 맞추려 함
- 생성 용도로 바로 이어짐
JEPA가린 부분의 임베딩 맞히기
- 정답이 타깃 인코더의 임베딩
- 예측 가능한 구조에 집중
- 붕괴를 막는 장치가 필요
공통 라벨 없이 데이터 자체로 학습하는 사전학습 방법
어떻게 작동하나: 인코더 둘과 예측기 하나
작동 순서를 단계별로 보면 이렇다. 먼저 입력을 작은 조각(패치)으로 나눈다. 이미지라면 사각형 조각이고, Audio-JEPA논문처럼 소리라면 멜 스펙트로그램(소리를 시간×주파수 그림으로 바꾼 것)의 조각이다. 그중 일부를 '타깃'으로 정해 가리고, 나머지를 '컨텍스트'로 남긴다.
둘째, 컨텍스트 인코더가 보이는 조각들을 임베딩으로 바꾼다. 셋째, 타깃 인코더가 가려졌던 조각의 원본을 보고 '정답 임베딩'을 만든다. 넷째, 예측기가 컨텍스트 임베딩과 '어디를 맞혀야 하는지'라는 위치 정보를 받아 타깃 임베딩을 예측한다. 다섯째, 예측한 벡터와 정답 벡터의 차이를 줄이는 쪽으로 학습한다. 학습이 끝나면 대개 인코더만 떼어 분류·검색·계획 같은 다른 과제에 쓴다. CHARM논문처럼 인코더를 고정하고 선형 분류기 하나만 얹는 선형 프로브로 표현의 질을 재는 경우가 많다.
이 구조에는 약점이 하나 있다. 정답도 모델이 만들기 때문에, 모든 입력을 같은 벡터로 보내면 예측이 늘 맞아 손실이 0이 된다. 이것을 표현 붕괴라고 한다. 보조 과제 연구논문는 잠재 상태 전이 예측과 함께 보조 회귀 헤드를 학습하는 단순한 JEPA 변형을 분석했다. 그 결과 결정론적 환경에서 두 손실이 모두 0으로 가면, 전이 방식이나 보조 값이 다른 관측들은 서로 다른 표현으로 갈 수밖에 없다는 'No Unhealthy Representation Collapse' 정리를 증명했다. 보조 과제가 '무엇을 구별해야 하는지'를 붙잡아 두는 닻 역할을 한다는 뜻이다.
발전 흐름: 이미지에서 소리·센서·주행 영상으로
이미지 쪽에서는 '어디를 어떤 순서로 맞힐지'를 다듬었다. DSeq-JEPA논문는 I-JEPA가 가려진 영역을 한꺼번에 병렬로 예측해 순서를 둘 수 없다는 점을 지적했다. 그래서 어텐션으로 만든 중요도 지도에서 핵심 영역을 먼저 찾고, 나머지를 중요한 순서대로 예측하게 했다. 사람이 중요한 단서부터 보는 방식을 흉내 낸 커리큘럼 같은 순서다. 분류, 세밀 분류, 검출·분할, CLEVR 추론까지 여러 과제에서 더 나은 표현을 얻었다고 보고했다. Text-Conditional JEPA논문는 가려진 자리가 본래 불확실해서 예측이 어렵다는 문제를 이미지 캡션으로 풀었다. 텍스트 토큰에 대한 희소 크로스 어텐션으로 예측 특징을 조정하자 하위 과제 성능과 학습 안정성이 함께 좋아졌다.
다른 데이터로도 빠르게 옮겨 갔다. Audio-JEPA논문는 원래 모델을 오디오로 거의 그대로 옮겼을 뿐인데도 wav2vec 2.0, data2vec과 비슷한 성능을 냈다. 학습 데이터는 그들의 5분의 1도 안 썼고 하이퍼파라미터 튜닝도 하지 않았다. CHARM논문은 센서 채널마다 붙은 설명 글을 모델에 넣어, 이상 탐지·분류·예측을 선형 프로브만으로 잘 해냈다. 성능은 주로 JEPA 목표와 조건 구조에서 나왔고, 설명 글은 데이터셋이 달라도 채널을 알아보게 하는 식별자 역할을 했다고 분석했다. CAPE-JEPA논문는 SAR(레이더)와 다중분광 영상처럼 물리적으로 다른 센서 사이의 검색을 다뤘다. 앞선 X-JEPA가 모든 패치를 똑같이 예측할 수 있다고 가정한 점을 짚고, 패치마다 평균과 분산을 내는 확률적 예측기를 썼다. 그 결과 BEN-14K에서 최대 13.74점, fMoW에서 최대 15.59점 X-JEPA를 앞섰다.
영상으로 넓힌 V-JEPA는 주행에 들어갔다. Drive-JEPA논문는 대규모 주행 영상으로 ViT 인코더를 V-JEPA 방식으로 사전학습했다. 이 표현에 단순한 트랜스포머 디코더만 붙여도 NAVSIM의 인식 모듈 없는 설정에서 기존 방법보다 3 PDMS 높았고, 전체 틀은 v1에서 93.3 PDMS, v2에서 87.8 EPDMS를 기록했다.
요즘 어디로 가고 있나: 예측을 행동과 언어에 잇기
최근 흐름은 JEPA가 배운 '앞으로 어떻게 변할지'에 대한 표현을 실제 결정에 쓰는 쪽이다. ActWorld-JEPA논문는 잠재 공간에서 미래를 일관되게 예측한다고 해서 후보 주행 계획 가운데 무엇이 더 나은지까지 알 수 있는 것은 아니라고 출발한다. 그래서 후보 Trajectory(계획 경로)를 조건으로 미래 잠재 상태를 예측하고, 계획과 예측된 미래가 얼마나 맞고 어긋나는지를 보고 계획 점수를 고쳐 순위를 다시 매긴다. NAVSIM v1 navtest에서 94.1 PDMS를 보고했는데, 최종 선택기는 NAVTEST 집계 피드백으로 보정했다고 밝혔다. 숫자를 볼 때 이 조건을 함께 봐야 한다. 행동을 넣어 미래를 예측하는 이런 구조는 월드 모델(세상이 어떻게 변할지 내부에서 흉내 내는 모델)에 가깝다.
V-JEPA-LM논문은 언어 쪽을 다뤘다. V-JEPA 같은 영상 인코더는 방향·속도·순서·상태 변화 같은 동역학을 배운다. 그런데 캡션과 질의응답으로 언어 모델에 붙이면 그 정보가 쓰이지 않는다. 같은 문항에서 고정된 V-JEPA 특징으로 속도를 선형 프로브하면 87%를 맞히는데, VLM은 우연 수준으로 답했다. 연구진은 픽셀 변환으로 '변화만 다른' 반사실 학습 데이터를 만들어 언어 모델이 그 정보를 읽게 했다. 그 결과 4B 모델이 11개 비디오 벤치마크 평균 72.1점을 받았다. 같은 크기의 가장 좋은 공개 4B 모델은 61.1점, 공개 8B 최고 모델은 64.8점이었다.
두 연구가 함께 보여 주는 결론은 같다. 인코더는 '무엇을 읽을 수 있는지'를 정하고, 그 위의 학습 신호는 '무엇을 실제로 읽는지'를 정한다. JEPA 표현의 가치는 그 표현을 꺼내 쓰는 쪽의 설계까지 갖춰야 드러난다.
11개 비디오 벤치마크 평균 점수
한계와 쟁점, 그리고 실무 판단 기준
첫째는 견고성이다. 흉부 X선 연구논문는 NIH ChestX-ray14 78,468장으로 학습한 JEPA 인코더 네 개를 공격·잡음·밝기·대비 변화 등 여섯 가지 시험에 넣었다. 그 결과 인코더 임베딩의 코사인 유사도가 0.33까지 떨어졌고, 최악의 경우(I-JEPA, Boundary 공격) AUROC가 0.12 하락했다. 깨끗한 영상과 변형된 영상을 함께 써서 예측기를 적대적으로 파인튜닝하자 임베딩 일관성이 거의 모든 경우 0.97을 넘었다. 반면 깨끗한 영상으로만 학습한 벡터 양자화 코드북은 오히려 나빠졌다. 잠재 공간 예측이 잡음에 강한 표현을 '유도'할 수는 있지만 보장하지는 않으며, 변형된 데이터로 직접 학습해야 견고해진다는 뜻이다.
둘째는 불확실성이다. 가려진 자리에 무엇이 올지는 본래 여러 답이 가능하다. Text-Conditional JEPA논문가 캡션 조건을, CAPE-JEPA논문가 패치별 분산 예측을 넣은 것도 이 때문이다. 셋째는 붕괴다. 보조 과제 연구논문가 보여 주듯, 무엇을 구별해야 하는지 알려 주는 신호가 없으면 표현이 필요한 구분을 잃을 수 있다.
실무 기준으로 정리하면 이렇다. 라벨은 적고 라벨 없는 영상·센서 데이터는 많을 때, 그리고 최종 용도가 분류·검색·계획처럼 '의미 판단'일 때 JEPA가 잘 맞는다. 결과물을 픽셀이나 파형으로 내야 하는 생성 과제라면 따로 디코더가 필요하다. 흔한 실수는 세 가지다. 손실 값이 내려가는 것만 보고 붕괴를 놓치는 것, 이미지용 균일 마스킹을 의료·위성처럼 구조가 다른 도메인에 그대로 쓰는 것, 깨끗한 검증 데이터 성능만 보고 배포하는 것이다. 특히 의료처럼 환자에게 영향을 주는 분야에서는 연구 벤치마크 수치가 실제 진료 성능을 뜻하지 않는다. 판단의 최종 책임은 사람에게 있다.
JEPA 도입 전 점검
적합성
- 라벨 없는 데이터가 충분한가
- 최종 용도가 분류·검색·계획 같은 의미 판단인가
- 픽셀 출력이 필요하면 디코더를 따로 두었는가
학습
- 선형 프로브로 붕괴 여부를 확인했는가
- 마스킹 위치가 도메인 구조에 맞는가
- 예측 불확실성을 다룰 조건·장치가 있는가
배포
- 잡음·변형 데이터로 견고성을 시험했는가
- 표현을 읽어 내는 쪽 학습을 따로 설계했는가
- 사람이 최종 판단하는 절차가 있는가
더 공부하려면
이 목록에는 I-JEPA나 V-JEPA의 원 논문이 없다. 그래서 각 논문 도입부의 설명으로 출발점을 잡는 것이 좋다. 구조를 처음 익힐 때는 Audio-JEPA논문가 알맞다. 원래 설계를 오디오로 단순하게 옮긴 논문이라 인코더·예측기·마스킹이 무엇인지 군더더기 없이 보인다.
다음으로 이미지 쪽 개선을 다룬 DSeq-JEPA논문와 Text-Conditional JEPA논문를 읽으면 '어디를 맞힐지', '무엇을 조건으로 줄지'라는 설계 축이 잡힌다. 붕괴가 왜 생기고 어떻게 막는지 이론으로 보고 싶다면 보조 과제 연구논문를 읽는다.
로보틱스·주행처럼 월드 모델 쪽에 관심이 있다면 Drive-JEPA논문에서 ActWorld-JEPA논문로 이어 읽고, 언어 모델과의 연결은 V-JEPA-LM논문을 본다. 실제 배포 전 위험을 따지려면 흉부 X선 견고성 연구논문를 꼭 함께 읽기를 권한다.
관련 용어
참고 문헌
핵심 논문
- Audio-JEPA: Joint-Embedding Predictive Architecture for Audio Representation Learning (2025)
- DSeq-JEPA: Discriminative Sequential Joint-Embedding Predictive Architecture (2025)
- Text-Conditional JEPA for Learning Semantically Rich Visual Representations (2026)
- Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings (2026)
- CAPE-JEPA - Cross-modal Adversarial Probabilistic Embedding JEPA (2026)
- Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving (2026)
- Why and How Auxiliary Tasks Improve JEPA Representations (2025)
최근 연구
- ActWorld-JEPA: Action-Conditioned JEPA World Models Meet Latent Planning for End-to-End Autonomous Driving (2026)
- V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations (2026)
- Cracks in Embeddings: Robustness and Stability of JEPA-Based Chest X-Ray Representations (2026)
AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.