← 주제 탐구

주제 탐구 · 2026-11-20 · 심화 · 작성자 bombong

에너지 기반 추론기(EBR): 반복 추론에 ‘얼마나 맞았나’ 점수를 붙이다

에너지 기반 추론기(EBR)는 잠재 추론 상태를 평가하는 에너지 함수를 학습하고, 반복 계산 한 번을 이 에너지를 낮추는 경사 하강 한 걸음으로 본다. 이렇게 하면 같은 블록을 반복하는 루프 모델에 진행 척도와 멈춤 신호가 생긴다. 반면 에너지 지형을 잘 다듬어야 하고, 잠재 상태가 낯선 영역으로 흘러가는 문제를 함께 다뤄야 한다.

목차
핵심 정리
  • 루프 모델은 같은 블록을 여러 번 반복해 추론 깊이를 늘린다. 그러나 언제 멈출지, 지금 상태를 어느 방향으로 고칠지 알려 주는 척도가 따로 없다.
  • EBR(2611.08977)은 잠재 상태마다 에너지 점수를 매기고, 반복 갱신을 이 에너지에 대한 경사 하강으로 정의한다. 점수는 진행 정도를, 기울기는 고칠 방향과 멈출 때를 알려 준다.
  • 에너지 지형을 잘 만들려면 정답 근처만 학습해서는 부족하다. 탐색 기반 학습이나 하드 네거티브를 쓴 대조 학습으로 더 넓은 상태 공간까지 다듬어야 한다.
  • 잠재 상태를 최적화하면 디코더가 학습 때 본 적 없는 영역으로 흘러갈 수 있다. EBRM(2603.28248)에서는 이 문제로 CNF 논리 과제 정확도가 약 95%에서 약 56%로 떨어졌다.
  • 지금까지의 근거는 스도쿠·그래프 연결성·논리식처럼 정답을 검증할 수 있는 알고리즘 과제에서 나왔다. 일반 언어 과제로 넓힐 때는 따로 검증해야 한다.

왜 필요했나: 반복은 하는데 나아지는지 모른다

추론을 잘하게 만드는 방법 가운데 하나는 ‘루프(looping)’다. 신경망 블록 하나를 여러 번 반복해 통과시키면 파라미터 수는 그대로 두면서 실제 계산 깊이를 늘릴 수 있다. 이를 Loop Transformer나 Recurrent Depth라고 부른다. 어려운 문제일수록 더 많이 반복해 생각하게 할 수 있다는 점에서 테스트 타임 컴퓨트를 늘리는 한 방식이기도 하다. EBR 논문논문도 루프를 추론에 유리한 귀납적 편향, 즉 모델 구조에 미리 심어 둔 유리한 가정으로 본다.

문제는 기존 루프 모델이 무엇을 기준으로 나아지고 있는지 스스로 판단하지 못한다는 점이다. 반복마다 상태가 바뀌기는 하지만 지금 상태가 정답에 얼마나 가까운지 알려 주는 명시적 척도가 없다. 그래서 언제 반복을 멈출지, 현재 상태를 어떻게 더 낫게 바꿀지 정하기 어렵다고 EBR 논문논문은 지적한다.

다른 방식에도 비슷한 빈틈이 있다. EBRM 논문논문에 따르면 한 번에 답을 내는 디코더는 반복해서 다듬지 않고 곧바로 답을 확정한다. CoT(Chain-of-Thought)는 중간 단계를 글로 늘어놓지만, 추론이 얼마나 진행됐는지 숫자 하나로 보여 주는 척도는 없다. 에너지 기반 추론은 이 빈자리에 ‘점수’를 넣으려는 시도다.

핵심 아이디어: 고도계를 들고 골짜기로 내려가기

안개 낀 산에서 가장 낮은 골짜기를 찾는 상황을 떠올려 보자. 주변이 잘 보이지 않아도 고도계와 발밑의 경사를 알 수 있으면 된다. 경사가 내려가는 쪽으로 한 걸음씩 옮기면 결국 골짜기에 닿는다. 발밑이 평평해지면 바닥에 도착했다는 뜻이니 멈추면 된다.

에너지 기반 추론기(EBR)에서 고도계 역할을 하는 것이 에너지 함수다. 에너지 함수는 모델이 머릿속에 들고 있는 잠재 추론 상태를 받아 ‘이 상태가 얼마나 그럴듯하지 않은가’를 숫자 하나로 돌려준다. 에너지가 낮을수록 좋은 답에 가깝다. 루프를 한 번 도는 것은 이 에너지가 줄어드는 방향으로 한 걸음 내려가는 경사 하강이다. EBR 논문논문은 에너지가 상태에 점수를 매기고, 그 기울기가 상태를 다듬을 방향과 멈출 신호를 함께 준다고 설명한다.

이 비유에는 정답이 여러 개인 경우도 자연스럽게 들어간다. 산에 골짜기가 여러 개 있으면 출발 지점에 따라 다른 골짜기에 닿는다. 확률 분포에서 봉우리가 여러 개인 상태를 ‘모드(mode)’라고 하는데, 에너지 지형에서는 골짜기 하나하나가 서로 다른 정답 후보가 된다.

어떻게 작동하나: 점수 매기기와 한 걸음씩 내려가기

추론 단계는 다음 순서로 진행된다. 먼저 문제를 인코더에 넣어 잠재 공간의 표현으로 바꾸고 추론 상태를 초기화한다. 다음으로 에너지 함수가 현재 상태에 점수를 매기고, 점수가 줄어드는 방향, 즉 기울기를 계산한다. 그 방향으로 상태를 조금 옮기는 일을 반복한다. 기울기가 거의 0이 되어 더 내려갈 곳이 없으면 멈추고, 마지막 상태를 디코더로 풀어 답을 낸다. EBRM논문은 이 내려가기에 보통의 경사 하강 외에 Langevin dynamics도 쓸 수 있다고 밝힌다. Langevin dynamics는 경사를 따라가면서 잡음을 조금씩 섞어, 한 골짜기에 갇히지 않고 다른 골짜기도 둘러볼 수 있게 하는 방법이다.

학습은 정답을 그대로 외우게 하는 것보다 지형을 빚는 일에 가깝다. 정답 근처의 에너지는 낮추고, 그럴듯하지만 틀린 상태의 에너지는 높여야 한다. EBRM논문은 인코더·디코더 지도 학습에, 하드 네거티브(정답과 헷갈리기 쉬운 오답 예)를 쓴 대조적 에너지 형성을 더했다. EBR논문은 여기서 더 나아가 ‘탐색 기반 학습’을 도입했다. 학습 중에 상태 공간을 더 넓게 돌아다니며 아직 찾지 못한 모드를 발견하고, 그 넓은 범위의 상태에 대해서도 에너지 지형을 다듬는 방식이다.

이렇게 설계한 이유가 있다. 추론할 때 모델은 학습 중에 직접 본 적 없는 상태를 지나간다. 지형이 정답 바로 옆에서만 잘 다듬어져 있으면 출발점이 조금만 멀어도 엉뚱한 곳으로 미끄러진다. 지형을 넓게 다듬어 두면 어디서 출발하든 기울기가 쓸모 있는 방향을 가리킬 가능성이 커진다.

EBR 추론 루프문제 입력 → 인코더; 인코더 → 잠재 추론 상태(초기화); 잠재 추론 상태 → 에너지 함수; 에너지 함수 → 기울기 계산; 기울기 계산 → 상태 갱신; 상태 갱신 → 잠재 추론 상태(반복); 기울기 계산 → 멈춤 판단; 멈춤 판단 → 디코더; 디코더 → 답문제 입력인코더잠재 추론 상태에너지 함수상태에 점수기울기 계산상태 갱신경사 하강 한 걸음멈춤 판단기울기≈0디코더답초기화반복
EBR 추론 루프 위 줄에서 문제를 잠재 상태로 바꾸고 에너지로 점수를 매긴다. 기울기를 따라 상태를 고치는 고리를 반복하다가, 기울기가 거의 0이 되면 디코더로 답을 낸다.

무엇을 맞바꿨나: 일반 루프 모델과의 차이

일반 루프 모델은 ‘다음 상태를 어떻게 만들지’라는 갱신 규칙을 바로 학습한다. EBR은 ‘상태가 얼마나 좋은지’라는 점수를 학습하고, 갱신 규칙은 그 점수의 기울기에서 끌어낸다. 이렇게 우회하면 반복할 때마다 진행 정도를 숫자로 확인할 수 있다. 기울기가 작아지면 멈추면 되므로 쉬운 문제는 일찍 끝내고 어려운 문제는 오래 생각하는 식으로 계산량을 조절하기 쉬워진다. EBR 논문논문이 보고한 추론 연산 절감은 이 구조와 맞닿아 있다.

대가도 있다. 첫째, 매 걸음 에너지의 기울기를 구해야 하므로 한 걸음의 계산이 단순한 순전파보다 무거울 수 있다. 둘째, 학습 목표가 지형 전체를 빚는 일이라 정답만 맞히게 하는 것보다 까다롭다. 네거티브를 고르는 방식이나 탐색 범위가 성능을 크게 좌우한다. 셋째, 잠재 상태를 자유롭게 최적화하므로 디코더가 익숙하지 않은 영역으로 상태가 흘러갈 위험이 있다. 이 문제는 아래 ‘발전 흐름’의 EBRM에서 자세히 다룬다.

CoT와 비교하면 차이가 더 분명하다. CoT는 사람이 읽을 수 있는 글로 중간 과정을 남겨 해석하기 쉽지만, 진행 정도를 재는 척도는 없다. 에너지 기반 추론은 중간 과정이 잠재 벡터라 읽기는 어렵지만, 매 단계 점수가 남는다. 해석 가능성을 어디에 두느냐가 다르다고 볼 수 있다. CRAFT논문처럼 기호적 지식과 결합하면 해석 가능성을 높이는 쪽으로도 쓸 수 있다.

세 가지 반복 추론 방식

CoT글로 중간 단계

  • 사람이 읽을 수 있음
  • 진행 척도 숫자는 없음

일반 루프 모델갱신 규칙을 직접 학습

  • 블록 반복으로 깊이 확장
  • 멈출 때를 정하기 어려움

EBR점수를 학습, 갱신은 기울기로

  • 매 단계 에너지로 진행 확인
  • 기울기가 멈춤 신호
  • 지형 학습이 까다롭고 표류 위험

공통 모두 한 번에 답하지 않고 여러 단계에 걸쳐 답을 다듬는다

무엇을 학습하고 진행 정도를 어떻게 확인하는지 비교했다.

발전 흐름: 네 편의 연구가 각각 더한 것

입력 자료 속 네 편은 서로 직접 계승한 관계라기보다, 같은 아이디어를 각자 다른 각도에서 다룬 연구로 보는 편이 맞다. 시간 순서대로 보면 다음과 같다.

2025년 7월의 CRAFT논문는 장면 속에서 ‘자르다’ 같은 행동을 할 수 있게 해 주는 물체를 찾는 시각 어포던스(affordance) 문제를 다뤘다. ConceptNet과 언어 모델에서 얻은 상식 지식과 CLIP이 본 시각 증거를 에너지 기반 추론 루프 안에서 반복해 맞춰 가며 예측을 다듬는다. 저자들은 이 방식이 정확도와 함께 판단 과정의 투명성도 높인다고 보고했다. 에너지 루프를 ‘서로 다른 근거를 조율하는 장치’로 쓴 사례다.

2026년 3월의 EBRM논문은 추론을 다단계 잠재 Trajectory에 대한 경사 기반 최적화로 정식화했다. 에너지는 각 단계가 입력과 잘 맞는지, 단계 사이 전이가 일관적인지, Trajectory가 매끄러운지라는 세 항으로 나뉜다. 이 연구의 큰 기여는 실패 모드를 짚은 데 있다. CNF 논리식 만족 문제에서 잠재 계획을 쓰자 정확도가 약 95%에서 약 56%로 떨어졌다. 원인은 분포 불일치였다. 디코더는 인코더 출력으로 학습했는데, 평가 때는 플래너가 최적화한 상태, 즉 학습 중 본 적 없는 잠재 영역으로 흘러간 상태를 받았다. 저자들은 디코더를 두 경로로 학습시키는 방법과 잠재 상태를 붙잡아 두는 앵커링(latent anchoring)을 해법으로 내놓고, 여섯 갈래 절제 실험 프로토콜도 제안했다.

2026년 6월의 RW-EBR논문은 IRED라는 에너지 기반 디퓨전 모델에 Modern Hopfield 방식의 Trajectory 메모리를 붙였다. 비슷한 문제를 풀었던 기록을 찾아와 출발점으로 삼는, 이른바 웜스타트다. 이 연구의 핵심은 성능보다 진단 방법이다. 오라클, 최선 상수, 질의별 무작위, 섞기, 정렬이라는 다섯 갈래 비교로 ‘이득이 어디서 오는가’를 나눠 본다. 그래프 연결성(connectivity-2)에서는 정렬된 값과 섞은 값의 차이가 균형 정확도 기준 +35pp까지 벌어졌다. 이득을 만든 것은 편향 이동이나 무작위성이 아니라 그래프별 정렬이었다. 다만 실제 배포용 파이프라인은 합격 기준에 못 미쳤고, 스도쿠에서는 키 품질 단계에서 막혔다는 부정적 결과도 함께 보고했다.

2026년 11월의 EBR논문은 루프 모델 자체를 에너지 함수 위의 경사 하강으로 다시 정의하고, 탐색 기반 학습을 더했다. 네 가지 알고리즘 추론 벤치마크에서 기존 순환 추론 모델과 같거나 더 나은 성능을 보였다. Sudoku-Extreme에서는 99.9% 정확도를 냈는데, 다음으로 좋은 모델보다 추론 연산을 345배 적게 썼고 학습 연산은 비슷했다. 정답이 여러 개인 벤치마크에서는 서로 다른 유효한 정답을 찾아내는 범위(coverage)에서 최고 수준을 기록하면서도, 한 번 뽑은 답의 정확도는 거의 100%를 유지했다.

한계와 쟁점: 언제 쓰고 무엇을 조심하나

근거의 범위부터 짚어야 한다. 네 편 모두 스도쿠, 그래프 연결성, CNF 논리식, 합성 과제, 시각 어포던스처럼 구조가 분명하고 정답을 검증할 수 있는 과제에서 실험했다. 긴 글을 이해하거나 열린 질문에 답하는 일반 언어 과제에서도 같은 이득이 나는지는 이 자료들만으로 말할 수 없다. 345배라는 수치도 Sudoku-Extreme에서 다음으로 좋은 모델과 비교한 값이지, 모든 추론 모델과 비교한 값이 아니다.

가장 흔한 함정은 잠재 상태의 표류다. EBRM논문이 보여 주듯 에너지가 꾸준히 내려가도 디코더가 그 상태를 제대로 읽지 못하면 정확도가 오히려 떨어진다. ‘에너지가 낮아졌다’와 ‘답이 맞았다’는 같은 말이 아니다. 실무에서는 단계별로 디코딩해 보고 잠재 상태가 얼마나 표류하는지 따로 추적해야 한다.

두 번째 함정은 이득의 출처를 잘못 짚는 것이다. RW-EBR논문은 웜스타트가 좋아 보여도 실제 원인이 편향 이동인지, 무작위 초기화의 효과인지, 진짜 정보 재사용인지 나눠 보지 않으면 알 수 없다고 강조한다. 진단 단계에서 효과가 보여도 배포 가능한 형태에서는 기준에 못 미칠 수 있다는 점도 함께 보여 줬다.

정리하면, 정답이 여러 개일 수 있고 검증 가능한 퍼즐형·알고리즘형 문제에서 계산량을 문제 난이도에 맞추고 싶을 때 검토할 만하다. 반대로 중간 과정을 사람이 읽어야 하는 업무이거나 검증 기준이 모호한 과제라면, 이 방식의 장점이 그대로 이어진다고 가정하지 않는 편이 안전하다.

도입 전 점검 목록

과제 적합성

  • 정답을 검증할 수 있는 구조인가
  • 정답이 여러 개일 수 있는가
  • 중간 과정을 사람이 읽어야 하는가

실험 설계

  • 단계별 디코딩으로 잠재 표류를 추적하는가
  • 에너지 감소와 정확도를 따로 보는가
  • 초기화·웜스타트 효과를 절제 실험으로 분리했는가
  • 배포 형태에서도 다시 검증했는가
에너지 기반 추론을 실험하거나 도입할 때 확인할 항목이다.

더 공부하려면

처음 읽는다면 EBR논문부터 시작하는 것이 좋다. ‘루프 모델의 갱신을 에너지 경사 하강으로 보자’는 핵심 주장이 가장 간결하게 정리돼 있고, 탐색 기반 학습이 왜 필요한지도 설명한다.

다음으로 EBRM논문을 읽으면 이 방식이 어디서 무너지는지 알 수 있다. 에너지를 세 항으로 나누는 설계, 분포 불일치 실패 모드, 여섯 갈래 절제 실험 프로토콜은 직접 실험을 설계할 때 그대로 참고할 만하다.

실험 방법론에 관심이 있다면 RW-EBR논문의 다섯 갈래 절제 설계를 보자. 웜스타트나 검색 보강처럼 ‘무언가를 더했더니 좋아졌다’는 주장을 검증하는 틀로 쓸 수 있다. 에너지 루프를 기호 지식·시각 모델과 엮는 응용이 궁금하다면 CRAFT논문가 짧은 입문이 된다.

관련 용어

Loop Transformer Recurrent Depth 경사 하강법 테스트 타임 컴퓨트 CoT 디퓨전 모델 추론 모델 손실 함수

참고 문헌

핵심 논문

AI가 참고 문헌을 바탕으로 작성하고 검수를 거친 해설입니다. 정확한 내용은 원문을 확인해 주세요.