논문 리뷰 · 2026년 11월 12일
Tree-Ising: 비트 단위 Ising 편집으로 언어 모델의 추론 루프 수리
Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
LLM 에이전트가 하던 가중치 수리를 행별 QUBO(Ising) 최적화 문제로 바꿔, 훨씬 적은 비용과 가중치 변경으로 더 높은 정확도를 얻었다.
문제
Qwen3.5-0.8B는 thinking 모드에서 같은 문장을 반복하는 루프에 빠진다. MATH-500 문제의 93%가 32k 토큰 상한에 걸리고, 정확도는 7.9%에 그친다. 선행 연구(Takehi et al.)는 GPT-6 Astra 에이전트가 가중치를 직접 읽고 고치게 해 이 문제를 풀었다. 하지만 158턴, 8,970만 토큰, 15.6시간이 들었고, 찾은 편집이 최적이라는 보장도 없었다.
방법
BF16 가중치를 State Tree로 표현한다. 64개 가중치 묶음이 지수(exponent)를 공유하는 무손실 구조다. 허용 편집은 부호 반전과 2의 거듭제곱 배율 이동뿐이며, 공유 지수와 가수(mantissa)는 건드리지 않는다. Forward 통계만으로 '루프 방향'과 '결론 방향'을 구하고, 한 번의 Forward 스캔으로 편집할 레이어(15·19)를 고른다. 목적함수는 세 가지를 합친다. 루프 토큰에서 루프 방향 출력은 약하게, 정상 토큰의 출력은 보존, 바뀌는 가중치 수는 최소로. 이 목적함수를 출력 행마다 독립된 QUBO(Ising) 문제로 정확히 분해한다. 풀이는 GPU에서 Simulated Annealing이나 Simulated Bifurcation으로 한다.
결과
- 같은 두 레이어와 같은 평가 조건에서 MATH-500 정확도 54.6%로, 에이전트 편집(51.7%)보다 높음(p≈0.003). 기본 모델은 보고값 기준 7.9%.
- Simulated Bifurcation 솔버도 55.1%로 통계적으로 같은 수준. 두 솔버 모두 수학 벤치마크 5개 전부에서 에이전트 편집을 앞섰고, 다중비교 보정 후 MATH-500·GSM8K에서 유의함.
- 에이전트 대비 Forward 요청 50회→4회, LLM 토큰 0개, 소요 시간 15.6시간→31분, 비용 $312→약 $0.90.
- 변경한 가중치는 13~17% 적고, BF16 비트 플립은 2.2~2.3배 적음. 공유 지수·가수 쓰기는 설계상 0.
- 에이전트의 참조 편집 없이 Qwen3.5-2B에 적용해 greedy GSM8K 정확도를 21.6%에서 69.4%로 올림.
한계
저자들은 Qwen3.5-0.8B 실험에서 에이전트가 고른 레이어를 재사용하고, 편집 강도(dose)도 에이전트 편집을 기준으로 맞췄다고 밝혔다. 따라서 비용 비교는 '해법을 찾는 과정' 대 '이미 정해진 레시피 적용'의 비교다. 레이어 선택 규칙(마지막 레이어 제외)은 점수를 본 뒤에 정했다. 두 모델 모두 full attention과 linear attention을 섞은 같은 구조여서, 스캔 결과가 일치한 것이 구조 탓일 수 있다. 실험은 Qwen3.5 소형 모델 두 개와 수학 추론 루프 문제에 한정된다. QAOA 양자 실행은 8변수 개념 증명 수준이다.
의미
모델 수리를 값비싼 에이전트의 판단에 맡기지 않고, 재현 가능한 저비용 최적화 문제로 풀 수 있음을 보였다. Gradient 없이 저장 포맷 그대로 희소하게 편집하므로, 배포된 소형 모델의 특정 결함을 빠르게 고치는 실용적 방법이 될 수 있다.
핵심 용어
- QUBO / Ising 모델
- 이진 변수에 대한 2차 다항식을 최소화하는 문제 형식이다. Simulated Annealing 같은 범용 솔버나 양자 어닐러·QAOA로 바로 풀 수 있다.
- State Tree
- 각 가중치를 이산 결정의 경로로 표현하는 방식이다. 결정을 공유하는 가중치끼리 노드를 공유한다. 무손실 BF16 저장은 64개 가중치가 지수를 공유하는 특수한 경우다.
- Weight-space programming
- 학습(gradient) 없이 네트워크 가중치를 직접 읽고 수정해 동작을 바꾸는 접근이다.
- Simulated Bifurcation
- 양자 시스템에서 착안한 Ising 문제 풀이 알고리즘이다. GPU에서 많은 문제를 병렬로 풀 수 있다.
원문
저자: Hadi Salloum, Ammar Ali · 게시 2026-11-10 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석
이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.