SCOPE: 텍스트-이미지 생성의 프롬프트 재작성을 위한 의미 단위 Credit 최적화

문제

강화학습으로 프롬프트 재작성 모델을 학습하면 이미지 하나에서 나온 보상 하나를 모든 서브워드 토큰에 똑같이 적용한다. 그런데 객체·개수·속성·관계는 여러 토큰에 걸친 의미 단위다. 토큰 경계와 의미 경계가 맞지 않아 Credit이 쪼개진다. 그렇다고 span마다 따로 보상을 매기면 이미지를 추가로 렌더링해야 해서 비용이 크다.

방법

재작성 모델(Qwen3-8B)이 개선된 프롬프트를 '|'로 나눈 의미 span 형태로 출력하게 했다. 출력 형식에는 별도의 형식 보상을 준다. 각 span 안에서 현재 정책과 이전 정책의 로그 확률 변화를 평균해 계수를 만든다. 이 계수는 [0.8, 1.2]로 클리핑하고, 토큰 수로 가중 평균이 1이 되게 정규화한 뒤 gradient를 끊는다. 완성문 단위 advantage는 하나로 유지하고, 이 계수로 span 안 토큰들의 손실 기여도만 조정한다. span별 보상, 추가 렌더링, 학습된 critic은 필요 없다. 민감도 β=0이면 기본 GRPO와 같아진다. 이미지 생성 모델(Qwen-Image, SD3, FLUX.1-dev)은 고정했다.

결과

• GenEval 종합 점수가 기본 GRPO 대비 Qwen-Image 0.91→0.95, SD3 0.74→0.84, FLUX.1-dev 0.76→0.84로 올랐다. 세 모델 평균 상대 향상은 9.48%였다.
• T2I-CompBench에서는 세 모델 모두 6개 카테고리 전부에서 GRPO보다 높았고, 평균 상대 향상은 7.62%였다.
• SD3에서 개수 정확도는 0.58→0.79, 위치 정확도는 0.57→0.83으로 크게 올랐다. GenEval 세부 18개 항목 중 17개에서 GRPO보다 높았다.
• Ablation에서 토큰별 가중치보다 span 단위로 묶는 방식이, 무작위·고정 길이 경계보다 의미 경계가 더 좋았다. 저자들은 이를 의미 구조 자체가 효과를 낸다는 근거로 제시했다.

한계

학습 보상에 GenEval·T2I-CompBench 평가 모델을 그대로 써서, 벤치마크 평가기에 맞춰진 개선일 가능성을 배제하기 어렵다. 프롬프트 세트 자체는 학습과 평가가 분리돼 있다. 재작성 모델은 Qwen3-8B 하나만 실험했다. RePrompt 비교에서 SD3·FLUX.1-dev 수치는 직접 재현하지 않고 논문에 발표된 값을 썼다. 이미지 품질이나 사람 선호도 평가는 제공된 본문에서 확인되지 않는다.

의미

이미지 생성 모델을 다시 학습하지 않고 프롬프트 계층만 개선해 개수·위치·속성 일치를 높이는 저비용 방법이다. 추가 렌더링 없이 기존 GRPO 파이프라인에 붙일 수 있어 실무 적용 장벽이 낮다.

핵심 용어

GRPO(Group Relative Policy Optimization)

한 입력에 대해 여러 응답을 생성하고, 그룹 안에서 보상을 비교해 advantage를 계산하는 강화학습 기법. 별도의 가치 모델(critic)이 필요 없다.

Credit Assignment

최종 보상 하나를 응답의 어느 부분(토큰·구간)이 얼마나 기여했는지에 나눠 주는 문제.

의미 span

객체, 개수, 속성, 공간 관계처럼 하나의 의미를 이루는 구절 단위. 여러 서브워드 토큰에 걸칠 수 있다.

프롬프트 재작성기(Prompt Rewriter)

사용자 프롬프트를 이미지 생성 모델이 더 잘 따르는 형태로 고쳐 쓰는 언어 모델. 이미지 생성 모델은 고정한 채 학습한다.

원문

• arXiv 초록
• PDF
• HTML 본문
• Hugging Face

저자: Yufei Jiao, Jinfa Huang, Zeyue Xue, Tianyu Xie, Yuexiao Ma, Rongrong Ji, Xiawu Zheng, Jiebo Luo · 게시 2026-10-15 · 라이선스 CC BY 4.0 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.