论文解读 · 2026年10月17日
SCOPE：面向文本到图像生成提示词改写的语义单元Credit优化
SCOPE: Semantic Bounded Credit Optimization for Prompt Engineering in Text-to-image Generation
让提示词改写模型同时输出语义单元（span）边界，并按span对GRPO更新权重进行分组，在三个图像生成模型上使GenEval和T2I-CompBench得分高于基础GRPO。
问题
用强化学习训练提示词改写模型时，从一张图像得到的单个奖励会被同等地施加到所有子词token上。然而，对象、数量、属性和关系是跨越多个token的语义单元。token边界与语义边界不一致，导致Credit被割裂。但如果为每个span单独打分，就需要额外渲染图像，成本很高。
方法
让改写模型（Qwen3-8B）以用“|”分隔的语义span形式输出改进后的提示词。输出格式另设格式奖励。在每个span内，对当前策略与旧策略的对数概率变化取平均，得到系数。该系数被裁剪到[0.8, 1.2]，按token数归一化使加权平均为1，然后截断梯度。完整输出级别的advantage仍保持为一个，仅用该系数调整span内各token对损失的贡献。不需要span级奖励、额外渲染或学习得到的critic。敏感度β=0时等同于基础GRPO。图像生成模型（Qwen-Image、SD3、FLUX.1-dev）保持冻结。
结果
- 与基础GRPO相比，GenEval综合得分在Qwen-Image上为0.91→0.95，SD3为0.74→0.84，FLUX.1-dev为0.76→0.84。三个模型的平均相对提升为9.48%。
- 在T2I-CompBench上，三个模型在全部6个类别中均高于GRPO，平均相对提升为7.62%。
- 在SD3上，计数准确率从0.58→0.79，位置准确率从0.57→0.83，大幅提升。在GenEval的18个细分项中，有17项高于GRPO。
- 在消融实验（Ablation）中，按span分组优于逐token加权，语义边界优于随机或固定长度边界。作者以此作为语义结构本身发挥作用的依据。
局限
训练奖励直接使用了GenEval和T2I-CompBench的评估模型，因此难以排除改进是针对基准评估器拟合的可能性。提示词集本身在训练和评估之间是分开的。改写模型只实验了Qwen3-8B一种。在与RePrompt的比较中，SD3和FLUX.1-dev的数值并非亲自复现，而是采用论文中发表的值。在所提供的正文中未见图像质量或人类偏好评估。
意义
这是一种低成本方法：无需重新训练图像生成模型，只改进提示词层，就能提高数量、位置和属性的一致性。无需额外渲染即可接入现有GRPO流水线，实际应用门槛低。
关键术语
- GRPO(Group Relative Policy Optimization)
- 针对一个输入生成多个回答，并在组内比较奖励来计算advantage的强化学习方法。不需要单独的价值模型（critic）。
- Credit Assignment
- 将一个最终奖励按回答各部分（token、片段）的贡献大小进行分配的问题。
- 语义span
- 像对象、数量、属性、空间关系这样构成一个意义的短语单元。可能跨越多个子词token。
- 提示词改写器（Prompt Rewriter）
- 将用户提示词改写成图像生成模型更易遵循的形式的语言模型。训练时图像生成模型保持冻结。
原文
作者: Yufei Jiao, Jinfa Huang, Zeyue Xue, Tianyu Xie, Yuexiao Ma, Rongrong Ji, Xiawu Zheng, Jiebo Luo · 发布 2026-10-15 · 许可 CC BY 4.0 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。