← 重要论文

论文解读 · 2026年10月24日

用可复用图层编辑图像:基于合成的编辑先验蒸馏(LayerEditor)

Editing Images into Reusable Layers via Compositional Edit-Prior Distillation

生成式媒体计算机视觉 进阶 点赞 73 cs.CV jingdong

将基于指令的图像编辑与 RGBA 图层生成放在同一个 token 序列中联合训练,并以 On-policy 方式蒸馏教师模型的编辑能力,在保持编辑质量的同时获得精确的图层。

问题

现有编辑模型只输出所有元素合并在一起的单张结果,难以进行细节修改或元素复用。先编辑再用分解模型拆分图层的方法,两个阶段分别优化,导致图层不完整或不整洁。直接将预训练编辑模型微调用于图层输出,也会削弱原有的编辑能力。

方法

用 rank-256 LoRA 扩展了 FireRed-Image-Edit-1.1。将编辑后的画布与 N 个图层的 RGB 和 alpha 字段放入同一序列中联合去噪(In-Context RGB-Alpha Token Modeling)。字段和堆叠顺序通过图层感知的 RoPE 坐标区分,alpha 由专用解码器还原。C-EPD 在学生模型去噪轨迹的中间状态上查询冻结的原始编辑模型(教师模型)。该教师模型同时监督直接输出的速度,以及对预测图层进行 alpha 合成后的图像。训练数据方面,构建了 LayerEditor-100K,包含 10 万对文本、对象、海报外观编辑以及 2~10 个图层的标注。

结果

局限

数据和基准基于 Crello、PrismLayersPro 等平面设计数据以及 ScaleEdit,仅凭这些实验无法判断能否泛化到自然照片的复杂图层分解。图层数最多限制为 10 个。评分细则得分依赖自动评估。Seedream5-Pro 因 API 限制未能评估部分文档。

意义

在广告、电商设计这类需要反复修改成果的工作中,可以直接把编辑结果作为可独立修改的图层获取。在将预训练模型扩展到新输出格式时,它也可作为保留原有能力的 On-policy 蒸馏用法参考。

关键术语

RGBA 图层
同时带有颜色(RGB)和不透明度(alpha)的图像层。按从后到前的顺序叠加合成,即得到最终图像。
On-policy Distillation
在学生模型实际经过的状态上向教师模型查询以获得目标的蒸馏(知识蒸馏)方式。它缩小训练数据分布与实际生成分布之间的差距。
Alpha 合成(Alpha Compositing)
用各图层的 alpha 值将前方图层与后方背景混合成一张图像的标准运算。
LoRA
冻结原始权重,只额外训练小型低秩矩阵,从而高效微调模型的技术。

原文

作者: Wen Xue, Yong Liu, Xueheng Li, Si Wu, Yong Xu, Yipeng Sun, Yan Li, Simiu Gu · 发布 2026-10-17 · 许可 CC BY 4.0 · 基于全文分析

本解读是 AI 阅读论文后撰写的摘要,请以论文原文为准。