用GPT-3.5生成数据集！北大天工等团队图像编辑新SOTA，可精准模拟物理世界场景

在图像编辑领域取得了一项重要进展，北京大学、Tiamat AI、天宫AI和Mila实验室合作推出了EditWorld，这是一种新型的世界指导图像编辑模型。该模型在一个独特的多模态数据集上进行训练，利用了GPT-3.5、Video-LLava和SDXL等预训练模型来模拟图像编辑任务中的真实世界物理现象。EditWorld在创建能够准确反映物理世界动态的图像方面，超越了现有方法，达到了最先进的水平。这一进展对于对人工智能和逼真图像处理交叉领域感兴趣的人来说非常重要。研究成果已通过发表论文和在GitHub上发布代码的方式公开，为AI图像编辑领域的开发者和研究人员提供了宝贵的资源。- 北大天工团队提出了一种名为EditWorld的图像编辑方法，可以模拟物理世界场景。 - EditWorld引入了世界指令图像编辑任务，定义和分类基于世界场景的指令。 - 使用预训练模型建立了一个带有世界指令的多模态数据集。 - 在该数据集上训练了一个基于扩散的图像编辑模型EditWorld，结果表现优于现有的编辑方法。 - 现有的图像编辑方法在处理真实物理世界和虚拟媒体中的世界动态方面存在困难。 - 团队定义并分类了各种世界动态指令，并创建了一个多模态训练数据集。 - 使用精心制作的数据集训练了一个文本引导的扩散模型，并提出了一种零样本图像操作策略。 - 团队将世界指令图像编辑分为7种类别，并提供了数据样例。 - 团队设计了文本到图片生成和视频分镜提取两个分支来获取数据集。 - 通过从视频中提取关键帧作为编辑数据，向数据集中添加真实数据。 - 团队对生成数据进行了人工recheck，提升数据质量。 - 团队对InstructPix2Pix模型进行了finetune，并提出了post-edit策略来保护非编辑区域实现更精确的编辑。 - 团队的方法可以很好地实现世界指令图像编辑。