type
status
date
summary
tags
category
slug
icon
password
公众号
关键词
小宇宙播客
小红书
数字人视频号
笔记
SeedEdit：通过自然语言引导的图像编辑革命-字节图像生成模型
近日，字节跳动发布了其通用图像编辑模型——SeedEdit，引起了业界的广泛关注。作为一款高度创新的编辑模型，SeedEdit不仅可以生成图像，还能基于生成的图像进行多种编辑操作，比如修图、换装、美化、风格转换，以及在指定区域添加或删除元素等。
SeedEdit的独特之处
SeedEdit之所以被称为编辑模型，与其自然语言交互功能密切相关。使用者可以通过自然语言进行流畅的编辑操作，这在业内仍属少见。尤其是，SeedEdit依托于豆包这款目前最有影响力的AI通用产品之一，有望影响众多设计师的工作方式。
我亲自试用了SeedEdit，发现其编辑过程相当顺畅。与传统图像生成工具的最大区别在于SeedEdit允许用户通过自然语言进行直观的编辑。相比之下，以往使用的工具如Midjourney，很难实现图像的连贯性和一致性，比如为同一主角绘制一系列漫画或为同类海报呈现不同的样式。在这方面，SeedEdit显然更具优势。
SeedEdit的核心方法
SeedEdit面临的主要挑战是成对图像数据的稀缺。为了克服这一问题，SeedEdit将文本生成图像（T2I）模型视为弱编辑模型，通过生成新图像来实现“编辑”。然后，通过蒸馏和对齐技术，将其转变为强大的图像条件编辑模型。
一个高效的编辑数据生成与过滤策略被提出来，以便逐步对齐任何T2I模型，使其成为强大图像编辑器。新设计的编辑架构能精确解读编辑指令并生成图像。
技术架构
SeedEdit采用因果扩散模型进行图像到图像的生成。架构中使用两个共享参数的分支，分别用于输入和输出图像/文本的处理，确保在多轮编辑后图像仍旧保持高美感和稳定性。
SeedEdit的强大编辑能力
SeedEdit具备多种图像编辑功能，例如局部替换、几何变换、重新光照、风格变化，或这些方法的组合，均保持良好的图像质量。以下展示了一些编辑效果：
让它飞过海洋
结论
通过自然语言交互进行图像编辑的SeedEdit，无疑为设计师们提供了一种全新的创作方式。相比传统方法，它不仅提供了流畅的编辑体验，也大大提高了图像的连贯性和一致性，尤其适用于漫画、海报等需要持续性创作的设计领域。随着SeedEdit的发布和逐步应用，设计师们将能更加轻松地实现他们的创意，推动设计方式的革新。
- Author:AI博士Charlii
- URL:https://www.charliiai.com//%E5%B9%B2%E8%B4%A7%E5%88%86%E4%BA%AB/seededit
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!