FreeU：零成本提升扩散模型输出质量的方法
FreeU ：一种在不增加任何成本的情况下显著提高扩散模型输出质量的方法
无需训练，不增加额外的参数，也不增加内存或采样时间。
FreeU框架可以与现有的扩散模型无缝集成，包括文本到图像生成和文本到视频生成等应用。实验表明使用FreeU可以显著提高生成输出的质量。
项目及演示：https://chenyangsi.top/FreeU/
GitHub：https://github.com/ChenyangSi/FreeU
背景与目标：
尽管扩散模型在图像合成、图像编辑、图像到图像的转换和文本到视频的生成等应用中取得了突破性的进展，但其内部属性，特别是扩散U-Net的属性，仍然没有得到充分的探索。
作者通过观察低频和高频组件在去噪过程中的变化，发现U-Net架构在去噪过程中的特定贡献。
但其跳过连接可能导致生成的图像出现异常的细节。为了解决这个问题，作者提出了FreeU方法，通过策略性地重新加权跳过连接和骨干特征图的贡献，来提高生成质量。
FreeU的方法：
FreeU的关键思想是策略性地重新加权来自U-Net的跳过连接和骨干特征图的贡献。
通过在推断阶段调整两个缩放因子，可以轻松地将FreeU集成到现有的扩散模型中，从而提高生成质量。
- U-Net的跳过连接和骨干特征图：
- U-Net是一个特殊的深度学习架构，它包括一个编码器和一个解码器。编码器逐渐减少图像的空间维度，同时增加其特征深度。解码器则执行相反的操作，逐渐增加空间维度并减少特征深度。
- 跳过连接是U-Net的一个关键特点，它们直接连接编码器和解码器的相应层。这意味着编码器的某些输出（称为骨干特征图）会被直接传递到解码器，绕过了中间的层。
- 策略性地重新加权：
- FreeU的核心思想是调整跳过连接和骨干特征图的贡献。这意味着，而不是简单地将这两部分的输出相加，FreeU会为每部分分配一个权重，以确定它们对最终输出的贡献。
- 推断阶段的缩放因子：
- 在深度学习中，推断阶段是指使用训练好的模型来生成新的输出或预测。在这个阶段，模型的权重是固定的，不会再发生变化。
- FreeU在推断阶段引入了两个缩放因子，这两个因子用于调整跳过连接和骨干特征图的权重。这意味着，用户可以在不重新训练模型的情况下，通过调整这两个因子来优化生成的输出。
- 集成到现有的扩散模型：
- 扩散模型是一种特殊的生成模型，它使用一系列的随机过程来模拟数据的生成。FreeU可以轻松地集成到这些模型中，因为它只涉及到调整现有模型的输出，而不需要改变模型的内部结构或重新训练。
FreeU方法提供了一种策略性地调整U-Net输出的方法，使其更好地适应扩散模型的生成任务。这种方法特别适用于那些希望在现有的扩散模型上获得更好的性能，但又不希望进行额外训练或微调的用户。
实验与应用：
FreeU框架可以与现有的扩散模型无缝集成，包括文本到图像生成和文本到视频生成等应用。
作者对FreeU方法进行了全面的实验评估，并使用Stable Diffusion、DreamBooth、ReVersion、ModelScope和Rerender等模型进行了基准比较。
实验结果表明，使用FreeU可以显著提高生成输出的质量。
