FasterCache:高质量无训练视频扩散模型加速

在视频扩散模型领域，题为《FasterCache: Training-Free Video Diffusion Model Acceleration with High Quality》的论文介绍了一项突破性策略，可以加速视频生成过程，而无需额外的训练。由郑耀吕领导的作者团队发现了现有基于缓存的方法的一个关键缺陷——由于重复使用相邻步骤的特征而导致视频质量下降。为了解决这个问题，他们提出了FasterCache，采用了动态特征重用策略，保持了特征区分和时间连续性之间的微妙平衡。 这项工作的独特之处在于其对无分类器引导（CFG）的开创性调查，以及随后开发的CFG-Cache，优化了条件和无条件输出的重用。这种创新不仅加快了推理过程，而且在不牺牲生成视频质量的情况下实现了这一目标。实证结果令人印象深刻，FasterCache在像Vchitect-2.0这样的先进视频扩散模型上实现了1.67倍的加速，同时保持甚至提升了输出的质量。 对于那些对视频生成技术前沿感兴趣的人来说，这篇论文是必读的，因为它不仅挑战了现状，还提供了一个在速度和质量方面均优于现有方法的实用解决方案。- FasterCache是一种无需训练的策略，旨在加速视频扩散模型的推理过程，并实现高质量的生成。 - 直接重用相邻步骤的特征会降低视频质量，因为会丢失细微的变化。 - 无分类器引导（CFG）具有加速潜力，并揭示了同一时间步内条件特征和无条件特征之间的冗余。 - FasterCache引入了动态特征重用策略和CFG-Cache，以加速视频生成而不损害视频质量。 - 实验结果表明，FasterCache能够显著加速视频生成，并在推理速度和视频质量方面优于现有方法。