SVDKunat：4位扩散模型的低秩分量吸收异常值

在题为《SVDQuant: 用低秩分量吸收异常值的4位扩散模型》的论文中，作者们介绍了一种优化扩散模型的新方法，这些模型以生成高质量图像而闻名。关键创新点在于将模型权重和激活量量化为4位，这一过程通常会因数据精度极度降低而导致显著的质量损失。所提出的方法SVDQuant 通过使用奇异值分解（SVD）来吸收权重数据中的异常值，然后通过高精度低秩分支来处理这些异常值。这种技术不仅保留了图像质量，还减少了内存使用量并提高了速度，特别适用于在资源有限的设备上部署，比如笔记本电脑。 这项工作引人注目的地方在于共同设计的推理引擎Nunchaku，它将低秩分支与主量化模型融合，以最小化内存访问开销。这一创新使得在16GB笔记本电脑GPU上，与4位仅权重量化基线相比，内存使用量减少了3.5倍，速度提升了3.0倍。该论文的发现可能会改变游戏规则，使得在个人电脑上实现更多互动应用成为可能。此外，作者们已经开源了他们的量化库和推理引擎，这将极大地促进该领域的发展，让其他研究人员和开发者能够在其基础上进行更多工作。如果你对模型优化和部署的前沿感兴趣，这篇论文很可能值得一读。- 本文旨在通过将权重和激活量化为4位来加速扩散模型。 - 提出了一种新的4位量化范式SVDQuant，通过低秩分量吸收异常值。 - 通过将异常值从激活转移到权重来整合异常值，然后使用高精度的低秩分量分支通过奇异值分解（SVD）来处理权重异常值。 - 共同设计了一个推理引擎Nunchaku，将低秩分量分支的内核融合到低位分量分支中，以减少冗余内存访问。 - 在SDXL、PixArt-$\Sigma$和FLUX.1上进行的实验证实了SVDQuant在保持图像质量方面的有效性。 - 将12B FLUX.1模型的内存使用量减少了3.5倍，在16GB笔记本电脑4090 GPU上比4位权重量化基准模型提速了3.0倍。 - 量化库和推理引擎是开源的。