VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation

VisionReward在视觉生成模型领域取得了重大进展，特别是在将这些模型与人类偏好对齐方面。这项研究引入了一种新颖的、细粒度的、多维度的奖励模型，将人类偏好分解为各种维度，每个维度通过加权判断问题来量化。这种方法不仅为图像和视频提供了可解释和准确的评分，还解决了视频质量评估的复杂性。论文声称在视频偏好预测方面相较于现有的VideoScore方法有显著改进，性能提高了17.2%。此外，作者还开发了一种多目标偏好学习算法，优于当前的图像和视频评分方法。对于该领域的研究人员和从业者来说，提供的代码和数据集是一项有价值的资源，有助于进一步探索和应用这些发现。如果您对人工智能和视觉内容中的人类偏好交叉点感兴趣，这篇论文可能值得一读。- 提出了一种将视觉生成模型与人类偏好对齐的通用策略 - 构建了VisionReward，一种细粒度和多维度的奖励模型 - 将人类对图像和视频的偏好分解为多个维度，并通过一系列判断问题进行线性加权和求和，得到可解释和准确的分数 - 分析了视频的各种动态特征，帮助VisionReward在视频偏好预测方面超过VideoScore 17.2% - 基于VisionReward，开发了一种多目标偏好学习算法，有效解决了偏好数据中的混淆因素问题 - 该方法在机器评估和人类评估方面明显优于现有的图像和视频评分方法 - 提供了代码和数据集的链接