RLHF不够用了，OpenAI设计出了新的奖励机制

OpenAI推出了一种名为Rule-Based Rewards (RBR)的新训练机制，旨在确保AI模型更加遵守安全政策和人类价值观。这种创新方法基于预定义的安全规则提供强化学习信号，减少了对广泛人类反馈的需求。RBR允许更精确地控制AI行为，特别是在避免有害内容和生成尊重回应方面。与接受人类反馈训练的模型相比，使用RBR训练的模型在安全性能上表现相当，同时减少了对手动数据的依赖。RBR的灵活性意味着它可以应用于超出安全训练范围的各种需要特定行为的任务。对于对AI安全性和效率感兴趣的人来说，这篇内容提供了关于OpenAI最新努力的见解，以平衡人类输入和基于规则的训练，可能塑造AI模型发展的未来。- OpenAI设计了一种新的奖励机制，称为基于规则的奖励（RBR），用于训练大型语言模型。 - RBR可以自动执行模型微调，避免过度依赖人类反馈。 - RBR根据一组安全规则提供RL信号，使模型更容易适应不断变化的安全政策。 - RBR训练的模型表现出与人类反馈训练的模型相当的安全性能，并减少了过度拒绝安全请求的情况。 - RBR可以与人类反馈结合使用，以平衡在主观任务中的应用。 - RBR不仅限于安全训练，还可以适应各种任务，并为特定应用程序定制模型响应的个性或格式。