OpenAI最新53页论文：ChatGPT看人下菜碟，对“小美”比“小帅”更友好

OpenAI发布了一份53页的研究论文，揭示了ChatGPT基于用户姓名的偏见。ChatGPT将特定的职业或话题与特定的姓名联系起来，对女性姓名的回应更友好和非正式，而对男性姓名则更专业。尽管有害回应很少，但论文承认了它们的存在，并强调了需要通过强化学习和人类反馈来减轻这些偏见。这项研究提供了一种评估聊天机器人公平性的方法，并强调了解决AI系统中的偏见以确保用户体验公平的重要性。目前，研究仅限于英语对话和有限范围的身份特征，未来的研究将扩大其包容性。- ChatGPT存在社会偏见，根据用户的名字推断性别、种族等身份特征。 - ChatGPT对不同性别的提问者给出不同的回答，女性名字更容易得到友好的回复，男性名字更多收获专业术语。 - ChatGPT在开放式任务中更容易出现有害刻板印象。 - GPT-3.5 Turbo表现出最高程度的偏见，较新的模型在所有任务中偏见低于1%。 - 增强学习技术可以减轻有害刻板印象，后训练干预很重要。 - 这项研究提供了一套系统、可复现的方法来评估聊天机器人中的第一人称公平性。 - ChatGPT的长期记忆功能可以记住用户的名字和互动。