【⚡️🚀迈克的每日文章 16.06.24:⚡️🚀(昨天的)统计拒绝采样提高了偏好优化1⃣今天以及接下来几天我要讨论的几篇文章，提供了对“直接偏好优化”（Direct Preference Optimization，简称DPO）方法的各种改进。实际上，DPO本身是对“近端策略优化”（Proximal Policy Optimization，简称PPO）方法的升级，后者在几家公司用它来对语言模型进行对齐（alignment或指令调优，instruction tuning）时变得非常流行，这是语言模型训练的最后一个阶段。该方法属于RLHF（人类反馈强化学习）家族，因为它需要针对由人类评级的数据（问题和答案）——对于每个问题，人类标注员选择哪个答案更好。------------------------------------------------------ 不要忘记加入我的Telegram频道：https://t.me/MathyAIwithMike-----------------------------------------------------------2⃣实际上，DPO旨在取代奖励模型（reward model），既节省了训练它的资源，又避免了在RLHF阶段需要额外持有一个模型。DPO利用了PPO损失函数的结构，即在保留模型对齐过程中接近初始模型的同时，最大化奖励函数，从而在损失函数中去除奖励函数。这是因为存在一个显式表达式，可以通过SFT（监督微调，Supervised Fine-Tuning）之后的策略（即我们开始对齐训练的语言模型）和奖励函数，来表示对齐后的完美语言模型的策略。3⃣在使用由（Bradley-Terry）BT模型引导的损失模型定义了在相同问题下正面答案相对于负面答案的偏好概率后，我们得到了RLHF损失函数的表达式，该函数仅包含初始策略。这实际上就是DPO，通过最小化其损失函数来处理包含好答案和差答案对的集合。4⃣今天要讨论的文章提出了一个问题：从这个集合中均匀采样是否是最优的（就最终的策略或对齐后的语言模型的质量而言）。如果我们有一个奖励函数，是否会更倾向于选择正面答案与负面答案之间奖励比最大的一对？或者是否应该优先选择奖励最低的负面答案的一对？5⃣文章提出了以下方法：- 训练一个text2text模型，给定一个问题和两个答案，输出偏好的答案。- 利用这个模型，通过模拟（对问题和答案对进行采样）正面答案相对于负面答案的偏好概率，构建奖励函数。- 用这个奖励函数构建策略pi_r，这实际上是一个语言模型（允许在给定问题的情况下计算答案的概率）。- 使用拒绝采样，通过初始策略（即语言模型）对pi_r进行采样，以最小化损失函数，从而得到“对齐”策略。他们还尝试了几种损失函数，如铰链损失（hinge loss，可能你已经忘了，但在SVM中很常用）。https://arxiv.org/abs/2309.06657】