简介
大型语言模型（LLM）使 NLP 中微调模型的过程变得更加复杂。最初，当 ChatGPT 等模型首次出现时，最主要的方法是先训练奖励模型，然后优化 LLM 策略。从人类反馈中强化学习（RLHF）极大地推动了NLP的发展，并将NLP中许多长期面临的挑战抛在了一边。基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全性等方面的期望。
然而，它也给 NLP 引入了一些 RL 相关的复杂性: 既要构建一个好的奖励函数，并训练一个模型用以估计每个状态的价值 (value); 又要注意最终生成的 LLM 不能与原始模型相差太远，如果太远的话会使得模型容易产生乱码而非有意义的文本。该过程非常复杂，涉及到许多复杂的组件，而这些组件本身在训练过程中又是动态变化的，因此把它们料理好并不容易。
现在大多数目前开源的LLM模型都只做了前2步：预训练和指令微调。
而其中原因就是第3步人类反馈强化学习（RLHF）实现起来很困难：
1.需要人类反馈数据（很难收集）
2.奖励模型训练（很难训练）
3. PPO强化学习微调（不仅很耗资源，而且也很难训练）
但是能不能不要最后一步呢，一般来说还是有RLHF比较好，有主要有以下几个原因:
- 提高安全性和可控性；
- 改进交互性；
- 克服数据集偏差；
- 提供个性化体验；
- 符合道德规范；
- 持续优化和改进。
RLHF使得ChatGPT这样的大型对话模型既具备强大能力,又能够接受人类价值观的指导,生成更智能、安全、有益的对话回复。这是未来可信赖和可解释AI的重要发展方向。
所以这一步还是非常重要。那如何解决人类反馈强化学习（RLHF）训练这个难题呢？
最近学术界新出了一个DPO (Differentiable Policy Optimization) 算法
Rafailov、Sharma、Mitchell 等人最近发表了一篇论文 Direct Preference Optimization，论文提出将现有方法使用的基于强化学习的目标转换为可以通过简单的二元交叉熵损失直接优化的目标，这一做法大大简化了 LLM 的提纯过程。
DPO算法
DPO 是为实现对 LLM 的精确控制而引入的一种方法。从人类反馈强化学习（RLHF）的基础是训练奖励模型，然后使用近端策略优化（PPO）使语言模型的输出与人类的偏好相一致。这种方法虽然有效，但既复杂又不稳定。DPO 将受限奖励最大化问题视为人类偏好数据的分类问题。这种方法稳定、高效、计算量小。它无需进行奖励模型拟合、大量采样和超参数调整。
DPO（Direct Preference Optimization）是一种直接偏好优化算法，它与PPO（Proximal Policy Optimization）优化的目标相同。主要思路是:
1.定义policy模型(策略模型)和reference模型(参考模型),Policy模型是需要训练的对话生成模型,reference模型是给定的预训练模型或人工构建的模型。
2.对于给定prompt,计算两模型对正样本和负样本的概率,正样本是人类选择的回复,负样本是被拒绝的回复。
3.通过两个模型概率的差值构建DPO损失函数，惩罚policy模型对正样本概率的下降和负样本概率的上升。通过最小化DPO损失进行模型训练。
