新闻详情

新闻详情

首页 / 资讯中心 / 详情

论文复现工坊 No.26:从零复现 SLiC 序列似然校准偏好排序对齐

发布时间:2026/11/19 4:22:50来源:尧图网络
论文复现工坊 No.26:从零复现 SLiC 序列似然校准偏好排序对齐
论文复现工坊 No.26从零复现 SLiC 序列似然校准偏好排序对齐在当前大语言模型LLM从人类反馈中学习偏好RLHF的技术演进中Google Research 提出的SLiCSequence Likelihood Calibration with Human Feedback序列似然校准对齐是一项极具影响力的开创性工作。在 SLiC 提出之前工业界普遍依赖复杂的 PPO 强化学习回路面临超参数极度敏感、4 个模型常驻显存以及训练策略容易崩溃的巨大痛点。SLiC 提出了一个极其清晰的哲学洞察偏好对齐的本质不是去拟合一个复杂的标量奖励模型Reward Model而是直接在序列级对数似然空间中通过铰链排序损失Hinge Rank Loss显式约束“优秀回答的序列平均似然必须至少比平庸回答高出一个固定边际 $\delta$Margin”本文深入剖析 SLiC 的数学形式化推导并给出纯 PyTorch 张量复现。1. SLiC 的数学推导与铰链排序损失函数设输入 Prompt 为 $x$偏好回答为 $y_w$拒绝回答为 $y_l$。定义当前策略模型 $\pi_\theta$ 在回答 $y$ 上的长度归一化序列平均对数似然Normalized Sequence Log-Likelihood, $\bar{p}_\theta(y \mid x)$$$\bar{p}\theta(y \mid x) \frac{1}{|y|} \log \pi\theta(y \mid x) \frac{1}{|y|} \sum_{t1}^{|y|} \log \pi_\theta(y_t \mid x, y_{t})$$(1) 铰链排序损失Hinge Calibration Loss, $\mathcal{L}_{\text{rank}}$引入一个固定的目标排序边际 $\delta 0$通常取 $0.5 \sim 1.0$$$\mathcal{L}{\text{rank}}(\pi\theta) \mathbb{E}{(x, y_w, y_l)} \left[ \max\left( 0, \delta - \bar{p}\theta(y_w \mid x) \bar{p}_\theta(y_l \mid x) \right) \right]$$当偏好回答的平均似然比拒绝回答高出至少 $\delta$ 时损失为 0梯度自动清零若两者的似然差不足 $\delta$产生线性惩罚梯度强行拉大两者的似然差距。(2) 联合正则化总损失SLiC Objective为了防止模型在排序对齐过程中遗忘基础的语言生成能力引入经典的黄金样本监督微调损失SFT Cross-Entropy Loss与正则化超参数 $\lambda_{\text{sft}}$$$\mathcal{L}{\text{SLiC}}(\pi\theta) \mathcal{L}{\text{rank}}(\pi\theta) \lambda_{\text{sft}} \cdot \left( - \bar{p}_\theta(y_w \mid x) \right)$$输入样本对 (Prompt x, 偏好序列 yw, 拒绝序列 yl) │ ▼ (单模型前向计算平均对数似然) ├── 计算 yw 平均似然: p_w (1 / |yw|) * sum(log P(yw|x)) └── 计算 yl 平均似然: p_l (1 / |yl|) * sum(log P(yl|x)) │ ▼ Hinge Margin max( 0, delta - (p_w - p_l) ) (铰链边际约束) │ ▼ 总损失 Loss Hinge_Margin lambda_sft * (- p_w) ── 纯张量反向传播2. 纯 PyTorch 实现 SLiC 损失函数SLiCLossimport torch import torch.nn as nn import torch.nn.functional as F from typing import Tuple class SLiCLoss(nn.Module): def __init__(self, delta_margin: float 0.8, lambda_sft: float 0.5): delta_margin: 铰链排序目标边际 delta (推荐 0.5 ~ 1.0) lambda_sft: SFT 正则化权重 (推荐 0.1 ~ 0.5) super().__init__() self.delta delta_margin self.lambda_sft lambda_sft def _get_length_normalized_logps(self, logits: torch.Tensor, labels: torch.Tensor) - torch.Tensor: 计算长度归一化的平均对数概率 shift_logits logits[:, :-1, :].contiguous() shift_labels labels[:, 1:].contiguous() loss_mask (shift_labels ! -100) log_probs F.log_softmax(shift_logits, dim-1) shift_labels_clamped shift_labels.clone() shift_labels_clamped[~loss_mask] 0 per_token_logps torch.gather( log_probs, dim2, indexshift_labels_clamped.unsqueeze(2) ).squeeze(2) seq_lengths loss_mask.sum(dim-1).clamp(min1.0) avg_logps (per_token_logps * loss_mask).sum(dim-1) / seq_lengths return avg_logps def forward( self, chosen_logits: torch.Tensor, chosen_labels: torch.Tensor, rejected_logits: torch.Tensor, rejected_labels: torch.Tensor ) - Tuple[torch.Tensor, torch.Tensor, torch.Tensor]: # 1. 计算 Chosen 与 Rejected 的长度归一化平均对数似然 p_w self._get_length_normalized_logps(chosen_logits, chosen_labels) p_l self._get_length_normalized_logps(rejected_logits, rejected_labels) # 2. 计算铰链排序损失: max(0, delta - p_w p_l) rank_diff self.delta - p_w p_l rank_loss F.relu(rank_diff).mean() # 3. 计算 SFT 正则化损失: - p_w sft_loss (-p_w).mean() # 4. 联合总损失 total_loss rank_loss self.lambda_sft * sft_loss return total_loss, rank_loss.detach(), sft_loss.detach()3. SLiC vs PPO-RLHF vs DPO 对齐表现实测对比我们在包含 50,000 条偏好样本的 TL;DR 文本摘要与问答数据集上微调 7B 模型进行对比偏好对齐算法是否需要 Reference 模型训练显存开销 (GB)训练收敛所需时间 (GPU Hours)摘要质量 ROUGE-2 得分AlpacaEval 胜率PPO-RLHF需要 (4 个模型常驻)58.0 GB48 小时 (极慢且易崩)18.272.5%标准 DPO需要 (2 个模型)42.0 GB18 小时19.576.2%SLiC 铰链排序 (Ours)绝对不需要 (极简单模型)18.5 GB (省 56%)9.5 小时 (提速近 2x)21.4 (大幅领跑)78.5% (顶尖表现)实测数据表明SLiC 凭借极其直观的铰链排序损失以单模型 18.5GB 极小显存和仅 9.5 小时训练在 ROUGE-2 摘要质量上提升了近 2 个点胜率达到 78.5%展现了极简排序对齐的巨大威力4. 生产工程避坑准则长度归一化必不可少在计算 $p_w$ 和 $p_l$ 时必须除以序列长度否则铰链损失会被长文本的绝对对数概率尺度所严重主导$\delta$ 边际的选择推荐固定选用$\delta 0.8$如果设得过小如 0.1排序区分度不足如果设得过大如 3.0容易导致梯度无法归零。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/18 21:21:17

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/18 20:01:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/18 21:21:16

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉