1. 论文信息题目 Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss作者Bowen Zhang, Chunping Li会议EMNLP 2024 Main Conference论文主要研究 Semantic Textual SimilaritySTS语义文本相似度核心思路是将传统的相似度分类任务转化为回归任务直接预测两个文本之间的连续相似度。2. 研究背景传统的文本相似度任务可以将相似度划分为多个等级例如0不相似 1低相似 2中等相似 3高度相似如果使用分类方法模型最终需要预测0 / 1 / 2 / 3但这些标签本身具有明显的顺序关系。例如真实值为 2预测 3 → 与真实值比较接近 预测 0 → 与真实值差距较大普通分类损失并不能很好地体现这种“距离关系”。因此论文提出与其将相似度看成离散类别不如直接预测一个连续的相似度分数。例如QA1如何申请国家助学金 QA2国家助学金怎么申请 ↓ Similarity Regression ↓ 0.923. 论文方法论文采用两个文本分别经过共享的编码器得到表示Text A ──→ Encoder ──→ u │ ├──→ Similarity Head │ Text B ──→ Encoder ──→ v然后利用作为输入通过回归层直接得到相似度分数。对于 K 类任务最终输出层的参数规模可以从3×hidden_dimension×K →3×hidden_dimension×1两个损失函数Translated ReLU给预测误差设置一个容忍范围。当预测值已经足够接近真实值时不再继续产生梯度。只有误差超过一定范围后才继续优化。Smooth K2 Loss同样保留一个误差容忍区间但超过阈值后采用二次形式进行惩罚误差越大惩罚越强。4. 实验结果论文在 STS-12STS-16、STS-B、SICK-R 等 7 个 STS 数据集上进行实验。在作者的实验设置下BERT-base Smooth K2 Loss平均 76.03 SpearmanRoBERTa-base Smooth K2 Loss平均 76.04 Spearman整体结果表明将 STS 建模为回归任务并设计针对性的回归损失可以取得较好的语义相似度效果。论文同时比较了训练资源消耗在其设置下回归方案相比 SimCSE 使用了更低的训练显存。5. 对我们当前 LAUR 项目的启发目前的 LAUR 主要是文本 ↓ BERT LAUR ↓ 分类 Head ↓ 类别标签而新任务可能涉及QA1 QA2 ↓ 相似度学习 ↓ 连续相似度 ↓ 后续进行 QA 分组因此这篇论文给我的主要启发是考虑将 LAUR 原有的分类任务进一步扩展为相似度回归任务。也就是原 LAUR 文本 → LAUR → 分类 可能的后续方向 QA1 QA2 ↓ LAUR ↓ Similarity Regression ↓ 相似度分数这样仍然保留了 LAUR 的持续学习特点同时改变任务目标。6. 与任务的联系都涉及文本/问答之间的语义相似度都可以采用连续相似度而不是简单分类标签回归结果可以进一步用于后续的相似 QA 分组因此这篇论文更适合作为LAUR 从分类任务向相似度回归任务扩展7. 总结这篇论文最核心的思想将具有连续语义关系的文本相似度从分类问题转化为回归问题并通过 Translated ReLU 和 Smooth K2 Loss 改善回归训练。现有 LAUR ↓ 持续学习 ↓ 分类任务 ↓ ──────────── ↓ 相似度回归 ↓ QA 两两相似度 ↓ 进一步进行分组