最近ChatGPT横空出世。这款被马斯克形容为“强大到危险”的AI不但能够与人聊天互动还能写文章、改代码。于是人们纷纷想让AI替自己做些什么有人通过两分钟的提问便得到了一篇完美的论文有人希望它能帮自己写情书、完成工作我觉得Musk担心的应该是‘信息茧房’中的‘思考劫持’大家可以查一下传播学中的这两个概念几个测试案例小学白念了这是哪家不正经的小学教这个你把柳传志往哪放...这.....总结就这人工智障还图灵测试...但我们还是看一下原理看看主要的问题出在了哪个算法上...ChatGPT基本原理第一步 收集数据训练有监督的策略模型第二步 收集对比数据训练回报模型第三步 使用强化学习增强回报模型优化策略SFT生成模型GPT的有监督精调 (supervised fine-tuning)RM奖励模型的训练(reward model training)PPO近端策略优化模型( reinforcement learning via proximal policy optimization)相对于之前的GPT家族在第一步和第二步多出了人工干预找了一堆外包可以看出人的干预有多重要补充知识promptPrompting指的是在文本上附加额外的提示Prompt信息作为输入将下游的预测等任务转化为语言模型Language Model任务并将语言模型的预测结果转化为原本下游任务的预测结果对于传统的Fine-tuning范式以BERT为例我们会使用PLM提取[CLS]位置的特征将其作为句子的特征并对情感分类任务训练一个分类器使用特征进行分类对于Prompting它的流程分为三步在句子上添加Prompt。一般来说Prompt分为两种形式分别是完形填空用于BERT等自编码PLM与前缀用于GPT等自回归PLM例如I love this movie. It is a [MASK] movie. (完形填空模式)I love this movie. The movie is (前缀模式)2.根据Prompt的形式在[MASK]位置或Prompt前缀的后面进行预测单词3. 根据预先定义的Verbalizer(标签词映射)将单词转化为预测结果若预测单词’Good’则情感倾向为正向若预测结果为单词’Bad’则情感倾向为负向SFTGPT模型通过有监督的Prompt数据进行精调其实就是做next token prediction任务。然后用精调后的模型对每个输入的[文本prompt]进行generate生成4~9个输出并且进行解码操作数据举例raw_data 我们去成都旅游必须要去的地方是大熊猫繁殖基地。 prompt 大熊猫是 labels [一种有黑白斑纹的动物。,中国特有种主要栖息地是中国四川、陕西和甘肃的山区。, 已在地球上生存了至少800万年被誉为“活化石”和“中国国宝”即国兽世界自然基金会的形象大使是世界生物多样性保护的旗舰物种。, 属于熊科、大熊猫属的哺乳动物。仅有二个亚种。雄性个体稍大于雌性。体型肥硕似熊、丰腴富态头圆尾短头躯长1.2-1.8米尾长10-12厘米。] combine_data [raw_datapromptlabel for label in labels]RMRM模型的作用是对生成的文本进行打分排序让模型生成的结果更加符合人类的日常理解习惯更加符合人们想要的答案RM模型主要分为两个部分训练数据获取、模型训练在原论文中使用GPT的架构做了一个reward model这里需要注意的是要将模型的输出映射成维度为1的打分向量也就是增加一个linear结构RM模型的主要点还是在于人工参与的训练数据构建部分将训练好的SFT模型输入Prompt进行生成任务每个Prompt生成4~9个文本然后人为的对这些文本进行排序将每个Prompt生成的文本构建为排序序列的形式进行训练得到打分模型以此模型用来评估SFT模型生成的文本是否符合人类的思维习惯这里尝试两种方法这两种方法为direct score和rank scoreDirect score一个是直接对输出的文本进行打分通过与自定义的label score计算loss以此来更新模型参数Rank score二是使用排序的方法对每个Prompt输出的n个句子进行排序作为输入通过计算排序在前面的句子与排序在后面的句子的差值累加作为最终loss。Direct score方法这个方法就是利用Bert模型对标注数据进行编码用linear层映射到1维然后利用Sigmoid函数输出每个句子的得分与人工标记的得分进行loss计算以此来更新模型参数Rank score方法这种方法与前一种方法的区别在于loss函数的设计首先需要明白的是为什么在InstructGPT中不采用上面的方法主要的原因在于给生成句子在打分时不同标注人员的标准是不一样的而且这个标准是很难进行统一的这样会导致标注的数据评判标准不一样即使每个标注人员的理解是一样的但对于同一条文本给的分数也不一样的因此在进行标注时需要把这个定量的问题转为一种更为简单的处理方法采用排序来方法来进行数据标注可以在一定程度上解决这个问题两种方法区别明显的看出标注员在使用直接打分(Direct Score)时会由于主观意识的不同对同一个文本出现不同的分值而使用等级排序(Rank Level)来进行数据标注时可以统一标注结果Rank LossPPO算法邻近策略优化Proximal Policy OptimizationPPO算法的网络结构有两个。PPO算法解决的问题是 离散动作空间和连续动作空间 的强化学习问题是 on-policy 的强化学习算法。论文原文《Proximal Policy Optimization Algorithms》涉及到强化学习的概念太多就不在这里展开了Reference当ChatGPT“一本正经地胡说八道”时我们该思考什么_传播学_理论_信息ChatGPT是如何一本正经地胡说八道的_chatgpt胡说八道-CSDN博客https://zhuanlan.zhihu.com/p/461825791https://zhuanlan.zhihu.com/p/609795142