目录文章目录目录GPT 发展历程2018 年GPT-1 文字的学习者2019 年GPT-2 多任务的学习者2020 年GPT-3 举一反三的学习者2022 年ChartGPT 聊天机器人2023 年OpenAI GPT-4 多模态2024 年GPT-4 Turbo、Sora、GPT-4oLLM 大语言模型LLM 的能力涌现能力上下文学习能力指令遵循能力逐步推理能力LLM 的特点长文本处理挥之不去的幻觉GPT 发展历程2018 年GPT-1 文字的学习者自 2017 年 Transformer 架构面世之后NLP 领域就进入了 PLMPretrain Language Model预训练语言模型时代典型代表是 Decoder-Only 流派的 GPT-1/2 和 Encoder-Only 流派的 BERT。2018 年 6 月OpenAI 发表论文《Improving Language Understanding by Generative Pre-Training通过生成式预训练模型来提升对于语言本身的理解》提出了第一代 GPT-1 模型它的目标就是“理解文字”。GPT-1 是最早提出 “预训练-微调” 思想的 NLP 模型GPT 的全称就是 Generative Pre-Training生成式预训练。所谓 “预训练-微调”即在海量的无监督文本上进行自监督预训练然后使用少量的有监督文本在每个特定任务上进行微调从而让这些任务实现了强大的自然语言理解能力。在以往学者们更喜欢用标注好的有监督数据集来进行 ML机器学习比如我心情真棒正面情绪括号中的就是一个标注。然而 OpenAI 认为这个世界上有如此丰富的语料但大部分都是没有被标注的数据。虽然不好用但我们可以通过对其学习只要学的足够多我们就可以培养模型对于语言表达的理解能力。2019 年GPT-2 多任务的学习者当 GPT-1 已经能够理解文字了那么这个模型可以用来做什么呢OpenAI 在大量试验后他们发现以往 的 NLP 模型都是针对特定任务进行优化的例如一个复杂任务可能需要拆分为包括分词、词性标注、分类等等多个子任务和多个模型来共同完成。而 OpenAI 认为如果语言本身包含了这些信息那么各类任务都应该可以被统一学习。比如传统思路中人们认为翻译你必须要有中英文对应来进行学习。但是既然 GPT 已经学习了这么多的语料库那么翻译应该是自然而然就能学会的不需要单独进行。同理归类、找相似性、情感分析等等任务都应该可以被大模型统一的进行处理。于是2019 年 11 月 OpenAI 发布论文《Language Models are Unsupervised Multitask Learners大语言模型是无需监督的多任务学习者》和第二代模型 GPT-2它的目标就是“探究预训练模型的多任务学习能力”。GPT-2 被定义为一名多任务学习者即它可以自己学会做很多事情并且这些学会的知识应该是具备普适性的能够处理很多任务。GPT-2 的模型结构和 GPT-1 大致相同GPT-2 的核心改进是大幅增加了预训练数据集和模型体量。另一个关键改变是 GPT-2 以 zero-shot零样本学习为主要目标即不对模型进行微调直接要求模型解决任务。例如在传统的 “预训练-微调” 范式中要解决一个问题就需要收集几百上千的训练样本在这些训练样本上进行微调来实现该问题的解决。但 GPT-2 的参数量已经非常巨大了每次针对性优化显然不现实。zero-shot 的愿景是不使用任何训练样本直接通过向 GPT-2 描述问题就可以被解决。但实际上在 GPT-2 的时代模型能力还不足够支撑较好的 zero-shot 效果。2020 年GPT-3 举一反三的学习者2020 年OpenAI 发表了 2 篇跨时代的论文开启了 LLMLarge Language Model大语言模型和 “算力竞赛” 的全新时代。其一是论文《Scaling Laws for Neural Language Models神经网络语言模型的规模法则》证明了模型的性能以交叉熵损失衡量遵循一定的数学幂律关系Power-law。即模型参数量N、训练数据量D、计算资源量C的规模越大模型就越 “智能”。从被 BERT 压制的 GPT-1到没有引起足够关注的 GPT-2但 OpenAI 团队依旧坚定地选择了不断扩大预训练数据量、增加模型参数在 GPT 架构上做出一些小的优化和修正来不断探索更强大的预训练模型。在 GPT-2 的基础上GPT-3 进一步增大了模型体量和预训练数据量整体参数量达 175B是当之无愧的 “大型语言模型”。其二是论文《Language Models are Few-Shot Learners通过几个例子模型就能学会你要他做什么》和第三代模型 GPT-3目标是让 GPT 成为了一名能够举一反三的学习者。GPT-2 提出的 zero-shot 虽然是比 “预训练-微调” 范式更进一步、更高效的新范式但 OpenAI 实践证明即使是 175B 大小的 GPT-3想要在 zero-shot 上取得较好的表现仍然是一件较为困难的事情。所以 OpenAI 想到既然人类可以通过举例学习那语言模型应该也可以于是提出了 few-shot少样本学习的重要思想。few-shot 是在 “预训练-微调” 范式和 zero-shot 范式之间的一个折中。旨在提供给模型少样的示例来教会它完成任务。few-shot 一般会在 prompt也就是模型的输入中增加 3~5个示例来帮助模型理解。例如对于情感分类任务zero-shot请你判断 ‘这真是一个绝佳的机会’ 的情感是正向还是负向如果是正向输出1否则输出0few-shot请你判断 ‘这真是一个绝佳的机会’ 的情感是正向还是负向如果是正向输出1否则输出0。你可以参考以下示例来判断‘你的表现非常好’ ——1‘太糟糕了’ ——0‘真是一个好主意’ ——1。通过给模型提供少量示例模型可以取得远好于 zero-shot 的良好表现。所以 few-shot 也被称为上下文学习In-context Learning即让模型从提供的上下文中的示例里学习问题的解决方法。GPT-3 在 few-shot 上展现的强大能力为 NLP 的突破带来了重要进展。如果对于绝大部分任务都可以通过人为构造 3~5个示例就能让模型解决其效率将远高于传统的 “预训练-微调” 范式。2022 年ChartGPT 聊天机器人GPT-3 基于 Scaling Low 拥有了 “智能” 的涌现能力通过 few-shot 拥有了上下文学习能力通过 SFT指令微调拥有了指令理解能力。而 2022 年 11 月 30 日发布的 ChartGPT 聊天机器人产品再让 GPT-3 拥有了基于 RLHF人类反馈强化学习的人类偏好对齐能力。至此LLM 的 “预训练-指令微调-人类反馈强化学习” 训练范式已经成型让 LLM 能够直接、高效、准确地响应用户指令从而真正向通用人工智能的目标逼近。如下图所示。ChartGPT 它是一个聊天机器人产品能够将 GPT 系列模型通过 ChatBot 的形态把 AI 智能以服务的方式向用户提供。ChatGPT 能够基于在预训练阶段所见的模式和统计规律来生成回答还能根据聊天的上下文进行互动真正像人类一样来聊天交流。并且得益于 GPT-2 的多任务能力GPT-3 的举一反三能力使得 ChatGPT 不单是聊天机器人还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。ChartGPT 是一个跨时代的产品一经推出就迅速在社交媒体上走红短短 5 天的注册用户数就超过 100 万。2023 年 1 月末ChatGPT 的月活用户已突破 1 亿成为史上增长最快的消费者应用。2023 年OpenAI GPT-4 多模态2023 年 3 月 14 日OpenAI 发布了第四代模型 GPT-4。GPT-3 让 OpenAI 看见了 Scaling Low 的潜力所以 GPT-4 的参数量来到了惊人的 1.76T 级别。使其成为了一个更通用的模型适用于更广泛的应用包括但不限于文本生成、翻译、摘要、问答、编程辅助等还增加了对于长文本的处理能力和更好的泛化能力。最重要的GPT-4 还增加了一种新的交互方式就是对于图片的理解。GPT-4 论文的标题《Large Multimodal Model多模态大模型》。GPT-4 能够处理图像和文本的混合输入除本身带了对于图片 OCR 外还有对位置和细节的理解能力。2023 年 5 月在和 OpenAI 达成合作后微软宣布 GPT-4 全面接入 Office 系列产品。2024 年GPT-4 Turbo、Sora、GPT-4o2024 年 4 月 9 日OpenAI发布 GPT-4 Turbo。2024 年 2 月 15 日OpenAI 发布 Sora 文生视频模型 Demo。2024 年 5 月 14 日OpenAI 推出新的旗舰模型 GPT-4oo 代表 omni即 “全能” 之意。其最突出特点是在与人的交互方面更为自然。它可以在最快 232 毫秒的时间内响应音频输入平均响应时间为 320 毫秒几乎接近人类在交谈中的响应时间。LLM 大语言模型LLMLarge Language Model大语言模型是一种相较传统 PLM 语言模型参数量更多十亿到万亿量级、在更大规模语料T token 量级和算力上进行 “预训练-微调-强化学习” 的语言模型。语言模型即通过预测下一个 token 任务来训练的 NLP 模型。LLM 的能力自 GPT-31750 亿参数以来 LLM 接替 PLM 成为 NLP 的主流方向。一个 LLM 应该具有以下核心能力涌现能力Emergent Abilities上下文学习能力In-context Learning指令遵循能力Instruction Following逐步推理能力Step by Step Reasoning这些独特能力是 LLM 区别于传统 PLM 的重要优势也让 LLM 在处理各种任务时表现出色使它们成为了解决复杂问题和应用于多领域的强大工具。正是因为涌现能力、上下文学习能力、指令遵循能力与逐步推理能力的存在NLP 研究人员相信 LLM 是迈向通用人工智能帮助人类社会实现生产力质变的重要途径。事实上目前已有众多基于 LLM 的应用旨在利用 LLM 的独特能力显著提高生产力。例如微软基于 GPT-4 推出的 Copilot就基于 LLM 强大的指令遵循能力与逐步推理能力通过提供代码补全、代码提示、代码编写等多种功能辅助程序员更高效、便捷、精准地编写程序极大提高了程序员的生产效率。涌现能力涌现能力是指同样的模型架构与预训练任务下某些能力在小型模型中不明显但在大型模型中特别突出。可以类比到物理学中的相变现象涌现能力的显现就像是模型性能随着规模增大而迅速提升超过了随机水平也就是我们常说的量变引起了质变。具体来说涌现能力可以定义为与某些复杂任务相关的能力。但一般而言NLP 更关注的是它们具备的通用能力也就是能够应用于解决各种 NLP 任务的能力。涌现能力是目前业界和学界对 LLM 保持较高的热情和关注的核心所在即虽然 LLM 目前的能力、所能解决的任务与人类最终所期待的通用人工智能还存在不小的差距但在涌现能力的作用下我们相信随着研究的不断深入、高质量数据的不断涌现和更高效的模型架构及训练框架的出现LLM 终能具备通用人工智能所需要具备的能力从而给人类生活带来质变。上下文学习能力上下文学习能力是由 GPT-3 few-shot 首次引入的。具体而言上下文学习是指允许语言模型在提供自然语言指令或多个任务示例的情况下通过理解上下文并生成相应输出的方式来执行任务而无需额外的训练或参数更新。传统 PLM在经过高成本的预训练之后往往还需要对指定的下游任务进行有监督微调。虽然传统 PLM 体量较小对算力要求较低但例如 BERT 类模型0.5B 参数进行有监督微调一般还是需要 10G 以上显存有一定的算力成本。而同时有监督微调的训练数据的成本更高。针对下游任务难度的不同需要的训练样本数往往在 1k~数十k 不等均需要进行人工标注数据获取上有不小的成本。而具备上下文学习能力的 LLM 往往无需进行高成本的额外训练或微调而可以通过少数示例或是调整自然语言指令来处理绝大部分任务从而大大节省了算力和数据成本。具备上下文学习能力的 LLM通过 Prompt Engineering 就可以激发 LLM 的能力转变。例如目前绝大部分 NLP 任务通过调整 Prompt 或提供 1~5 个自然语言示例就可以令 GPT-3 达到超过传统 PLM 微调的效果。指令遵循能力通过使用自然语言描述的多任务数据进行微调也就是所谓的 指令微调 LLM 被证明在同样使用指令形式化描述的未见过的任务上表现良好。也就是说经过指令微调的 LLM 能够理解并遵循未见过的指令并根据任务指令执行任务而无需事先见过具体示例这展示了其强大的泛化能力。指令遵循能力意味我们不再需要每一件事都先教模型然后它才能去做。我们只需要在指令微调阶段混合多种指令来训练其泛化能力LLM 就可以处理人类绝大部分指令即可以灵活地解决用户遇到的问题。这一点在 ChatGPT 上体现地尤为明显。ChatGPT 之所以能够具备极高的热度其核心原因即在于其不再是仅能用于学界、业界研究的理论模型而同样可以广泛地服务于各行各业用户。通过给 ChatGPT 输入指令其可以写作文、编程序、批改试卷、阅读报纸等等。指令遵循能力使 LLM 可以真正和多个行业结合起来通过人工智能技术为人类生活的方方面面赋能从而为人类带来质的改变。不管是目前大火的 Agent、WorkFlow还是并不遥远的未来可能就会出现的全能助理、超级智能其本质依赖的都是 LLM 的指令遵循能力。逐步推理能力逻辑推理尤其是涉及多个推理步骤的复杂推理任务一直是 NLP 的攻关难点也是人工智能难以得到普遍认可的重要原因。毕竟如果一个模型不能解答基础的 “鸡兔同笼” 问题或者不能识别语言中的逻辑陷阱你很难认为它是 “智能的” 而非 “智障的”。但是传统的 NLP 模型通常难以解决涉及多个推理步骤的复杂任务例如数学问题。然而LLM 通过采用思维链Chain-of-ThoughtCoT推理策略可以利用包含中间推理步骤的 Prompt 机制来解决这些任务从而得出最终答案。据推测这种能力可能是通过对代码的训练获得的。逐步推理能力意味着 LLM 可以处理复杂逻辑任务也就是说可以解决日常生活中需要逻辑判断的绝大部分问题从而向 “可靠的” 智能助理迈出了坚实的一步。LLM 的特点长文本处理由于能够处理多长的上下文文本在一定程度上决定了模型的部分能力上限LLM 往往比传统 PLM 更看重长文本处理能力。相对于以 512 token 为惯例的传统 PLMLLM 在拓宽最大上下文长度方面可谓妙计频出。由于在海量分布式训练集群上进行训练LLM 往往在训练时就支持 4k、8k 甚至 32k 的上下文长度。同时LLM 大部分采用了 RoPE旋转位置编码或者同样具有外推能力的 AliBi 作为位置编码具有一定的长度外推能力也就是在推理时能够处理显著长于训练长度的文本。例如InternLM 在 32k 长度上下文上进行了预训练但通过 RoPE 能够实现 200k 长度的上下文处理。通过不断增强长文本处理能力LLM 往往能够具备更强的信息阅读、信息总结能力从而解决诸如要求 LLM 读完《红楼梦》并写一篇对应的高考作文的 “世纪难题”。挥之不去的幻觉幻觉是指 LLM 根据 Prompt 杜撰生成虚假、错误信息的表现。例如当我们要求 LLM 生成一篇学术论文及其参考文献列表时其往往会捏造众多看似 “一本正经” 实则完全不存在的论文和研究。幻觉问题是 LLM 的固有缺陷也是目前 LLM 研究及应用的巨大挑战。尤其是在医学、金融学等非常强调精准、正确的领域幻觉的存在可能造成非常严重的后果。目前也有很多研究提供了削弱幻觉的一些方法如 Prompt 里进行限制、通过 RAG检索增强生成来指导生成等但都还只能一定程度减弱幻觉而无法彻底根除。