一键解锁ChatGPT原理与应用

飘渺九月

在这段时间，有关大语言模型的消息频频传出，许多人也逐渐了解、甚至开始应用起相关的AI软件。那么，你了解GPT模型的原理是什么吗？大模型和传统AI的区别在于哪里？其应用可以体现于哪些方面？一起来看看作者的分析和解读。

“如何充分发挥ChatGPT潜能，成为了众多企业关注的焦点。但是，这种变革对员工来说未必是好事情。IBM计划用AI替代7800个工作岗位，游戏公司使用MidJourney削减原画师人数……此类新闻屡见不鲜。理解并应用这项新技术，对于职场人来说重要性与日俱增。”

一、GPT模型原理

理解原理是有效应用的第一步。ChatGPT是基于GPT模型的AI聊天产品，后文均简称为GPT。
从技术上看，GPT是一种基于Transformer架构的大语言模型（LLM）。GPT这个名字，实际上是”Generative Pre-trained Transformer”的缩写，中文意为“生成式预训练变动器”。

1. 大模型和传统AI的区别是什么？

传统AI模型针对特定目标训练，因此只能处理特定问题。例如，很会下棋的AlphaGO。
而自然语言处理（NLP）试图更进一步，解决用户更为通用的问题。可以分为两个关键步骤：自然语言理解（NLU）和自然语言生成（NLG）。
以SIRI为代表的人工智能助手统一了NLU层，用一个模型理解用户的需求，然后将需求分配给特定的AI模型进行处理，实现NLG并向用户反馈。然而，这种模式存在显著缺点。如微软官方图例所示，和传统AI一样，用户每遇到一个新的场景，都需要训练一个相应的模型，费用高昂且发展缓慢，NLG层亟需改变。
大型语言模型（如GPT）采用了一种截然不同的策略，实现了NLG层的统一。秉持着“大力出奇迹”的理念，将海量知识融入到一个统一的模型中，而不针对每个特定任务分别训练模型，使AI解决多类型问题的能力大大加强。

2. ChatGPT如何实现NLG？

AI本质上就是个逆概率问题。GPT的自然语言生成实际上是一个基于概率的“文字接龙”游戏。我们可以将GPT模型简化为一个拥有千亿参数的“函数”。当用户输入“提示词（prompt）”时，模型按照以下步骤执行：

• 将用户的“提示词”转换为token（准确地说是“符号”，近似为“词汇”，下同）+token的位置。
  
• 将以上信息“向量化”，作为大模型“函数”的输入参数。
  
• 大模型根据处理好的参数进行概率猜测，预测最适合回复用户的词汇，并进行回复。
  
• 将回复的词汇（token）加入到输入参数中，重复上述步骤，直到最高概率的词汇是【END】，从而实现一次完整的回答。
  

这种方法使得GPT模型能够根据用户的提示，生成连贯、合理的回复，从而实现自然语言处理任务。

3. 上下文理解的关键技术

GPT不仅能理解用户当前的问题，还能基于前文理解问题配景。这得益于Transformer架构中的“自注意力机制（Self-attention）”。该机制使得GPT能够捕捉长文本中的依赖关系。
通俗地说，GPT在进行文字接龙判断时，不仅基于用户刚输入的“提示”，还会将之前多轮对话中的“提示”和“回复”作为输入参数。然而，这个距离长度是有限的。对于GPT-3.5来说，其距离限制为4096个词汇（tokens）；而对于GPT-4，这个距离已经大幅扩展至3.2万个tokens。

4. 大模型为何惊艳？

我们已经介绍了GPT的原理，那么他是如何达成这种神奇效果的呢？主要分三步：

• 自监督学习：利用海量的文本进行自学，让GPT具备预测上下文概率的基本能力。
  
• 监督学习：人类参与，资助GPT理解人类喜好和期望的答案，本质为微调（fine-tune）。
  
• 强化学习：根据用户使用时的反馈，持续优化和改进回答质量。
  

其中，自监督学习最关键。因为，大模型的魅力在于其“大”——大在两个方面：：

• 训练数据量大：即训练大模型的数据规模，以GPT-3为例，其训练数据源为互联网的各种精选信息以及经典书籍，规模达到了45TB，相当于阅读了一亿本书。
  
• 模型参数量大：参数是神经网络中的一个术语，用于捕捉数据中的规律和特征。通常，宣称拥有百亿、千亿级别参数的大型模型，指的都是其参数量。
  

追求大型模型的参数量是为了利用其神奇的“涌现能力”，实现所谓的“量变引起质变”。

举例来说，如果要求大模型根据emoji猜电影名称，如

王俊杰2017

转发了

风吹吹蛋蛋疼风w

转发了

123456881

狗屁不通

慧眼识英雄1

转发了

123456868

转发了

我放心你带套猛

转发了

飘渺九月

[呲牙]

音乐之家1

转发了

伊索谗言

转发了