什么是 GPT？关于 GPT-3 和 GPT-4 您需要了解的一切

人工智能似乎存在品牌问题。即使是“人工智能”也没有真正有用的定义，因此当涉及到特定公司、模型和应用程序的实质内容时，所有的赌注都将落空。 

示例：很多人谈论 OpenAI、ChatGPT 和 GPT 就好像它们是同一件事（其实不是）。

• OpenAI是一家人工智能研究公司。
• GPT是 OpenAI 构建的一系列人工智能模型。
• ChatGPT是一个使用 GPT 的聊天机器人。

在这里，我重点关注 GPT。

什么是 GPT？

GPT 是 OpenAI 构建的一系列人工智能模型。它代表生成式预训练变压器，基本上是对人工智能模型的作用及其工作方式的描述（我将在一分钟内深入研究）。

最新的 GPT 模型 GPT-4 是第四代，尽管各种版本的 GPT-3 仍然广泛使用。

虽然我会在本文中经常使用 ChatGPT 作为示例，但请务必记住，GPT 不仅仅是 ChatGPT，它是整个大型语言模型 (LLM)系列。

GPT 有什么作用？

GPT 模型旨在根据提示生成类似人类的文本。最初，这些提示必须是基于文本的，但最新版本的 GPT 也可以使用图像。

这允许基于 GPT 的工具执行以下操作：

• 以对话方式回答问题 
• 生成博客文章和其他类型的长短内容
• 编辑内容的语气、风格和语法
• 总结长段文字
• 将文本翻译成不同的语言
• 集思广益

这只是法学硕士的冰山一角。

在后台使用 GPT 的工具示例

正如您可以想象的那样，GPT 用于各种不同的应用程序。最著名的是OpenAI 的聊天机器人ChatGPT，它使用针对对话和对话进行优化的 GPT 微调版本。

以下是 GPT 在幕后工作的其他一些地方：

• 微软产品。 Bing 的 AI 搜索和Microsoft 365 Copilot（Microsoft 添加到 Word、Excel 及其其他 Office 应用程序中的所有 AI 功能）都在后台运行 GPT。
• Sudowrite是一款基于 GPT 的应用程序，旨在帮助人们编写短篇小说、长篇小说和其他小说作品。事实上，许多（如果不是大多数）人工智能写作生成器至少使用 GPT 作为为应用程序提供动力的模型之一。
• GitHub Copilot使用名为 Codex 的 GPT-4 版本，旨在生成计算机代码，帮助开发人员更快地工作并自动执行重复任务。
• Zapier在后台使用 GPT 来实现其许多 AI 功能，包括其AI 聊天机器人构建器。它还提供OpenAI 集成，可连接到 GPT 和其他 OpenAI 模型（例如 DALL·E）。
• Duolingo是一款语言学习应用程序，可让您用目标语言与 GPT 支持的聊天机器人进行对话。

简而言之，如果您能想到生成高质量、类似人类的文本可能有所帮助的情况，那么 GPT 可能可以用来实现这一目标，而且很可能已经是这样了。

我们是如何到达 GPT 的？

在 2010 年代中期，性能最佳的人工智能模型依赖于手动标记的数据，例如包含不同动物照片的数据库以及人类编写的每种动物的文本描述。这是一个称为“监督学习”的过程，用于开发模型的底层算法。 

虽然监督学习在某些情况下可能有效，但训练数据集的生成成本非常昂贵。即使现在，也没有那么多经过适当标记和分类的数据可用于培训法学硕士。

谷歌法学硕士BERT于 2018 年推出，情况发生了变化。它使用了 Transformer 模型（首次在2017 年的一篇研究论文中提出），从根本上简化了 AI 算法的设计方式。它允许并行计算（同时完成），这意味着显着减少训练时间，并且使模型更容易在非结构化数据上进行训练。它不仅使人工智能模型变得更好，而且还使人工智能模型变得更好。它还使它们的生产速度更快、成本更低。

从那时起，GPT 的第一个版本记录在 2018 年发表的一篇论文中，并于次年发布了GPT-2 。在事情变得奇怪之前，它能够一次生成几个句子。虽然两者都代表了人工智能研究领域的重大进步，但都不适合在现实世界中大规模使用。随着2020 年 GPT-3 的推出，这种情况发生了变化。虽然花了一段时间——以及 ChatGPT 的推出——才真正起飞，但它是第一个真正有用、广泛使用的法学硕士。

这就是为什么 GPT 目前在法学硕士领域大名鼎鼎。它远不是唯一可用的大型语言模型。 Google 有 PaLM，Facebook 最近发布了 Llama，针对特定任务还有很多其他选项，例如Anthropic 的 Claude。但 GPT 是第一个广泛使用的有效 AI API，开发人员可以使用它来驱动自己的应用程序。

Jasper等一些大型人工智能应用程序最初仅依赖 GPT，但现在与其他人工智能模型集成。但对于许多小型开发人员来说，仅使用 GPT 仍然是最简单的选择。随着未来几年竞争变得更加激烈，这种情况可能会改变。但就目前而言，GPT 是最受欢迎的选择。

GPT 是如何工作的？

“生成式预训练 Transformer 模型”实际上只是对 GPT 系列模型的用途、设计方式以及工作方式的描述。 

我将使用 GPT-3 作为示例，因为它是我们拥有最多信息的模型。 （不幸的是，多年来 OpenAI 对其流程变得更加保密。）

GPT-3 经过大量未标记数据的预训练。它基本上是由整个开放互联网提供的，然后自行处理并建立自己的联系。这种技术称为深度学习，它是机器学习的基本组成部分，也是大多数现代人工智能工具的开发方式。 

重要的是要记住，GPT 并不像人类那样理解文本。人工智能模型将文本分解为标记，而不是单词。许多单词映射到单个标记，但较长或更复杂的单词通常会分解为多个标记。 GPT-3 接受了大约 5000 亿个代币的训练。 

所有这些训练都用于创建一个模仿人脑的复杂、多层、加权算法，称为深度学习神经网络。它使 GPT-3 能够理解文本数据中的模式和关系，并利用创建类人响应的能力。 GPT-3 的神经网络有 1750 亿个参数（或变量），允许它接受输入（您的提示），然后根据它赋予不同参数（以及少量随机性）的值和权重，输出任何内容它认为最符合您的要求。

GPT 的网络使用 Transformer 架构——它是 GPT 中的“T”。 Transformer 的核心是一个称为“自我关注”的过程。较旧的循环神经网络 (RNN) 从左到右读取文本。另一方面，基于 Transformer 的网络同时读取句子中的每个标记，并将每个标记与所有其他标记进行比较。这使他们能够将“注意力”转移到最相关的标记上，无论它们位于文本中的哪个位置。

当然，这一切都大大简化了事情。 GPT 不能真正理解任何东西。相反，每个标记都被编码为向量（具有位置和方向的数字）。两个标记向量越接近，GPT 认为它们的相关性就越紧密。这就是为什么它能够处理棕熊、熊臂权和滚珠轴承之间的差异。虽然它们都使用字母串“bear”，但它的编码方式使得神经网络可以从上下文中判断出最有可能相关的含义。 

GPT 安全吗？

鉴于 GPT 是在开放互联网上训练的，其中包含大量有毒、有害和完全错误的内容，OpenAI 投入了大量工作来使其尽可能安全地供人们使用。

OpenAI 将这个过程称为“对齐”。我们的想法是，人工智能系统应该符合人类价值观并遵循人类意图，而不是做自己的事并作恶。其中很大一部分是一个称为人类反馈强化学习（RLHF）的过程。

其基础是 OpenAI 的人工智能培训师创建了演示数据，展示 GPT 如何响应典型提示。由此，他们利用比较数据构建了人工智能奖励模型。对多个模型响应进行排序，以便人工智能可以了解在给定情况下什么是适当的响应，什么是不适当的响应。然后，人工智能使用奖励模型进行训练，并进行微调以给出有用的响应。 （这也是 ChatGPT 优化响应对话的方式。）

虽然没有完美的系统，但 OpenAI 已经做得很好，让 GPT 尽可能有用且无害——至少当人们没有积极尝试绕过它的护栏时。 

如何亲自尝试 GPT

同样，GPT 隐藏在各种应用程序中，但现在有几种使用它的方法：

• 聊天GPT。尝试 GPT 的最简单方法是通过ChatGPT。虽然它只是 GPT 的一种实现，但它是探索模型能做什么和不能做什么的好方法。 
• OpenAI 游乐场。如果您想更多地了解幕后情况，请尝试OpenAI 游乐场，您可以在其中微调各种设置。
• AI 写作生成器。大多数AI 文本生成器在幕后使用 GPT（有些生成器的透明度不如其他生成器）。这些工具旨在生成较长格式的文本（通常针对内容创建者），而不是像聊天机器人那样进行响应。
• 人工智能生产力工具。各种人工智能生产力工具，从人工智能会议助手到人工智能笔记工具，都使用 GPT，因此，如果您经常使用某个类别的应用程序，请进行一些挖掘，看看该类别中是否有任何应用程序具有由GPT。
• 扎皮尔。Zapier 与 OpenAI 的模型集成，包括 GPT-3。这允许您从工作中使用的所有其他应用程序访问 GPT。了解有关如何自动化 GPT 的更多信息。

选择对您来说最简单或最有趣的路线，您将很快感受到 GPT 的强大功能。