能够向他人清楚地解释人工智能的基本概念非常重要。为了解释大型语言模型（LLM），我使用了一个简单的三部分框架......为什么这很重要？鉴于大多数人工智能工程师/研究人员在拥有高技术成员的团队中工作，他们可能没有太多机会向非技术人员解释变压器架构或对齐等概念。然而，随着政治领导人正在为人工智能制定立法，并且人工智能驱动的工具在更广泛的公众中得到更广泛的使用，这种能力非常重要。(1) Transformer：现代语言模型基于 Transformer 架构——一种深度神经网络，可以将文本作为输入并生成文本作为输出。 Transformer 有两个组件：编码器和解码器，但 LLM 使用仅解码器架构，其中只有一个解码器。该模型将文本序列作为输入并重复执行两个操作：- 屏蔽自注意力：每个单词都会查看序列中之前的单词。- 前馈变换：每个单词都单独变换。这两个操作一起允许转换学习整个文本序列中单词之间有意义的关系，以产生正确的文本输出。(2) 预训练：所有语言模型的核心都依赖于下一个单词/标记预测目标。这个目标其实很简单！给定从网上下载的大量文本，我们通过以下方式训练法学硕士：1. 从语料库中采样一些文本。2. 使用仅解码器转换器摄取文本序列。3. 训练模型，以在给定前面的单词作为输入的情况下正确预测序列中的每个单词。这种自我监督的目标非常适合法学硕士的预训练，因为我们可以在大量未标记的文本上有效地训练模型，从而使法学硕士能够积累大量的知识库。预训练的额外提示：下一个单词/标记预测也用于通过 LLM 生成文本。从输入序列（即提示）开始，我们只是不断地预测下一个单词，将其添加到输入序列中，预测下一个单词，依此类推。(3) 对齐：预训练教会法学硕士在给定前面的单词作为输入的情况下真正擅长预测最可能的下一个单词。但是，我们真正想要的是一个能够产生有趣且有用的输出的法学硕士。为此，我们需要调整模型，或者以鼓励模型生成更符合人类用户需求的输出的方式对其进行训练。为此，我们使用微调技术：- 监督微调（SFT）：根据所需输出的示例微调模型。- 基于人类反馈的强化学习 (RLHF)：在成对的模型输出上微调模型，其中“更好”的输出由人类注释者排名。对齐的额外提示：通常，我们定义一组对齐标准（例如，有用、无害、事实等）来指导对齐过程。对齐标准提供给人类注释者，并捕获法学硕士所需输出的核心属性。