基础组件之Model
模型类型：
编码器模型：自编码模型，使用encoder，拥有双向的注意力机制，即计算每一个词的特征时候都能看到完整的上下文

解码器模型：自回归模型，使用decoder，拥有单向的注意力机制，即计算每一个词的特征都只能看到上文，无法看到下文

编码器解码器模型：序列到序列的模型，使用encoder+decoder,encoder部分使用双向的注意力，decoder部分使用单向注意力

编码器模型-自编码模型——常用预训练模型（ALBERT、Bert、DistillBert、RoBERTa）——使用任务（文本分类、命名实体识别、阅读理解）

解码器模型-自回归模型——常用预训练模型（GPT、GPT-2、Bloom、LLamA）——适用任务（文本生成）

编码器解码器模型-序列到序列模型——（BART、T5、Marian、mBert、GLM）——文本摘要、机器翻译

Model Head是连接在模型后的层，通常为1个或多个全连接层
Model Head将模型的编码的表示结果进行映射，依次解决不同类型的任务
Model Inputs——Full Model（Transformer Network（Embeddings——layers）——Hidden States——Head）——Model output