热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_44782294
人工智能研究所
3 年前
trueweixin_44782294

动图详解transformer模型的输入部分,输入部分包括input embedding词嵌入以及positional encoding位置编码,这也是模型数据初始化部分的关键部分
transformer模型并不能直接可以接收我们输入的单词,这个我们把每个单词进行一个不同数字的表示,然后按照数字的embedding操作,把每个数字编码为一个512维度向量,进而可以让神经网络去训练学习
所有的输入会直接进入fransformer的自注意力机制,然后经过自注意力机制后,模型会丢掉输入句子的位置信息,由于不同的单词在不同的句子位置,体现出不同的含义,因此transformer模型加入了位置编码信息#动图详解Transformer

CSDN App 扫码分享
分享
评论
3
打赏
  • 复制链接
  • 举报
下一条:
算你厉害单篇AI博客 Top 1谢谢CSDN
立即登录