文本序列中每两个元素之间的相关性程度——即两个元素在自然语句中同时出现的概率——就是我们所说的注意力机制中的“注意力”分数。