热门

最新

红包

立Flag

投票

同城

发布
techsavvyak
_akhaliq
2 年前
truetechsavvyak

困惑于困惑度

基于困惑度的小规模参考模型的数据修剪

在这项工作中，我们研究了小型语言模型是否可以确定大规模文本数据集中高质量的子集，从而提高更大型语言模型的性能。
10
103
  • 复制链接
  • 举报
下一条：
变压器是SSM通过结构化状态空间对偶实现广义模型和高效算法虽然变压器一直是深度学习在语言建模领域取得成功的主要架构，但诸如Mamba之类的状态空间模型（SSM）最近已经显示出其潜力。