最后，我们探索了语言预训练的效果。与预训练的大型语言模型相比，我们发现从头开始在合成分类任务上训练的transformers能够为未见过的分类问题学习到平滑的上下文决策边界。