1. 使用教师模型的较低层进行初始化，对于任务特定蒸馏的预测层和隐藏状态传输比较高层有明显改进，在QNLI上甚至获得了17.8个分数的提升。