热门

最新

红包

立Flag

投票

同城

发布
weixin_36771744
倪正东
1 年前
trueweixin_36771744

我们能通过训练提高大型语言模型（LLMs）决策边界的平滑度吗？🛠️
我们展示了在简单的线性可分任务上进行微调可以改善决策边界的平滑度，并推广到更复杂的非线性多类任务，从而增强鲁棒性。
评论
12
  • 复制链接
  • 举报
下一条：
【5/n 决策边界对标签名称、示例顺序和量化非常敏感。在上下文中随机打乱示例和标签会改变模型的决策边界，这表明决策边界依赖于大型语言模型(LLM)对标签的语义先验知识，而不是排列不变的。将精度从8位减少到4位会影响高不确定性区域附近的边界。不同的量化级别可以在这些不确定区域翻转LLM的决策。🔄】