热门

最新

红包

立Flag

投票

同城

发布
weixin_41975548
umiyuki_ai
9 月前
trueweixin_41975548

有人制作了LightChatAssistant的改良版本。在原始版本中，对ChatVector统一乘以0.8，而在这个版本中，他们使用了一种叫做TPE的方法，为不同层准备了50种不同的加权倍率方案，并通过基准测试选择了表现最佳的方案。https://huggingface.co/Aratako/LightChatAssistant-2x7B-optimized-experimental

评论
16
  • 复制链接
  • 举报
下一条：
感觉好像存在知识问题和行为问题，例如聊天对话能力可以通过ChatVector进行加减法来迁移。据八先生的实验，代码向量迁移失败了，数学推理向量迁移则成功了。聊天能力和数学推理能力是行为和思考方式的问题，所以可以迁移，但编程能力可能更多的是知识问题，所以似乎不能迁移。