FYI给任何使用的Mixtral进行长上下文任务的人——通过-CSDN blink-领先的开发者技术社区

热门

最新

红包

立Flag

投票

同城

我的

发布

2 年前

trueweixin_41259362

FYI给任何使用 @玄睛的Mixtral进行长上下文任务的人——通过禁用滑动窗口注意力（将其设置为你的最大上下文长度），你可以获得更好的性能。

config.sliding_window = 32768

CSDN App 扫码分享

分享

评论

11

复制链接
举报

下一条：

上周总结，虽然写的不多，但一篇97一篇98

。感谢大佬们支持，小编会继续更新优质文章