Llama.cpp的Gemma2支持，已经完成了分词器修正！→因为没有实现logit软截断，输出有问题！（https://github.com/ggerganov/llama.cpp/pull/8197）→虽然实现了logit软截断，但滑动窗口还在实现中！（https://github.com/ggerganov/llama.cpp/issues/3377）目前就是这样的阶段。是时候开始动手了，还是等到滑动窗口实现并确保万无一失再说……用滑动窗口训练的模型能用全局注意力来运行吗？好像确实有输出问题的担忧。（https://github.com/ggerganov/llama.cpp/issues/8183）顺便提一下，在Transformers上运行的Gemma2输出也有问题。因为相比Google AI Studio的Gemma2，HuggingChat的Gemma2表现太差了。（https://github.com/ggerganov/llama.cpp/pull/8197