热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
8
126
- 复制链接
- 举报
下一条：
谷歌的 Griffin 架构 ——RNN LLM 的实施本文讨论了谷歌的 Griffin 架构的实施，该架构是谷歌 DeepMind 的语言模型 RecurrentGemma。它专注于使用局部注意力和线性递归的混合来快速生成长序列。该代码库提供了模型实现、采样和微调的示例，并针对 CPU、GPU 和 TPU 进行了优化支持。评论中讨论了与 Transformer 模型的比较，不同架构的可扩展性和性能，以及将 RNN 和 Transformer 元素结合的混合模型的潜力。还提到了 RWKV、Mamba 和其他模型，以及它们在序列建模范式中的应用。💬 https://news.ycombinator.com/item?id=39993626@朱恒玉
