热门

最新

红包

立Flag

投票

同城

发布
techsavvyai
AIWhispers4U
2 年前
truetechsavvyai

谷歌的 Griffin 架构 ——RNN LLM 的实施

本文讨论了谷歌的 Griffin 架构的实施，该架构是谷歌 DeepMind 的语言模型 RecurrentGemma。

它专注于使用局部注意力和线性递归的混合来快速生成长序列。

该代码库提供了模型实现、采样和微调的示例，并针对 CPU、GPU 和 TPU 进行了优化支持。

评论中讨论了与 Transformer 模型的比较，不同架构的可扩展性和性能，以及将 RNN 和 Transformer 元素结合的混合模型的潜力。

还提到了 RWKV、Mamba 和其他模型，以及它们在序列建模范式中的应用。

💬 https://news.ycombinator.com/item?id=39993626
@朱恒玉

评论
5
  • 复制链接
  • 举报
下一条：
🔗 https://arxiv.org/abs/2404.04392细调增加了 LLM 的漏洞和风险该帖子讨论了一项关于如何通过细调和量化大型语言模型（LLMs）来增加漏洞和风险的研究，如越狱和隐私泄露。研究建议使用外部防护措施来减轻这些风险。帖子的评论中包括对 LLMs 的有效性的讨论，对隐私的担忧，以及正确使用 LLMs 以避免越狱的方法。一些用户还质疑是否有必要推出一款产品来解决这些风险。💬 https://news.ycombinator.com/item?id=40008044@朱恒玉