热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
5
65
- 复制链接
- 举报
下一条：
SAE 就像是 AI 内部工作的显微镜，但它们仍然需要大量的研究。为此，今天我们分享了 GemmaScope：一个包含所有 Gemma 2 层和子层的数百个 SAE 的开放套件。我对那些对机械解释性感兴趣的学术同事们感到兴奋：SAE 需要大量计算资源来训练（GemmaScope 使用了 GPT-3 训练计算量的 22%），这使得学术实验室（如我在伯克利的实验室）很难研究它们。我还认为提供这样一个广泛的套件是独特的，它可以帮助我们解读整个模型，而不仅仅是单一层。期待我的学生和更广泛的学术界能够利用 GemmaScope 推动解释性研究，从而提升 AI 安全性。https://deepmind.google/discover/blog/gemma-scope-helping-the-safety-community-shed-light-on-the-inner-workings-of-language-models/
