#OpenAI前超级对齐团队成员自曝离开原因# 在上周二Sutskever、和超级对齐团队的另一位负责人、前 DeepMind 研究员 Jan Leike 离开OpenAI之后，我们怀疑这个“超级对齐”团队将会解散。昨天连线杂志的一片报道确认了这一猜测。Jan Leike之后在X上（janleike）对离职原因做了一些解释，这也是少见的OpenAI前员工的OpenAI言论，我整理为第三人称。1、在过去的大约 3 年里，经历了一段狂野的旅程。团队利用 InstructGPT 启动了首个 RLHFLLM ，在LLMs 上发布了首个可扩展的监督，开创了自动可解释性和弱到强泛化的先河。（InstructGPT是指模型从人类反馈中获得的强化学习，这些反馈被纳入 GPT 模型 使其更可靠，见fourweekmba做的图一）2、离开OpenAI是我过的最困难的事情之一，因为迫切需要弄清楚如何引导和控制比人类聪明得多的人工智能系统。之所以加入，是因为认为 OpenAI 将是世界上进行这项研究的最佳场所。3、然而，与 OpenAI 领导层在公司核心优先事项上的分歧已经持续了很长时间，直到最终达到了一个爆发点。（宫斗事件？）4、他（或者超级对齐团队）认为，应该把更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、安全、对抗鲁棒性、（超级）一致性、保密性、社会影响以及相关主题。（在之前的超级对齐团队播客中，曾经提出将20%资源用于这项工作）5、但在过去的几年里，安全文化和流程已经被闪亮的产品所取代。过去的几个月里，团队一直在逆风航行。有时我们为计算而挣扎，要完成这项至关重要的研究越来越难。6、早就该认真对待 AGI 的影响了。必须尽可能优先为他们做好准备。只有这样，我们才能确保 AGI 造福全人类。最后，他对OpenAI的所有员工喊话：OpenAI 必须成为一家安全第一的 AGI 公司。：学会感受 AGI。“全靠你们了，全世界都指望着你”。