在我和@勃列萌撰写的一篇新的《AI Snake Oil》文章中，我们深入探讨了AI存在风险的概率估计。我们发现这些预测只是披着数字外衣的感觉，即使是管理最好的、资金充足的、耗费大量时间的预测工作，其结果的概率估计范围也跨越了多个数量级！我们被迫得出结论，AI存在风险的预测过于不可靠，无法为政策提供有用的信息，事实上非常具有误导性。我们警告不要通过伪量化来洗白猜测。全文请见：https://www.aisnakeoil.com/p/ai-existential-risk-probabilities（约7000字）。以下是总结。背景一年多前，我们深入研究了AI存在风险的文献。我们持怀疑态度，但并不完全否定。我们希望在反驳不良论据的同时，识别出有效的担忧。我们尤为关注的是决策者该如何思考存在风险。今天的文章是系列文章的第一篇。我们已经私下传阅了草稿并纳入了很多很好的反馈。很高兴我们今天终于开始发布这个系列的文章！类比：外星人入侵如果我们两个人预测，未来十年外星人登陆地球的概率为80%，你会认真对待这个可能性吗？当然不会。你会要求看我们的证据。尽管这似乎显而易见，但在AI存在风险的辩论中，这一点似乎被遗忘了：概率本身并不具有权威性。概率通常是从某种基础方法得出的，因此我们有一种强烈的认知偏见，认为量化的风险估计比定性的更有效。但概率有可能只是猜测。参考类问题预测在某些领域（如地缘政治）之所以成功，依赖于存在较好的过去事件参考类。一个国家的动荡的参考类是另一个国家的动荡。AI存在风险的参考类则是像动物灭绝这样的事情。现实一点，这种参考类无法告诉我们开发超智能AI或失控AI的可能性，这些才是AI存在风险预测的不确定性核心来源。主观概率跨越多个数量级缺乏基础方法，预测必然是“主观概率”，即基于预测者判断的猜测。不出所料，这些猜测跨越了多个数量级。以2022年底由预测研究所进行的存在风险说服比赛（XPT）为例，这是目前我们认为最复杂和执行最好的存在风险预测活动。它涉及包括AI专家和预测专家在内的各种预测者群体。75百分位AI专家的估计和25百分位预测专家的估计至少相差100倍。所有这些估计来自对该主题有深刻了解的人，他们参加了一场长达数月的比赛并试图相互说服！如果说这里的预测范围还不够极端，请记住，这整个活动是在一个群体在一个时间点进行的。如果今天重复这场比赛，或者问题的框架有所不同，我们可能会得到不同的数字。这全是猜测最有意思的是查看预测者提供的理由，这些理由在754页的报告中有详细记录。预测者并没有使用定量模型，尤其是在考虑开发强大AI的坏结果的可能性时。大多数情况下，预测者在进行与普通人讨论超智能AI时相同的猜测。也许AI会通过对系统操作员的超人劝说接管关键系统。也许AI会试图降低全球温度，因为这有助于计算机运行更快，却意外地消灭人类。或者，也许AI会在太空中寻找资源而不是地球，所以我们不需要那么担心。这种猜测本身没有错。但我们应明确，在涉及AI存在风险时，预测者并没有依靠任何特别的知识、证据或模型，使他们的直觉比你、我或任何其他人的更可信。无法衡量的预测技能我们常听到预测有良好的记录，因此我们应该信任它。这毫无意义——为什么我们要信任一个擅长预测选举或其他事件的人在预测AI存在风险时也同样擅长？除了这些是完全不同类型的事件外，根本没有任何真实的证据可以用于AI存在风险的估计，所以擅长寻找和权衡证据的技能在这里帮助不大。此外，数学不成立。我们证明，如果一个人在预测常见事件时表现良好，但系统性地高估罕见事件，我们需要评估他们数百万次预测才能显现出来。主要论点总结：三种概率估计方法均不能产生可靠的AI存在风险预测。风险估计可能系统性地被高估预测者可能系统性地高估AI存在风险有很多原因。认为AI可以改变世界是成为AI研究者的主要动机之一。一旦进入这个社区，他们就处在不断强化这个信息的环境中。如果一个人认为这项技术是可怕的力量，那么认为其世界改变效应会是负面的而不是正面的这一想法是完全合乎理性的。在AI安全的子社区中，这种回声室效应尤为强烈。声称有很高的“末日概率”似乎已成为表明自己身份和对事业承诺的一种方式。那么政府应该如何处理AI存在风险？我们的观点不是他们应该什么都不做。但他们应该拒绝那些如果我们认为存在风险紧急且严重时可能看似有说服力的政策，特别是：限制AI发展。正如我们将在系列文章的未来篇章中所论证的，这类政策不仅不必要，还可能增加存在风险。相反，政府应该采取与一系列可能的AI风险估计兼容的政策，即使风险微不足道，这些政策总体上也是有益的。幸运的是，这类政策是存在的。政府还应改变政策制定过程，使之更能响应新证据。更多内容将在后续文章中详述。完整的文章在我们的通讯中。我们计划在接下来的几周内发布系列文章的其他部分。感谢阅读！https://www.aisnakeoil.com/p/ai-existential-risk-probabilities