“危险，停止GPT5”？

人工智能的风险引发了更多人的担忧。近日，未来生命研究所直接公布了一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。此公开信目前已经有1079人签署，马斯克在其中尤为醒目，除此之外还有被称为“人工智能教父”的杰弗里·辛顿，苹果公司联合创始人史蒂夫·沃兹尼亚克等等。

即将举办的2023中国绿公司论坛上，现场数百位来自政产学研界的专业人士将围绕包括新能源汽车、人工智能、新能源等议题的“产业科技”和“经营创新”两大主题进行交流研讨，4月22-24日相聚海南。

AGI的通天塔还没搭成，人类却早已吵成一团。

成立于2015年的OpenAI，本来是由马斯克等一众科技界的亿万富翁共同出资创办的，只是到了2018年，马斯克反而断然撤销了一笔巨额资金，并直接从OpenAI的董事会卸任，且公开表示是因为有利益冲突。

事情到此戛然而止，OpenAI不温不火倒也不算什么，只是转折在于，当OpenAI两个月日活1亿，且上线了其最新人工智能模型GPT-4，这一举彻底彻底轰动了整个科技界后，事情又有了新的波澜。

除了上述秘闻被挖出之外，近日，未来生命研究所直接公布了一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。

如果只是一个非盈利机构的公开信提提建议倒也实属正常，但值得指出的是，此公开信目前已经有1079人签署，马斯克在其中尤为醒目，除此之外还有被称为“人工智能教父”的杰弗里·辛顿，苹果公司联合创始人史蒂夫·沃兹尼亚克等等。

公开信给予的理由是，广泛的研究表明，具有与人类竞争智能的人工智能系统可能对社会和人类构成深远的风险，且指出，这一观点得到了顶级人工智能实验室的承认。

而且相关背景也被吵出，OpenAI CEO萨姆·阿尔特曼也坦诚，AI已经出现其无法解释的推理能力，同时承认“AI杀死人类”有一定可能性。

但问题来了，到底是学术的归学术，众多科技大佬更担心技术及科研层面AGI带来的巨大社会风险，还是更加担心借此之下，权益更加不保？

到底为何而吵?

我们先来看公开信全文，并画画重点：

第一，目前没有人能准确地理解、预测或控制AI系统，所以也没有相应水平的规划和管理；

第二，现在也并不能确信诸如OpenAI这样的人工智能系统效果积极、风险可控，即便是OpenAI也在最近声明中指出，在开始训练未来系统之前，需要得到独立审查，不然也同意限制速度；

第三，所以就应该在控制上述潜在风险之时，抓紧共同制定并实施一套安全协议，以确保系统的安全性。

公开信全篇都在讨论安全，以及担心AGI不知道会将人类带向何方，尤其是提醒众人，最好停止使用其他技术可能会对社会造成灾难性影响，给整体社会一个适应，保持准备状态，才能可以享受漫长的人工智能夏天，而不是匆忙进入秋天。

其实要这么看来，这个讨论也是正常的，正如公开信所提及的，随着ChatGPT的风头日盛，关于人工智能的风险也确实引发了更多人的担忧。

比如，杰弗里·辛顿在接受哥伦比亚广播公司采访的时候就表示，人工智能可能发展到对人类构成威胁“并非不可想象”的地步。

辛顿的发言在推特上收到了盖瑞·马库斯的响应，称超级智能可能会也可能不会迫在眉睫，但在短期内，需要担心“MAI(平庸人工智能)风险”。

马库斯甚至认为，生成式人工智能的大范围传播，或许会导致比新冠更糟糕的传播，很多人可能会因此而死亡，甚至文明都会因此而被彻底破坏。

就连萨姆·阿尔特曼也在谈话中表示，人工智能的超级智能所带来的风险，可能会远远超出我们的预料，“GPT系列为何会出现推理能力，OpenAI的研究者自己都搞不明白。只是在不断测试中，人们忽然发现：从ChatGPT开始，GPT系列开始出现了推理能力。AI确实可能杀死人类。”

当然，风向并没有一边倒，总不能刚开始有人工智能狂飙的苗头就直接掐灭，同样作为图灵奖得主的Yann‍‍LeCun，就直接没有签署上述公开信，并直接表示不同意上述前提。

且值得商榷的是，这1000多位大佬的签名中，还冒出了一个所谓的OpenAI CEO，但根据马库斯和一众网友的推测，这反而像一出罗生门，使得事情更加可疑。

我们理解，随着OpenAI的GPT模型不断向前地毯式推进，全球的各家AI实验室乃至AI企业都正在疯狂展开AI竞赛，都想用更短的时间来开发和部署更强大的AI，以使得自身在新的时代有更多的话语权，这确实会裹挟更多疯狂，使得场面更加不可控制。

甚至，毫不讳言，公开信只是展露了一个事实，大家更担心的是，这些人工智能的系统越来越集中地掌握在大型科技公司的手中，确实会给更多的人带来不安全感，这是必须要解决的问题。

如果按照公开信所言，技术暂停6个月，或许会有利于各个公司集中起来做出更稳妥的方案出来。

巨头位置决定当下态度

但其实，GPT的不断演化固然像被打开的潘多拉魔盒，更多的还是巨头被裹挟，在下一个时代来临之时没有拿到船票的恐慌。

马斯克离开OpenAI不要紧，6个月后，OpenAI从微软那里获得了10亿美元的投资，并跟微软形成了深度捆绑的关系：微软直接在GPT-4发布后第一时间表示，新的Bing已经基于GPT-4技术运行。

这也为微软带来了巨大的好处：Bing的日活首次突破1亿，且在移动设备上使用率有所增长。微软甚至展示了其类似ChatGPT的人工智能在原来Office办公套件中的妙用，甚至，OpenAI还能帮微软成为使用更广泛的人工智能云。

这一切当然会让马斯克不爽，去年12月，ChatGPT发布一个月后，马斯克取消了OpenAI对Twitter数据的访问权限，而这项协议是在马斯克收购Twitter之前签订的。

乃至于近期，马斯克甚至在推特上表示，“我仍然很困惑，一个我捐赠了近1亿美元的非营利性组织，如何成为一个市值达300亿美元的营利性机构？如果这是合法的，为什么不是每个人都这么做？”

马斯克随后还用了更加直白的语言，“我意识到，人类创造的最强大的工具，现在掌握在一个无情的垄断公司手中。”“人类还能做什么？我们最好使用Neuralink（来对抗人工智能）！”

这或许是因为除了侧面交锋之外，OpenAI开始跟特斯拉正面刚：据媒体报道，OpenAI正在进军特斯拉的机器人领域，且已经投资了挪威人形机器人公司1X。而这早也引起了外界对于GPT模型和机器人结合的热烈讨论。

那么，在众多业内人士都达成共识，表示生成式AI的产生本质上是一种生产力革命，其不仅是工具，而是直接成为生产要素的重要部分，马斯克还曾坚信，只有他自己才能真正安全开创人工智能时代，或许真的是一种吃不到葡萄说葡萄酸的心理了。

不然，类比下黄仁勋，在今年GTC的官方预告中，黄仁勋直接表示：“AI正迎来有史以来最辉煌的时刻。新的AI技术和迅速蔓延的应用正在改变科学和各行各业，并为成千上万的新公司开辟新的疆域。这将是我们迄今为止最重要的一次 GTC。”

投中网也曾之前调侃过，“巨头AI混战背后，‘卖水的’赚麻了”，屁股决定脑袋，巨头乃至科技大佬的一言一行一定代表了他们自身的立场和利益。

尤其是，苹果、谷歌、微软乃至国内百度、阿里、腾讯、美团等无一不是因为押注了技术的红利，形成了自身巨大的护城河，那么当OpenAI作为一个外部来的搅局者，希望建立一个由自身作为入口的新型人工智能驱动的新模态，早前的既得利益者怎么会轻易罢手？

就连辛顿自己都在接受CBS NEWS采访时都表示，人工智能正处于一个「关键时刻」，通用人工智能(AGI)的出现比我们想象的更加迫近。

AI的应用，让人和计算机交互的方式产生了剧变，已经是个不争的事实，一个非常确定且巨大的时代机会下，谁甘心自己是没有船票的哪个人？

有眼可见，接下来或许技术层面有待确认是否安全，但商业世界的争吵一定会愈演愈烈，毕竟，现在正是见证历史的时刻。

公开信的原文如下：

人工智能具有与人类竞争的智能，这可能给社会和人类带来深刻的风险，这已经通过大量研究[1]得到证实，并得到了顶级AI实验室的认可[2]。正如广泛认可的阿西洛马尔人工智能原则（Asilomar AI Principles）所指出的，先进的 AI 可能代表地球生命历史上的重大变革，因此应该以相应的关注和资源进行规划和管理。

不幸的是，即使在最近几个月， AI 实验室在开发和部署越来越强大的数字化思维方面陷入了失控的竞争，而没有人能够理解、预测或可靠地控制这些数字化思维，即使是它们的创造者也无法做到这一点。

现代 AI 系统现在已经在通用任务方面具有与人类竞争的能力[3]，我们必须问自己：

我们应该让机器充斥我们的信息渠道，传播宣传和谎言吗？

我们应该将所有工作都自动化，包括那些令人满足的工作吗？

我们应该发展可能最终超过、取代我们的非人类思维吗？

我们应该冒失控文明的风险吗？

这些决策不应该由非选举产生的科技领导人来负责。只有当我们确信AI系统的影响是积极的，风险是可控的，我们才应该开发强大的AI系统。这种信心必须得到充分的理由，并随着系统潜在影响的增大而增强。

OpenAI 最近关于人工智能的声明指出：「在某个时候，可能需要在开始训练未来系统之前获得独立审查，对于最先进的努力，需要同意限制用于创建新模型的计算增长速度。」我们同意。现在就是那个时刻。

因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月的时间，不要训练比 GPT-4 更强大的 AI 系统。这个暂停应该是公开和可验证的，并包括所有关键参与者。如果无法迅速实施这样的暂停，政府应该介入并实行一个暂禁令。

AI 实验室和独立专家应该利用这个暂停时间共同制定和实施一套共享的先进 AI 设计和开发安全协议，这些协议应该由独立的外部专家严格审核和监督。

这些协议应确保遵守它们的系统在合理怀疑范围之外是安全的[4]。这并不意味着暂停 AI 发展，而只是从不断迈向更大、不可预测的黑箱模型及其突现能力的危险竞赛中退一步。

AI 研究和开发应该重点放在提高现有强大、先进系统的准确性、安全性、可解释性、透明度、鲁棒性、对齐、可信度和忠诚度。

与此同时，AI 开发者必须与政策制定者合作，大力加速 AI 治理体系的发展。这些至少应包括：

专门负责 AI 的新的、有能力的监管机构；

对高能力 AI 系统和大型计算能力池的监督和跟踪；

用于区分真实与合成内容、跟踪模型泄漏的溯源和水印系统；

健全的审计和认证生态系统；对 AI 造成的损害承担责任；

技术AI安全研究的充足公共资金；

应对 AI 引起的巨大经济和政治变革（特别是对民主制度的影响）的资深机构。

人类可以在 AI 的帮助下享受繁荣的未来。在成功创造出强大的 AI 系统之后，我们现在可以享受一个「AI 盛夏」，在其中我们收获回报，将这些系统明确地用于造福所有人，并让社会有机会适应。

在面临可能对社会造成灾难性影响的其他技术上，社会已经按下了暂停键[5]。在这里，我们也可以这样做。让我们享受一个漫长的 AI 盛夏，而不是毫无准备地冲向秋天。

参考信息：

[1]Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).Bostrom, N. (2016). Superintelligence. Oxford University Press.Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.[2]Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.[3]Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.[4]Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".[5]Examples include human cloning, human germline modification, gain-of-function research, and eugenics.