【本文来自《可能对人类构成深远风险？马斯克等千人呼吁暂停训练高级AI》评论区，标题为小编添加】
未来生命研究所29日公布一封公开信，呼吁所有AI实验室立刻暂停训练比GPT-4更强大的AI系统至少6个月，原因是要确保人类的安全。由于有马斯克等一千多名科技领袖和研究人员签名，有人做出更强大的GPT-5可能被搁置的猜测。但请注意，OpenAI的Altman和微软的比尔·盖茨这两个关键人物都没有在公开信上签名。
老胡很担心这封公开信的内容只会停留在倡议的层面，没有机会成为人类共同实施的行动。因为目前的竞争太激烈了，它不仅存在于大公司之间，也已经在国家之间若隐若现。人类迄今没有过真正抑制住关键和致命竞赛的成功案例，而现在正是国际形势严重动荡，世界主要力量之间极其缺乏相互信任，科技领先又对开发者有决定性意义，人类内部对竞争管理非常脆弱甚至退化的时候。
科学家们认为，我们现在必须扪心自问：是否应该让机器用宣传和谎言充斥我们的信息渠道？ 是否应该让所有的动作都变得自动化？是否应该发展可能某一天会超越我们、淘汰我们、取代我们的非人类智能？是否应该冒险失去对人类文明的控制？他们认为，只有当我们想透这些问题，确认AI的影响是积极的、风险是可控的时候，才应该开发强大的AI系统，而且如果某个阶段需要对新模型算力的增长速度进行限制时，那么那个时间点就是现在。
然而我相信，把这样的愿望变成行动将非常困难，而要像公开信所说，让暂停6个月新的训练和开发成为可验证的，而且必要时政府应当介入并实施暂停，这样的机制不可能自动形成。而要达成这样的行动和监督系统，无疑需要一些重要和艰难的谈判，之后才谈得上创建这个系统，而做到这一切恐怕6个月的时间都不够。
AI的威胁是潜在和疑似的，它很无形，不像一旦真有小行星撞地球的风险，会产生直观的惊悚和紧迫感。与此同时，AI的好处又是立竿见影的，带来很多个人效益和巨大公司收益，甚至可能为国家地缘政治竞争提供新的利器。
中国人有必要跟踪围绕这份公开信所产生的业内反响和更深刻的动向，同时我们要清楚，ChatGPT的出现正在重新塑造AI领域以及更广泛领域的竞争格局。中国较美国无疑再次落后了一步，而且落后这一步的影响有可能比之前中美数字差距所导致的问题更加严重。
可以说，我们现在并没有资本引领关于暂停AI开发、升级的讨论，甚至难以在其中获得强有力的参与感。我们必须抓紧时间，将我们的通用人工智能技术的开发和应用尽快弥补、缩小与美国的差距，只有那样我们才能获得规划人类AI技术未来发展走向的话语权和制定规则的参与权。为此我们显然尚需付出非常艰苦的努力。
