近几个月，新人工智能模型的快速兴起，例如OpenAI的ChatGPT等，让一些技术专家和研究人员开始思考，人工智能的能力是否会很快超过人类。OpenAI的前关键研究人员表示，这种未来极有可能发生，但他也警告说，达到人类水平或者超人类水平的人工智能控制甚至消灭人类的几率并非为零。
OpenAI的前安全团队语言模型对齐主管保罗·克里斯蒂亚诺在4月下旬接受了科技播客Bankless的采访。他表示，最担心的情况是“成熟的人工智能掌控人类”。他在采访中警告道，高级人工智能有相当大的机会，在不远的将来引发可能会导致世界毁灭的大灾难。
克里斯蒂亚诺说：“总体而言，在人工智能系统达到人类的水平之后，我们有超过50%的概率很快遭遇末日。我认为人工智能有10%至20%的概率，造成许多甚至大多数人类死亡，并接管人类。”
克里斯蒂亚诺于2021年从OpenAI离职。他在由人工智能研究人员埃利泽·尤德考斯基创建的社区博客网站LessWrong的《Ask Me Anything》栏目里解释了自己离职的原因。尤德考斯基多年来一直警告超人类人工智能可能毁灭人类。克里斯蒂亚诺当时写道，他希望“研究人工智能对齐方面的更多概念性/理论性问题”，人工智能对齐是一个人工智能安全研究子领域，旨在保证人工智能系统符合人类的利益和道德准则。他表示，在这方面的研究中，OpenAI“并非是做得最好的”。
克里斯蒂亚诺目前经营一家非营利组织Alignment Research Center，致力于研究理论上的人工智能对齐策略。最近几个月，随着各大公司竞相推出日益复杂的人工智能模型，这个领域的研究引起了极大关注。今年3月，OpenAI发布GPT-4，对驱动ChatGPT的人工智能模型进行了更新。ChatGPT在2022年11月才公开发布。与此同时，谷歌（Google）、微软（Microsoft）等科技巨头展开了人工智能军备竞赛，纷纷发布了支持商业应用的人工智能模型，希望在这个新兴市场里占据一席之地。
但目前公开发布的人工智能系统依旧存在大量错误和虚假信息，因此克里斯蒂亚诺和许多专家都警告不要操之过急。OpenAI的联合创始人埃隆·马斯克在2018年与该公司分道扬镳。今年3月，包括马斯克在内的1,100名技术专家发表公开信，呼吁比GPT-4更强大的高级人工智能模型的开发工作应该暂停六个月，并将研究重点重新转向提高现有系统的可靠性。（之后，马斯克宣布将推出TruthGPT，与ChatGPT竞争，他表示TruthGPT将致力于“寻求真相”，而不是获取利润。）
公开信中担心的问题之一是，现有人工智能模型可能为超级智能模型铺平道路，而这种模型可能威胁人类文明。虽然ChatGPT等现有生成式人工智能系统有能力完成特定任务，但它们距离达到人类的智力水平仍然有很大差距。这种未来可能出现的人工智能被称为通用人工智能（AGI）。
专家们对通用人工智能发展的时间线存在分歧，有专家认为通用人工智能的发展可能需要数十年时间，但也有专家表示通用人工智能永远不会诞生，然而，人工智能的飞速发展开始改变人们的立场。斯坦福大学（Stanford University）在今年4月发布的一份研究报告显示，约57%的人工智能和计算机科学研究人员称，人工智能正在快速朝着通用人工智能的方向发展，有36%的受访者表示将重要决策交给高级人工智能来完成，可能给人类带来“核爆炸级别的大灾难”。
有专家警告道，即便更强大的人工智能在开发时是中立的，一旦被心怀不轨的人利用，它可能立刻变得非常危险。谷歌的前研究人员、被称为“人工智能教父”的杰弗里·辛顿在本周对《纽约时报》（New York Times）表示：“我们很难找到阻止不法分子利用人工智能作恶的办法。我认为，在确定能否控制人工智能之前，不应该继续扩大其规模。”
克里斯蒂亚诺在接受采访时表示，如果人工智能发展到人类社会缺少了它就无法正常运转的程度，那时人类文明就将面临威胁，如果有强大的人工智能决定不需要再为创作者的利益服务，人类就将变得极其脆弱。
他说：“人类灭亡最有可能的方式并非人工智能突然杀死所有人，而是我们大量部署人工智能，让它变得无处不在。如果出于某种原因，这些人工智能系统试图杀死人类，它们就一定能够做到，但愿这种情况不会发生。”
不过，也有人反驳了对人工智能的这种解读。有专家认为，虽然被设计用于完成特定任务的人工智能必然会出现，但由于计算机在解读生活经历方面的局限性，开发可以与人类匹敌的通用人工智能，在技术上不具有可行性。
对于最近对人工智能的可怕警告，创业者和计算机科学家佩里·梅茨格在今年4月发推文称，虽然“高度超越人类的”人工智能可能会出现，但通用人工智能发展到能够反抗创作者的程度可能需要数年甚至几十年时间，而它的创作者将有时间调整人工智能朝着正确的方向发展。对于梅茨格的推文，纽约大学（New York University）的计算机科学家杨立昆（Yann LeCun）写道，通用人工智能在一夜之间具备危险的、不受控制的能力，这种宿命论的情景“根本不可能发生”。杨立昆自2013年开始主持Meta的人工智能研究。
