OpenAI的一位前主要研究员认为，人工智能有相当大的机会控制人类并摧毁它。
“我认为也许有类似10-20%的人工智能接管的可能性，[与]许多[或]大多数人类死亡，”在OpenAI负责语言模型对齐团队的保罗-克里斯蒂安诺在Bankless播客上说。”我相当重视这个问题。”
克里斯蒂亚诺现在是对齐研究中心的负责人，该中心是一个非营利组织，旨在使AI和机器学习系统与 “人类利益 “保持一致，他说他特别担心当AI达到人类的逻辑和创造性能力时会发生什么。”他说：”总的来说，也许我们正在谈论在我们拥有人类水平的系统后不久，会有50/50的灾难机会。
克里斯蒂亚诺是个好伙伴。最近，世界各地的科学家签署了一封在线信函，敦促OpenAI和其他竞相建立更快、更智能的人工智能的公司，按下开发的暂停键。从比尔-盖茨到埃隆-马斯克的大佬们都表示担心，如果不加以控制，人工智能对人类来说是一个明显的、存在的危险。
∮
∮∮不要作恶∮∮
∮∮
为什么人工智能会变得邪恶？从根本上说，和人一样的原因：训练和生活经验。
像婴儿一样，人工智能通过接收堆积如山的数据来训练，但并不真正知道该如何处理这些数据。它通过尝试用随机行动实现某些目标来学习，并将训练所定义的 “正确 “结果归为零。
到目前为止，通过沉浸在互联网上积累的数据中，机器学习已经使人工智能在对人类的询问做出结构良好、连贯的回应方面取得了巨大的飞跃。与此同时，为机器学习提供动力的基础计算机处理正在变得更快、更好、更专业。一些科学家认为，在十年内，这种处理能力与人工智能相结合，将使这些机器变得有知觉，像人类一样，并有自我意识。
这就是事情变得棘手的时候。这就是为什么许多研究人员认为，我们需要现在就想出如何设置护栏，而不是以后。只要人工智能的行为被监控，它就可以被控制。
但是，如果硬币落在另一边，即使是OpenAI的联合创始人也说，事情可能会变得非常、非常糟糕。
Foomsday?
这个话题已经摆在桌面上多年了。关于这个问题的最著名的辩论之一发生在11年前，人工智能研究员埃利泽-尤德考斯基和经济学家罗宾-汉森之间。两人讨论了达到 “foom “的可能性–这显然是 “Fast Onset of Overwhelming Mastery “的缩写–即人工智能变得比人类更聪明且能够自我改善的指数点。(“foom “一词的来源是有争议的)。
“埃利泽和他的信徒们认为，人工智能不可避免地会毫无征兆地’消亡’，也就是说，有一天你建立了一个AGI[人工通用智能]，几小时或几天后，这个东西已经递归地自我改进为神一样的智能，然后吃掉了整个世界。这现实吗？” 活跃在人工智能社区的计算机科学家佩里-梅茨格最近在推特上说。
梅茨格认为，即使计算机系统达到了人类智能的水平，仍然有足够的时间来避免任何坏的结果。”‘foom’在逻辑上可能吗？也许吧。我不相信，”他说。”它在现实世界中可能吗？我很确定没有。长期深入的超人类人工智能会成为一种事物吗？是的，但不是一个’foom'”
另一位知名人士Yann Le Cun也提高了自己的声音，声称人类经历人工智能的接管是 “完全不可能的”。让我们希望如此。
