超智能

超智能是一种假设的智能代理，指拥有超过最聪明 ，最有天赋的人类思想的智力。“超级智能”也可以指问题解决系统（例如，超智能语言翻译或工程助理）的属性，无论这些高级智力能力是否体现在世界上的代理人身上。超级智能可能会或可能不会通过情报爆炸产生并与技术奇点相关联。

牛津大学哲学家尼克博斯特罗姆将超级智能定义为“在几乎所有感兴趣的领域都大大超过人类认知表现的任何智力”。 Fritz计划缺乏超级智能，尽管它在国际象棋中比人类好得多，因为Fritz在其他任务中无法超越人类。 继Hutter和Legg之后，Bostrom将超级智能视为目标导向行为的一般主导，让人工或人类超级智能是否具备意向性 （参见中国房间论证）或第一人称意识 （ 参见 意识的难题 ）。

技术研究人员不同意当今人类智能被超越的可能性。一些人认为， 人工智能 （AI）的进步可能会导致缺乏人类认知局限性的一般推理系统。其他人认为，人类会进化或直接修改他们的生物学，从而获得更大的智力。许多未来学方案结合了这两种可能性的元素，表明人类可能与计算机接口 ，或者以一种能够实现大量智能放大的方式将他们的思想上传到计算机 。

一些研究人员认为，在強人工智慧发展后不久，超级智能可能会出现。第一个通用智能机器可能立即在至少某些形式的心智能力中立即拥有巨大的优势，包括遗觉记忆的能力，非常优越的知识基础，以及以生物实体不可能的方式进行多任务处理的能力。这可能使他们有机会 - 作为一个单一的存在或作为一个新物种 - 变得比人类更强大，并取代它们。

许多科学家和预测人员主张将早期研究放在优先考虑人类和机器认知增强的可能益处和风险之上，因为这些技术可能具有社会影响。

人工超智能的可行性

图像机器分类的进展

---

AI的错误率按年份计算。红线 - 受过训练的人的错误率

哲学家大卫查尔默斯认为， 人工一般情报是超人情报的可能途径。查尔莫斯将这种说法分解为一种观点，即人工智能可以实现与人类智能的等同 ，它可以扩展到超越人类智能，并且可以进一步放大以完全控制人类跨越任意任务。

关于人类等效，Chalmers认为人脑是一个机械系统，因此应该用合成材料来模拟。 他还指出，人类智能能够在生物学上进化，使人类工程师更有可能重述这一发明。特别是进化算法应该能够产生人类AI。 关于智能扩展和放大，Chalmers认为新的AI技术通常可以改进，并且当发明可以帮助设计新技术时尤其如此。

已隱藏部分未翻譯内容，歡迎參與翻譯。

If research into strong AI produced sufficiently intelligent software, it would be able to reprogram and improve itself – a feature called "recursive self-improvement". It would then be even better at improving itself, and could continue doing so in a rapidly increasing cycle, leading to a superintelligence. This scenario is known as an intelligence explosion. Such an intelligence would not have the limitations of human intellect, and may be able to invent or discover almost anything.

如果對通用人工智慧的研究產生了足夠聰明的軟體，該軟體將能夠重新編程並改良自身––一種“遞迴自我完善”的功能。它將會在改良自身這方面變得更強，且能夠在不斷縮短的改良周期中，持續地進行，以此達到超智能。這情況也被稱為技術奇異點。這樣的智能沒有人類智慧的限制，而且可能發明或發現幾乎任何事。

计算机组件已经在速度上大大超过了人类的表现。 Bostrom写道，“生物神经元的工作峰值速度约为200 Hz，比现代微处理器（~2 GHz）慢了整整七个数量级。” 此外， 神经元在不超过120 m / s的轴突上传输尖峰信号，“而现有的电子处理核心可以以光速进行光学通信”。因此，超级智能的最简单的例子可能是模拟的人类思维，它运行在比大脑快得多的硬件上。类似于人类的推理者可以比现有人类快数百倍地思考，在大多数推理任务中具有显着优势，特别是那些需要匆忙或长串行动的推理任务。

计算机的另一个优点是模块化，即可以增加它们的大小或计算能力。与许多超级计算机一样，非人类（或修饰过的人类）大脑可能变得比现今的人类大脑大得多。博斯特罗姆还提出了集体超级智能的可能性：足够多的独立推理系统，如果他们进行足够的沟通和协调，可以采用比任何子代理更强大的功能。

所有上述优点都适用于人工超智能，但目前尚不清楚有多少适用于生物超级智能。生理限制以许多方式限制生物大脑的速度和大小，这些方式不适用于机器智能。因此，超级智能的作者更加关注超智能AI场景。

生物超级智能的可行性

卡尔萨根认为剖腹产和体外受精的出现可能允许人类进化出更大的头部，从而通过人类智能的遗传成分中的自然选择得到改善。 相比之下， 杰拉德·克拉布特里 （ Gerald Crabtree ）认为，选择压力的降低导致人类智力的缓慢，长达数百年的减少 ，而且这一过程可能会持续到未来。关于这两种可能性都没有科学共识，在这两种情况下，生物学变化都会很慢，特别是相对于文化变化的速度。

选择性育种，益智药，NSI-189，MAO-I，表观遗传调控和基因工程可以更快地改善人类智力。

如果我们了解智力的遗传成分，可以使用植入前遗传学诊断来选择具有多达4个IQ增益点的胚胎（如果从两个中选择一个胚胎），或者获得更大的增益（例如，如果从1000中选择一个胚胎，则获得高达24.3个IQ点）。如果这个过程经过多代迭代，那么收益可能会高出一个数量级。 Bostrom建议从胚胎干细胞中获得新的配子可以用来非常快速地迭代选择过程。 一个组织良好的高智商人类社会可能会实现集体的超级智能。

或者，集体智慧可以通过在目前的个人智力水平上更好地组织人类来构建。许多作家认为，人类文明或其某些方面（例如，互联网或经济）的功能就像一个能够远远超过其组成代理人的全球大脑 。然而，如果这种基于系统的超级智能在很大程度上依赖于人工组件，那么它可能有资格成为AI而不是基于生物学的超级有机体 。

智力放大的最终方法是直接增强个体，而不是增强其社会或生殖动态。这可以通过益智药 ，体细胞基因疗法或脑 - 计算机接口来实现 。然而，Bostrom对前两种方法的可扩展性表示怀疑，并认为设计一个超智能的机器人界面是一个AI完全问题。

预测

大多数被调查的人工智能研究人员都希望机器最终能够在智能方面与人类竞争，尽管对何时可能发生这种情况几乎没有达成共识。在2006年的AI @ 50大会上，18％的与会者报告称，到2056年，机器能够“模拟学习和人类智能的其他方面”; 41％的与会者预计这将在2056年后的某个时间发生; 41％的人预计机器永远不会达到这一里程碑。

在对AI中被引用率最高的100位作者（截至2013年5月，根据微软学术搜索）的一项调查中，受访者预计机器的中位数“能够执行大多数人类职业，至少与典型的人类一样”（假设没有发生全球性灾难 ）10％置信度为2024（平均值2034，创始人33岁），50％置信度为2050（平均值2072，创始人110年），90％置信度为2070（平均2168年，圣德瓦尔，342年）。这些估计数不包括1.2％的受访者表示没有一年会达到10％的信心，4.1％的受访者表示“从不”获得50％的信心，而16.5％的受访者表示“从未”获得90％的信心。受访者指出，在发明近似人类机器智能的30年内发明机器超级智能的可能性中位数为50％。

设计注意事项

博斯特罗姆对超级智能应该具备的价值观表示担忧。他比较了几个提案：

• 连贯的外推意志 （CEV）提议是它应该具有人类会聚的价值。
• 道德正确 （MR）的提议是它应该重视道德正确性。
• 道德允许 （MP）提议是值得保持在道德允许范围内（并且具有CEV值）。

博斯特罗姆澄清了这些条款：

人们可以尝试建立一个人工智能，而不是实现人类的连贯外推意志，目标是做出道德上正确的事情，依靠人工智能的卓越认知能力来确定哪些行为符合这种描述。我们可以称这个提议为“道德正确”（MR）...... MR似乎也有一些缺点。它依赖于“道德上正确”的概念，这是一个众所周知的困难概念，哲学家自古以来就一直在努力解决这个概念，但尚未就其分析达成共识。选择错误的“道德正确性”解释可能会导致道德上非常错误的结果......赋予AI任何这些[道德]概念的途径可能涉及赋予其一般的语言能力（至少可以与一个正常的人类成年人）。这种理解自然语言的一般能力可用于理解“道德正确”的含义。如果人工智能能够掌握其意义，它可以寻找适合的行为......

为响应博斯特罗姆，桑托斯 - 朗对开发商可能试图从单一的超级智能开始表示担忧。

危及人类生存和人工智能控制问题

学习快速变得超级智能的计算机可能会采取不可预见的行动，或者机器人可能会超越人类（一种潜在的技术奇点场景）。 研究人员认为，在下个世纪的某个时候，通过“情报爆炸”，自我改善的人工智能可能变得如此强大，以至于人类不可阻挡。

Concerning human extinction scenarios, Bostrom (2002) identifies superintelligence as a possible cause:

从理论上讲，由于超级智能人工智能能够带来几乎任何可能的结果，并阻止任何阻止其目标实施的企图， 因此可能出现许多不受控制的意外后果 。它可以杀死所有其他代理人，说服他们改变他们的行为，或阻止他们干涉的企图。

这就提出了AI控制问题 ：如何构建一个能够帮助其创建者的超智能代理，同时避免无意中建立一个会伤害其创建者的超级智能。不首次设计控制权的危险在于，错误编程的超级智能可能会合理地决定“接管世界”并拒绝允许其程序员在激活后对其进行修改。潜在的设计策略包括“能力控制”（防止AI能够追求有害计划）和“动机控制”（构建想要帮助的AI）。

比尔·希巴德（Bill Hibbard）倡导关于超级智能发展的超级智能和公共控制的公共教育。

参考书目

• Bostrom, Nick, Existential Risks, Journal of Evolution and Technology, 2002, 9 [2007-08-07], （原始内容存档于2011-04-27） 
• Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. Oxford University Press. 2014. 
• Chalmers, David. The Singularity: A Philosophical Analysis (PDF). Journal of Consciousness Studies. 2010, 17: 7–65. （原始内容 (PDF)存档于2011-06-11）. 
• Hibbard, Bill. Super-Intelligent Machines. Kluwer Academic/Plenum Publishers. 2002. 
• Legg, Shane (2008). Machine Super Intelligence (PDF) (PhD). Department of Informatics, University of Lugano. Retrieved September 19, 2014.
• Santos-Lang, Christopher. Our responsibility to manage evaluative diversity (PDF). ACM SIGCAS Computers & Society. 2014, 44 (2): 16–19. doi:10.1145/2656870.2656874. （原始内容 (PDF)存档于2018-11-02）. 

外部链接

• 比尔盖茨加入史蒂芬霍金担心“超级智能”即将来临的威胁 （页面存档备份，存于互联网档案馆）
• 超级智能机器会破坏人性吗？ （页面存档备份，存于互联网档案馆）
• 苹果联合创始人对人工超级智能的预感有意识 （页面存档备份，存于互联网档案馆）