超智能

超智能是一種假設的智能代理，指擁有超過最聰明 ，最有天賦的人類思想的智力。「超級智能」也可以指問題解決系統（例如，超智能語言翻譯或工程助理）的屬性，無論這些高級智力能力是否體現在世界上的代理人身上。超級智能可能會或可能不會通過情報爆炸產生並與技術奇點相關聯。

牛津大學哲學家尼克博斯特羅姆將超級智能定義為「在幾乎所有感興趣的領域都大大超過人類認知表現的任何智力」。 Fritz計劃缺乏超級智能，儘管它在國際象棋中比人類好得多，因為Fritz在其他任務中無法超越人類。 繼Hutter和Legg之後，Bostrom將超級智能視為目標導向行為的一般主導，讓人工或人類超級智能是否具備意向性 （參見中國房間論證）或第一人稱意識 （ 參見 意識的難題 ）。

技術研究人員不同意當今人類智能被超越的可能性。一些人認為， 人工智能 （AI）的進步可能會導致缺乏人類認知局限性的一般推理系統。其他人認為，人類會進化或直接修改他們的生物學，從而獲得更大的智力。許多未來學方案結合了這兩種可能性的元素，表明人類可能與計算機接口 ，或者以一種能夠實現大量智能放大的方式將他們的思想上傳到計算機 。

一些研究人員認為，在強人工智慧發展後不久，超級智能可能會出現。第一個通用智能機器可能立即在至少某些形式的心智能力中立即擁有巨大的優勢，包括遺覺記憶的能力，非常優越的知識基礎，以及以生物實體不可能的方式進行多任務處理的能力。這可能使他們有機會 - 作為一個單一的存在或作為一個新物種 - 變得比人類更強大，並取代它們。

許多科學家和預測人員主張將早期研究放在優先考慮人類和機器認知增強的可能益處和風險之上，因為這些技術可能具有社會影響。

人工超智能的可行性

圖像機器分類的進展

---

AI的錯誤率按年份計算。紅線 - 受過訓練的人的錯誤率

哲學家大衛查爾默斯認為， 人工一般情報是超人情報的可能途徑。查爾莫斯將這種說法分解為一種觀點，即人工智能可以實現與人類智能的等同 ，它可以擴展到超越人類智能，並且可以進一步放大以完全控制人類跨越任意任務。

關於人類等效，Chalmers認為人腦是一個機械系統，因此應該用合成材料來模擬。 他還指出，人類智能能夠在生物學上進化，使人類工程師更有可能重述這一發明。特別是進化算法應該能夠產生人類AI。 關於智能擴展和放大，Chalmers認為新的AI技術通常可以改進，並且當發明可以幫助設計新技術時尤其如此。

已隱藏部分未翻譯內容，歡迎參與翻譯。

If research into strong AI produced sufficiently intelligent software, it would be able to reprogram and improve itself – a feature called "recursive self-improvement". It would then be even better at improving itself, and could continue doing so in a rapidly increasing cycle, leading to a superintelligence. This scenario is known as an intelligence explosion. Such an intelligence would not have the limitations of human intellect, and may be able to invent or discover almost anything.

如果對通用人工智慧的研究產生了足夠聰明的軟體，該軟體將能夠重新編程並改良自身––一種「遞迴自我完善」的功能。它將會在改良自身這方面變得更強，且能夠在不斷縮短的改良周期中，持續地進行，以此達到超智能。這情況也被稱為技術奇異點。這樣的智能沒有人類智慧的限制，而且可能發明或發現幾乎任何事。

計算機組件已經在速度上大大超過了人類的表現。 Bostrom寫道，「生物神經元的工作峰值速度約為200 Hz，比現代微處理器（~2 GHz）慢了整整七個數量級。」 此外， 神經元在不超過120 m / s的軸突上傳輸尖峰信號，「而現有的電子處理核心可以以光速進行光學通信」。因此，超級智能的最簡單的例子可能是模擬的人類思維，它運行在比大腦快得多的硬件上。類似於人類的推理者可以比現有人類快數百倍地思考，在大多數推理任務中具有顯着優勢，特別是那些需要匆忙或長串行動的推理任務。

計算機的另一個優點是模塊化，即可以增加它們的大小或計算能力。與許多超級計算機一樣，非人類（或修飾過的人類）大腦可能變得比現今的人類大腦大得多。博斯特羅姆還提出了集體超級智能的可能性：足夠多的獨立推理系統，如果他們進行足夠的溝通和協調，可以採用比任何子代理更強大的功能。

所有上述優點都適用於人工超智能，但目前尚不清楚有多少適用於生物超級智能。生理限制以許多方式限制生物大腦的速度和大小，這些方式不適用於機器智能。因此，超級智能的作者更加關注超智能AI場景。

生物超級智能的可行性

卡爾薩根認為剖腹產和體外受精的出現可能允許人類進化出更大的頭部，從而通過人類智能的遺傳成分中的自然選擇得到改善。 相比之下， 傑拉德·克拉布特里 （ Gerald Crabtree ）認為，選擇壓力的降低導致人類智力的緩慢，長達數百年的減少 ，而且這一過程可能會持續到未來。關於這兩種可能性都沒有科學共識，在這兩種情況下，生物學變化都會很慢，特別是相對於文化變化的速度。

選擇性育種，益智藥，NSI-189，MAO-I，表觀遺傳調控和基因工程可以更快地改善人類智力。

如果我們了解智力的遺傳成分，可以使用植入前遺傳學診斷來選擇具有多達4個IQ增益點的胚胎（如果從兩個中選擇一個胚胎），或者獲得更大的增益（例如，如果從1000中選擇一個胚胎，則獲得高達24.3個IQ點）。如果這個過程經過多代迭代，那麼收益可能會高出一個數量級。 Bostrom建議從胚胎幹細胞中獲得新的配子可以用來非常快速地迭代選擇過程。 一個組織良好的高智商人類社會可能會實現集體的超級智能。

或者，集體智慧可以通過在目前的個人智力水平上更好地組織人類來構建。許多作家認為，人類文明或其某些方面（例如，互聯網或經濟）的功能就像一個能夠遠遠超過其組成代理人的全球大腦 。然而，如果這種基於系統的超級智能在很大程度上依賴於人工組件，那麼它可能有資格成為AI而不是基於生物學的超級有機體 。

智力放大的最終方法是直接增強個體，而不是增強其社會或生殖動態。這可以通過益智藥 ，體細胞基因療法或腦 - 計算機接口來實現 。然而，Bostrom對前兩種方法的可擴展性表示懷疑，並認為設計一個超智能的機器人界面是一個AI完全問題。

預測

大多數被調查的人工智能研究人員都希望機器最終能夠在智能方面與人類競爭，儘管對何時可能發生這種情況幾乎沒有達成共識。在2006年的AI @ 50大會上，18％的與會者報告稱，到2056年，機器能夠「模擬學習和人類智能的其他方面」; 41％的與會者預計這將在2056年後的某個時間發生; 41％的人預計機器永遠不會達到這一里程碑。

在對AI中被引用率最高的100位作者（截至2013年5月，根據微軟學術搜索）的一項調查中，受訪者預計機器的中位數「能夠執行大多數人類職業，至少與典型的人類一樣」（假設沒有發生全球性災難 ）10％置信度為2024（平均值2034，創始人33歲），50％置信度為2050（平均值2072，創始人110年），90％置信度為2070（平均2168年，聖德瓦爾，342年）。這些估計數不包括1.2％的受訪者表示沒有一年會達到10％的信心，4.1％的受訪者表示「從不」獲得50％的信心，而16.5％的受訪者表示「從未」獲得90％的信心。受訪者指出，在發明近似人類機器智能的30年內發明機器超級智能的可能性中位數為50％。

設計注意事項

博斯特羅姆對超級智能應該具備的價值觀表示擔憂。他比較了幾個提案：

• 連貫的外推意志 （CEV）提議是它應該具有人類會聚的價值。
• 道德正確 （MR）的提議是它應該重視道德正確性。
• 道德允許 （MP）提議是值得保持在道德允許範圍內（並且具有CEV值）。

博斯特羅姆澄清了這些條款：

人們可以嘗試建立一個人工智能，而不是實現人類的連貫外推意志，目標是做出道德上正確的事情，依靠人工智能的卓越認知能力來確定哪些行為符合這種描述。我們可以稱這個提議為「道德正確」（MR）...... MR似乎也有一些缺點。它依賴於「道德上正確」的概念，這是一個眾所周知的困難概念，哲學家自古以來就一直在努力解決這個概念，但尚未就其分析達成共識。選擇錯誤的「道德正確性」解釋可能會導致道德上非常錯誤的結果......賦予AI任何這些[道德]概念的途徑可能涉及賦予其一般的語言能力（至少可以與一個正常的人類成年人）。這種理解自然語言的一般能力可用於理解「道德正確」的含義。如果人工智能能夠掌握其意義，它可以尋找適合的行為......

為響應博斯特羅姆，桑托斯 - 朗對開發商可能試圖從單一的超級智能開始表示擔憂。

危及人類生存和人工智能控制問題

學習快速變得超級智能的計算機可能會採取不可預見的行動，或者機器人可能會超越人類（一種潛在的技術奇點場景）。 研究人員認為，在下個世紀的某個時候，通過「情報爆炸」，自我改善的人工智能可能變得如此強大，以至於人類不可阻擋。

Concerning human extinction scenarios, Bostrom (2002) identifies superintelligence as a possible cause:

從理論上講，由於超級智能人工智能能夠帶來幾乎任何可能的結果，並阻止任何阻止其目標實施的企圖， 因此可能出現許多不受控制的意外後果 。它可以殺死所有其他代理人，說服他們改變他們的行為，或阻止他們干涉的企圖。

這就提出了AI控制問題 ：如何構建一個能夠幫助其創建者的超智能代理，同時避免無意中建立一個會傷害其創建者的超級智能。不首次設計控制權的危險在於，錯誤編程的超級智能可能會合理地決定「接管世界」並拒絕允許其程序員在激活後對其進行修改。潛在的設計策略包括「能力控制」（防止AI能夠追求有害計劃）和「動機控制」（構建想要幫助的AI）。

比爾·希巴德（Bill Hibbard）倡導關於超級智能發展的超級智能和公共控制的公共教育。

參考書目

• Bostrom, Nick, Existential Risks, Journal of Evolution and Technology, 2002, 9 [2007-08-07], （原始內容存檔於2011-04-27） 
• Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. Oxford University Press. 2014. 
• Chalmers, David. The Singularity: A Philosophical Analysis (PDF). Journal of Consciousness Studies. 2010, 17: 7–65. （原始內容 (PDF)存檔於2011-06-11）. 
• Hibbard, Bill. Super-Intelligent Machines. Kluwer Academic/Plenum Publishers. 2002. 
• Legg, Shane (2008). Machine Super Intelligence (PDF) (PhD). Department of Informatics, University of Lugano. Retrieved September 19, 2014.
• Santos-Lang, Christopher. Our responsibility to manage evaluative diversity (PDF). ACM SIGCAS Computers & Society. 2014, 44 (2): 16–19. doi:10.1145/2656870.2656874. （原始內容 (PDF)存檔於2018-11-02）. 

外部連結

• 比爾蓋茨加入史蒂芬霍金擔心「超級智能」即將來臨的威脅 （頁面存檔備份，存於網際網路檔案館）
• 超級智能機器會破壞人性嗎？ （頁面存檔備份，存於網際網路檔案館）
• 蘋果聯合創始人對人工超級智能的預感有意識 （頁面存檔備份，存於網際網路檔案館）