fbpx
维基百科

混合式神經-符號人工智慧

一月 01, 1970

混合式神經-符號人工智慧（Neuro-symbolic AI）是整合神經網路人工智慧及符號人工智慧的架構，以解决這兩種AI方法的優缺點互補的問題，提供能夠推理、学习和认知建模的強大AI。正如瓦利安特[1]和許多人所說，[2] 想要有效建立具有豐富計算能力的認知模型，需要结合可靠的符號推理和高效的机器学习模型。蓋瑞‧馬可斯（Gary Marcus）認為：「如果沒有混合架構、豐富的先驗知識和複雜的推理技術這三駕馬車，我們就無法以合乎需要、自動化的方式打造豐富的認知模型。」[3]此外，「為了建構一種強大、知識驅動的人工智慧方法，我們必須在套組中擁有符號處理機制。太多有用的知識是抽象的，若沒有用於表示和操作抽象知識的工具，就難以堪用，而迄今為止，我們所知道的唯一能可靠操縱這種抽象知識的運轉體系是符號處理機制。」

丹尼尔·卡尼曼的書《快思慢想 》中討論了兩種思維，Henry Kautz 、[4]Francesca Rossi、[5]和Bart Selman也主張綜合法，其論點即基於解決《快思慢想 》中的這兩種思維的需要。卡尼曼描述人類思維有兩個部分「系统1和系统2」。

  • 系統1較快、自動、直觀且無意識。用於模式識別。
  • 系統2較慢、循序漸進且明確。用於處理計畫、演繹和審慎思考。

根據這種觀點，深度学习適合處理第一種認知，符號推理適合處理第二種認知。兩者都是強大、可靠的AI所必備的，可以學習、推理，並與人類互動以接受建議和回答問題。事實上，自1990年代以來，許多研究人員[6]在人工智慧和認知科學領域已經在研究明確提及這兩種對比系統的雙歷程模型。

方法类型 编辑

整合方法種類繁多。Henry Kautz提出的混合式神經-符號架構分類法以及一些例子如下：

  • Symbolic Neural symbolic——是自然語言處理中許多神經模型的當前方法，其中詞或子詞片段（subword tokens）是大型語言模型的最終輸入和輸出。例子包括BERT、RoBERTa和GPT-3 。
  • Symbolic[Neural] ——以AlphaGo為例，使用符號技術來調用神經技術。在這種情況下，符號方法採用蒙特卡洛树搜索，神經技術學習如何評估遊戲位置。
  • Neural|Symbolic——使用神經架構將感知型數據解釋為符號和關係，然後對其進行符號推理。神經概念學習器[7]即為一例。
  • Neural:Symbolic → Neural——依靠符號推理來生成或標記訓練資料，隨後交由深度學習模型學習，例如，使用類似Macsyma的符號數學系統來建立或標記示例，藉此訓練用於符號計算的神經模型.
  • Neural_{Symbolic} — 使用從符號規則生成的神經網路。一個例子是 「Neural Theorem Prover」[8] ，它從知識庫規則和術語生成的AND-OR證明樹建立神經網路。邏輯張量網路也屬於此類。
  • Neural[Symbolic] ——允許神經模型直接調用符號推理引擎，例如執行動作或評估狀態。

這些類別並不全面，例如，未考慮多智能體系統。Bader和Hitzler在2005年提出了一個更詳細的分類，像是考慮了符號使用是否包括邏輯，如果包括，邏輯是命題邏輯還是一階邏輯。[9] 2021年有篇文章對2005年的分類法和Kautz的分類法進行了比較和對比。[10]2020年，Sepp Hochreiter認為圖神經網路「......是混合式神經-符號計算的主要模型[11]」，因為「它們描述了分子的屬性，模擬社交網路，或預測物理以及工程應用中具有粒子-粒子相互作用的的未來狀態。」[1] （页面存档备份，存于互联网档案馆）

作為通用人工智慧的先決條件 编辑

馬可斯認為「......結合學習和符號操作的混合架構對於強大的智能是必要的，但還不夠」， [12]並認為：

建立強大的人工智慧需要四個先決的認知條件：

  • 將大規模學習與符號處理的表徵和計算能力相結合的混合架構。
  • 大規模的知識庫（可能利用先天框架）結合了符號知識以及其他形式的知識。
  • 推理機制能夠以易於處理的方式利用這些知識基礎。
  • 與這些機制和知识库攜手合作的豐富的認知模型。[13]

這呼應了早在1990 年代對混合模型的提倡[14][15]。

歷史 编辑

Garcez和Lamb描述該領域的研究至少在過去二十年[16][17]一直在進行（實際上到現在已經三十多年了）。自2005年以來，每年都會舉辦一系列關於混合式神經-符號人工智慧的研討會[2] （页面存档备份，存于互联网档案馆）。早在1990年代初期就組織了一批關於該主題的初期研討會。[14]

未解決的研究问题 编辑

許多關鍵的研究問題仍然存在，例如：

  • 整合神經網路架構和符號架構的最佳方式為何？
  • 符號結構應該如何在神經網路中表示，並從中提取？
  • 常識性知識應該如何學得和推理？
  • 如何操作邏輯上難以編碼的抽象知識？

實作 编辑

混合式神經-符號方法的具體實作如下：

  • 邏輯張量網路：將邏輯公式編碼為神經網路，同時從資料中學習術語神經編碼、術語權重和公式權重。
  • DeepProbLog：将神經網路與ProbLog的機率推理相结合。

引文 编辑

  1. ^ Valiant 2008.
  2. ^ Garcez et al. 2015.
  3. ^ Marcus 2020，第44頁.
  4. ^ Kautz 2020.
  5. ^ Rossi 2022.
  6. ^ Sun 1995.
  7. ^ Mao et al. 2019.
  8. ^ Rocktäschel, Tim; Riedel, Sebastian. Learning Knowledge Base Inference with Neural Theorem Provers. Proceedings of the 5th Workshop on Automated Knowledge Base Construction. San Diego, CA: Association for Computational Linguistics: 45–50. 2016 [2022-08-06]. doi:10.18653/v1/W16-1309. （原始内容于2023-12-02）. 
  9. ^ Bader & Hitzler 2005.
  10. ^ Sarker, Md Kamruzzaman; Zhou, Lu; Eberhart, Aaron; Hitzler, Pascal. Neuro-symbolic artificial intelligence: Current trends. AI Communications. 2021, 34 (3): 197–209 [2023-02-23]. S2CID 239199144. doi:10.3233/AIC-210084. （原始内容于2023-02-23）. 
  11. ^ L.C. Lamb, A.S. d'Avila Garcez, M.Gori, M.O.R. Prates, P.H.C. Avelar, M.Y. Vardi (2020). "Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective." CoRR abs/2003.00330 (2020)
  12. ^ Marcus 2020，第50頁.
  13. ^ Marcus 2020，第48頁.
  14. ^ 14.0 14.1 Sun & Bookman 1994.
  15. ^ Honavar 1995.
  16. ^ Garcez & Lamb 2020，第2頁.
  17. ^ Garcez et al. 2002.

參考文獻 编辑

  • Bader. Dimensions of Neural-symbolic Integration - A Structured Survey.  需要使用|arxiv= (帮助)
  • Garcez, Artur S. d'Avila; Broda, Krysia; Gabbay, Dov M.; Gabbay. Neural-Symbolic Learning Systems: Foundations and Applications. Springer Science & Business Media. 2002. ISBN 978-1-85233-512-0. 
  • Garcez, Artur; Besold, Tarek; De Raedt, Luc; Földiák, Peter; Hitzler, Pascal; Icard, Thomas; Kühnberger, Kai-Uwe; Lamb, Luís; Miikkulainen, Risto. . AAAI Spring Symposium - Knowledge Representation and Reasoning: Integrating Symbolic and Neural Approaches. Stanford, CA. 2015 [2023-02-23]. doi:10.13140/2.1.1779.4243. （原始内容存档于2022-09-07）. 
  • Garcez. Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning.  需要使用|arxiv= (帮助)
  • Garcez. Neurosymbolic AI: The 3rd Wave.  需要使用|arxiv= (帮助)
  • Hochreiter, Sepp. "Toward a Broad AI." Commun. ACM 65(4): 56-57 (2022). https://dl.acm.org/doi/pdf/10.1145/3512715 （页面存档备份，存于互联网档案馆）
  • Honavar, Vasant. Symbolic Artificial Intelligence and Numeric Artificial Neural Networks: Towards a Resolution of the Dichotomy. The Springer International Series In Engineering and Computer Science. Springer US: 351–388. 1995. doi:10.1007/978-0-585-29599-2_11. 
  • Kautz, Henry. The Third AI Summer, Henry Kautz, AAAI 2020 Robert S. Engelmore Memorial Award Lecture. 2020-02-11 [2022-07-06]. （原始内容于2022-10-05）. 
  • Kautz, Henry. The Third AI Summer: AAAI Robert S. Engelmore Memorial Lecture. AI Magazine. 2022, 43 (1): 93–104 [2022-07-12]. ISSN 2371-9621. S2CID 248213051. doi:10.1609/aimag.v43i1.19122. （原始内容于2022-10-07）. 
  • Mao. The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision.  需要使用|arxiv= (帮助)
  • Marcus, Gary; Davis, Ernest. Rebooting AI: Building Artificial Intelligence We Can Trust. Vintage. 2019. 
  • Marcus. The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence.  需要使用|arxiv= (帮助)
  • Rossi, Francesca. AAAI2022: Thinking Fast and Slow in AI (AAAI 2022 Invited Talk). 2022-07-06 [2022-07-06]. （原始内容于2023-03-19）. 
  • Selman, Bart. AAAI2022: Presidential Address: The State of AI. 2022-07-06 [2022-07-06]. （原始内容于2023-02-10）. 
  • Serafini. Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge.  需要使用|arxiv= (帮助)
  • Sun, Ron. Robust reasoning: Integrating rule-based and similarity-based reasoning. Artificial Intelligence. 1995, 75 (2): 241–296. doi:10.1016/0004-3702(94)00028-Y. 
  • Sun, Ron; Bookman, Lawrence. Computational Architectures Integrating Neural and Symbolic Processes. Kluwer. 1994. 
  • Sun, Ron; Alexandre, Frederic (1997). Connectionist Symbolic Integration. Lawrence Erlbaum Associates.
  • Valiant, Leslie G. Knowledge Infusion: In Pursuit of Robustness in Artificial Intelligence. 2008. 

參見 编辑

外部連結 编辑

  • Artificial Intelligence: Workshop series on Neural-Symbolic Learning and Reasoning （页面存档备份，存于互联网档案馆）

一月 01, 1970
混合式神經, 符號人工智慧, neuro, symbolic, 是整合神經網路人工智慧及符號人工智慧的架構, 以解决這兩種ai方法的優缺點互補的問題, 提供能夠推理, 学习和认知建模的強大ai, 正如瓦利安特, 和許多人所說, 想要有效建立具有豐富計算能力的認知模型, 需要结合可靠的符號推理和高效的机器学习模型, 蓋瑞, 馬可斯, gary, marcus, 認為, 如果沒有混合架構, 豐富的先驗知識和複雜的推理技術這三駕馬車, 我們就無法以合乎需要, 自動化的方式打造豐富的認知模型, 此外, 為了建構一種強大, . 混合式神經 符號人工智慧 Neuro symbolic AI 是整合神經網路人工智慧及符號人工智慧的架構 以解决這兩種AI方法的優缺點互補的問題 提供能夠推理 学习和认知建模的強大AI 正如瓦利安特 1 和許多人所說 2 想要有效建立具有豐富計算能力的認知模型 需要结合可靠的符號推理和高效的机器学习模型 蓋瑞 馬可斯 Gary Marcus 認為 如果沒有混合架構 豐富的先驗知識和複雜的推理技術這三駕馬車 我們就無法以合乎需要 自動化的方式打造豐富的認知模型 3 此外 為了建構一種強大 知識驅動的人工智慧方法 我們必須在套組中擁有符號處理機制 太多有用的知識是抽象的 若沒有用於表示和操作抽象知識的工具 就難以堪用 而迄今為止 我們所知道的唯一能可靠操縱這種抽象知識的運轉體系是符號處理機制 丹尼尔 卡尼曼的書 快思慢想 中討論了兩種思維 Henry Kautz 4 Francesca Rossi 5 和Bart Selman也主張綜合法 其論點即基於解決 快思慢想 中的這兩種思維的需要 卡尼曼描述人類思維有兩個部分 系统1和系统2 系統1較快 自動 直觀且無意識 用於模式識別 系統2較慢 循序漸進且明確 用於處理計畫 演繹和審慎思考 根據這種觀點 深度学习適合處理第一種認知 符號推理適合處理第二種認知 兩者都是強大 可靠的AI所必備的 可以學習 推理 並與人類互動以接受建議和回答問題 事實上 自1990年代以來 許多研究人員 6 在人工智慧和認知科學領域已經在研究明確提及這兩種對比系統的雙歷程模型 目录 1 方法类型 2 作為通用人工智慧的先決條件 3 歷史 4 未解決的研究问题 5 實作 6 引文 7 參考文獻 8 參見 9 外部連結方法类型 编辑整合方法種類繁多 Henry Kautz提出的混合式神經 符號架構分類法以及一些例子如下 Symbolic Neural symbolic 是自然語言處理中許多神經模型的當前方法 其中詞或子詞片段 subword tokens 是大型語言模型的最終輸入和輸出 例子包括BERT RoBERTa和GPT 3 Symbolic Neural 以AlphaGo為例 使用符號技術來調用神經技術 在這種情況下 符號方法採用蒙特卡洛树搜索 神經技術學習如何評估遊戲位置 Neural Symbolic 使用神經架構將感知型數據解釋為符號和關係 然後對其進行符號推理 神經概念學習器 7 即為一例 Neural Symbolic Neural 依靠符號推理來生成或標記訓練資料 隨後交由深度學習模型學習 例如 使用類似Macsyma的符號數學系統來建立或標記示例 藉此訓練用於符號計算的神經模型 Neural Symbolic 使用從符號規則生成的神經網路 一個例子是 Neural Theorem Prover 8 它從知識庫規則和術語生成的AND OR證明樹建立神經網路 邏輯張量網路也屬於此類 Neural Symbolic 允許神經模型直接調用符號推理引擎 例如執行動作或評估狀態 這些類別並不全面 例如 未考慮多智能體系統 Bader和Hitzler在2005年提出了一個更詳細的分類 像是考慮了符號使用是否包括邏輯 如果包括 邏輯是命題邏輯還是一階邏輯 9 2021年有篇文章對2005年的分類法和Kautz的分類法進行了比較和對比 10 2020年 Sepp Hochreiter認為圖神經網路 是混合式神經 符號計算的主要模型 11 因為 它們描述了分子的屬性 模擬社交網路 或預測物理以及工程應用中具有粒子 粒子相互作用的的未來狀態 1 页面存档备份 存于互联网档案馆 作為通用人工智慧的先決條件 编辑馬可斯認為 結合學習和符號操作的混合架構對於強大的智能是必要的 但還不夠 12 並認為 建立強大的人工智慧需要四個先決的認知條件 將大規模學習與符號處理的表徵和計算能力相結合的混合架構 大規模的知識庫 可能利用先天框架 結合了符號知識以及其他形式的知識 推理機制能夠以易於處理的方式利用這些知識基礎 與這些機制和知识库攜手合作的豐富的認知模型 13 這呼應了早在1990 年代對混合模型的提倡 14 15 歷史 编辑Garcez和Lamb描述該領域的研究至少在過去二十年 16 17 一直在進行 實際上到現在已經三十多年了 自2005年以來 每年都會舉辦一系列關於混合式神經 符號人工智慧的研討會 2 页面存档备份 存于互联网档案馆 早在1990年代初期就組織了一批關於該主題的初期研討會 14 未解決的研究问题 编辑許多關鍵的研究問題仍然存在 例如 整合神經網路架構和符號架構的最佳方式為何 符號結構應該如何在神經網路中表示 並從中提取 常識性知識應該如何學得和推理 如何操作邏輯上難以編碼的抽象知識 實作 编辑混合式神經 符號方法的具體實作如下 邏輯張量網路 將邏輯公式編碼為神經網路 同時從資料中學習術語神經編碼 術語權重和公式權重 DeepProbLog 将神經網路與ProbLog的機率推理相结合 引文 编辑 Valiant 2008 Garcez et al 2015 Marcus 2020 第44頁 sfn error no target CITEREFMarcus2020 help Kautz 2020 Rossi 2022 Sun 1995 Mao et al 2019 sfn error no target CITEREFMaoGanKohliTenenbaum2019 help Rocktaschel Tim Riedel Sebastian Learning Knowledge Base Inference with Neural Theorem Provers Proceedings of the 5th Workshop on Automated Knowledge Base Construction San Diego CA Association for Computational Linguistics 45 50 2016 2022 08 06 doi 10 18653 v1 W16 1309 原始内容存档于2023 12 02 Bader amp Hitzler 2005 sfn error no target CITEREFBaderHitzler2005 help Sarker Md Kamruzzaman Zhou Lu Eberhart Aaron Hitzler Pascal Neuro symbolic artificial intelligence Current trends AI Communications 2021 34 3 197 209 2023 02 23 S2CID 239199144 doi 10 3233 AIC 210084 原始内容存档于2023 02 23 L C Lamb A S d Avila Garcez M Gori M O R Prates P H C Avelar M Y Vardi 2020 Graph Neural Networks Meet Neural Symbolic Computing A Survey and Perspective CoRR abs 2003 00330 2020 Marcus 2020 第50頁 sfn error no target CITEREFMarcus2020 help Marcus 2020 第48頁 sfn error no target CITEREFMarcus2020 help 14 0 14 1 Sun amp Bookman 1994 Honavar 1995 Garcez amp Lamb 2020 第2頁 sfn error no target CITEREFGarcezLamb2020 help Garcez et al 2002 參考文獻 编辑Bader Dimensions of Neural symbolic Integration A Structured Survey 需要使用 arxiv 帮助 Garcez Artur S d Avila Broda Krysia Gabbay Dov M Gabbay Neural Symbolic Learning Systems Foundations and Applications Springer Science amp Business Media 2002 ISBN 978 1 85233 512 0 Garcez Artur Besold Tarek De Raedt Luc Foldiak Peter Hitzler Pascal Icard Thomas Kuhnberger Kai Uwe Lamb Luis Miikkulainen Risto Neural Symbolic Learning and Reasoning Contributions and Challenges AAAI Spring Symposium Knowledge Representation and Reasoning Integrating Symbolic and Neural Approaches Stanford CA 2015 2023 02 23 doi 10 13140 2 1 1779 4243 原始内容存档于2022 09 07 Garcez Neural Symbolic Computing An Effective Methodology for Principled Integration of Machine Learning and Reasoning 需要使用 arxiv 帮助 Garcez Neurosymbolic AI The 3rd Wave 需要使用 arxiv 帮助 Hochreiter Sepp Toward a Broad AI Commun ACM 65 4 56 57 2022 https dl acm org doi pdf 10 1145 3512715 页面存档备份 存于互联网档案馆 Honavar Vasant Symbolic Artificial Intelligence and Numeric Artificial Neural Networks Towards a Resolution of the Dichotomy The Springer International Series In Engineering and Computer Science Springer US 351 388 1995 doi 10 1007 978 0 585 29599 2 11 Kautz Henry The Third AI Summer Henry Kautz AAAI 2020 Robert S Engelmore Memorial Award Lecture 2020 02 11 2022 07 06 原始内容存档于2022 10 05 Kautz Henry The Third AI Summer AAAI Robert S Engelmore Memorial Lecture AI Magazine 2022 43 1 93 104 2022 07 12 ISSN 2371 9621 S2CID 248213051 doi 10 1609 aimag v43i1 19122 原始内容存档于2022 10 07 Mao The Neuro Symbolic Concept Learner Interpreting Scenes Words and Sentences From Natural Supervision 需要使用 arxiv 帮助 Marcus Gary Davis Ernest Rebooting AI Building Artificial Intelligence We Can Trust Vintage 2019 Marcus The Next Decade in AI Four Steps Towards Robust Artificial Intelligence 需要使用 arxiv 帮助 Rossi Francesca AAAI2022 Thinking Fast and Slow in AI AAAI 2022 Invited Talk 2022 07 06 2022 07 06 原始内容存档于2023 03 19 Selman Bart AAAI2022 Presidential Address The State of AI 2022 07 06 2022 07 06 原始内容存档于2023 02 10 Serafini Logic Tensor Networks Deep Learning and Logical Reasoning from Data and Knowledge 需要使用 arxiv 帮助 Sun Ron Robust reasoning Integrating rule based and similarity based reasoning Artificial Intelligence 1995 75 2 241 296 doi 10 1016 0004 3702 94 00028 Y Sun Ron Bookman Lawrence Computational Architectures Integrating Neural and Symbolic Processes Kluwer 1994 Sun Ron Alexandre Frederic 1997 Connectionist Symbolic Integration Lawrence Erlbaum Associates Valiant Leslie G Knowledge Infusion In Pursuit of Robustness in Artificial Intelligence 2008 參見 编辑符号人工智能 聯結主義人工智能 混合智能系统外部連結 编辑Artificial Intelligence Workshop series on Neural Symbolic Learning and Reasoning 页面存档备份 存于互联网档案馆 取自 https zh wikipedia org w index php title 混合式神經 符號人工智慧 amp oldid 81220894, 维基百科，wiki，书籍，书籍，图书馆，

文章

，阅读，下载，免费，免费下载，mp3，视频，mp4，3gp， jpg，jpeg，gif，png，图片，音乐，歌曲，电影，书籍，游戏，游戏。