可解釋人工智慧（英語：Explainable AI，縮寫為XAI）指的是讓專家能夠理解人工智慧之成果的方法與技術。它相對於黑箱式的機器學習，因為黑箱式的機器學習的設計者本身也無法解釋為什麼人工智慧能達到某些成果[1]。可解釋人工智慧被認為是「要求解釋的權利（英语：right to explanation）」（right to explanation）的一種實踐[2]。
Explaining How End-to-End Deep Learning Steers a Self-Driving Car. Parallel Forall. 2017-05-23 [2017-11-02]. （原始内容于2017-11-07）.
Knight, Will. DARPA is funding projects that will try to open up AI's black boxes. MIT Technology Review. 2017-03-14 [2017-11-02]. （原始内容于2019-11-04）.
Alvarez-Melis, David; Jaakkola, Tommi S. A causal framework for explaining the predictions of black-box sequence-to-sequence models. 2017-07-06. arXiv:1707.01943 [cs.LG].
Similarity Cracks the Code Of Explainable AI. simMachines. 2017-10-12 [2018-02-02]. （原始内容于2020-11-28）.
Bojarski, Mariusz; Yeres, Philip; Choromanska, Anna; Choromanski, Krzysztof; Firner, Bernhard; Jackel, Lawrence; Muller, Urs. Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car. 2017-04-25. arXiv:1704.07911 [cs.CV].
十月 18, 2023
可解釋人工智慧, 英語, explainable, 縮寫為xai, 指的是讓專家能夠理解人工智慧之成果的方法與技術, 它相對於黑箱式的機器學習, 因為黑箱式的機器學習的設計者本身也無法解釋為什麼人工智慧能達到某些成果, 被認為是, 要求解釋的權利, 英语, right, explanation, right, explanation, 的一種實踐, 要求人工智慧解釋它的決定是一種翻譯的問題, interpretability, problem, 人工智慧的優化行為是一種為了滿足數理上特定目標的行為, 其目標由設計者. 可解釋人工智慧 英語 Explainable AI 縮寫為XAI 指的是讓專家能夠理解人工智慧之成果的方法與技術 它相對於黑箱式的機器學習 因為黑箱式的機器學習的設計者本身也無法解釋為什麼人工智慧能達到某些成果 1 可解釋人工智慧被認為是 要求解釋的權利 英语 right to explanation right to explanation 的一種實踐 2 要求人工智慧解釋它的決定是一種翻譯的問題 interpretability problem 3 人工智慧的優化行為是一種為了滿足數理上特定目標的行為 其目標由設計者規劃 比如一個設計者要求 在資料集裡面精準分析電影如何被正面評價 此時 人工智慧可能會找到一些通則 像是 評價中包含 爛 這個字眼表示是負面評價 或是可能找到一些不正確的規則 比如 評價中包含 李小龍 這個字眼表示是正面評價 這些規則可能難以解釋 甚至很可能在其他資料集得到錯誤的判斷 比如你很可能無法在 教父 的電影評價裡看到 李小龍 的字眼 但這不表示它是部爛片 針對這類問題 人類就能透過可解釋人工智慧的技術來監督人工智慧系統所找到的規則 並且判斷這些規則在真實的世界裡是否適用 3 目录 1 目的 2 監管法令 3 參考文獻 4 外部連結目的 编辑在代理人之間的合作上 這裡的代理人指的是演算法與人 信任是至關重要的事 如果人們要接受演算法的判斷就必須得先相信演算法 信任標的之不完整會成為方法優化的障礙 因此 翻譯 interpretability 與解釋 explainability 是達成其他標的之前的一個中程標的 4 人工智慧有時會學到一些無法解釋的技巧 在用來訓練的資料上做到一些最佳的結果 滿足明確設定的目標 但是 有時候它卻沒有滿足人類設計者所隱含的需求 比如在2017年的實驗裡 有一個圖像識別的人工智慧在辨識馬的照片時作了弊 實驗結果裡有一組人工智慧系統確實辨識出了馬的特徵 比如長型的臉 細長的四條腿之類的 但是有另一組系統則依據圖片左下角是否有 Copyright 的標記來判斷那是不是一張馬的照片 這個結果達到的準確性是因為許多實驗用的照片來自馬術協會 而協會在照片上打入了版權 Copyright 宣告的字樣 1 2017年的另一個系統裡 被訓練在虛擬世界中抓取物品的人工智慧學會了通過將操縱器放置在目標和監督者之間的方式來作弊 以便讓監督者誤以為它抓到了目標 5 6 美國國防部國防高等研究計劃署亦進行了可解釋人工智慧的專案 目標是建立 玻璃盒 glass box 模型 除了可解釋性外 更要求人們始終都能監管機器的行為 human in the loop 並且不會大幅度的犧牲人工智慧的運算效能 人類使用者能即時或是事後理解人工智慧的認知是什麼 並且能決定何時信任人工智慧 又何時不信任人工智慧 7 8 其他的可解釋人工智慧應用則著重於從黑盒子的模型裡面抽取出知識 或是讓不同的模型之間能進行比對 9 玻璃盒 一詞亦被用來表示那種輸入與輸出受到監控的人工智慧系統 為的是確保系統遵守道德與社會法律的價值 並且提出以價值為基礎的解釋 另外 這一詞也被用在智慧型個人助理說明反事實陳述時的解釋 10 監管法令 编辑以各國的監管單位的角度來看 官方機構與一般使用者對人工智慧的應用來說 必需清楚的為它的決策過程定義究責的規則 以確保其可信任性與透明度 這部份的需求受到愈來愈多的重視 並開始有全球性會議中討論這個新興科技 像是2017年的國際人工智慧聯合會議 International Joint Conference on Artificial Intelligence 中就有針對可解釋人工智慧的研討會 11 在2018年修定的歐盟一般資料保護規範 GDPR 裡宣佈了 要求解釋的權力 希望以此來解決這些愈來愈受重視的演算法可能帶來的問題 然而 GDPR只要求局部的解釋 而在美國 保險公司甚至被要求解釋他們的費率與決策之間的關係 12 參考文獻 编辑 1 0 1 1 Sample Ian 電腦說不要 要求人工智慧公平 可監督並且透明為何如此重要 衛報 5 November 2017 30 January 2018 原始内容存档于2020 11 09 英语 Edwards Lilian Veale Michael 被演算法奴役 為何 要求解釋的權力 可能不是萬靈丹 Duke Law and Technology Review 2017 16 18 SSRN 2972855 nbsp 3 0 3 1 人工智慧的調查人員如何撬開深度學習的黑盒子 Science 5 July 2017 30 January 2018 原始内容存档于2020 11 26 英语 Dosilovic Filip Brcic Mario Hlupic Nikica 可解釋人工智慧 調查報告 PDF MIPRO 2018 41st International Convention Proceedings MIPRO 2018 Opatija Croatia 210 215 2018 05 25 2020 03 24 doi 10 23919 MIPRO 2018 8400040 原始内容 PDF 存档于2018 12 10 DeepMind的簡單測試或許能預防馬斯克對AI的警告 Bloomberg com 11 December 2017 30 January 2018 原始内容存档于2018 01 08 英语 向人類的偏好學習 OpenAI Blog 13 June 2017 30 January 2018 原始内容存档于2019 01 30 可解釋人工智慧 XAI DARPA DARPA 17 July 2017 原始内容存档于2021 02 19 Holzinger Andreas Plass Markus Holzinger Katharina Crisan Gloria Cerasela Pintea Camelia M Palade Vasile 用玻璃盒式的互動式機器學習來解決NP困難的問題並安排人們在側監管 2017 08 03 arXiv 1708 01104 nbsp cs AI Biecek Przemyslaw DALEX 一種複雜的預測模型的解釋器 Journal of Machine Learning Research 23 June 2018 19 1 5 Bibcode 2018arXiv180608915B arXiv 1806 08915 nbsp Sokol Kacper Flach Peter Glass Box 由語音助理的對話進行反事實陳述來解釋的AI決策 第二十七屆國際人工智能聯合會議論文集 2018 5868 5870 ISBN 9780999241127 doi 10 24963 ijcai 2018 865 IJCAI 2017 Workshop on Explainable Artificial Intelligence XAI PDF Earthlink IJCAI 17 July 2017 原始内容 PDF 存档于2019 04 04 Kahn Jeremy 人工智慧得好好解釋一下 Bloomberg Businessweek 12 December 2018 17 December 2018 原始内容存档于2020 07 25 外部連結 编辑Explainable AI 是什麼 為什麼 AI 下判斷要可以解釋 2020 03 24 原始内容存档于2020 03 24 何謂可解釋人工智慧 為何它重要 FAT Conference on Fairness Accountability and Transparency 2020 03 24 原始内容存档于2020 01 07 FATML Workshop on Fairness Accountability and Transparency in Machine Learning 2020 03 24 原始内容存档于2021 02 24 Explainable Artificial Intelligence 破解AI黑盒 Computerworld 2017 11 02 2017 11 02 原始内容存档于2020 10 22 Park Dong Huk Hendricks Lisa Anne Akata Zeynep Schiele Bernt Darrell Trevor Rohrbach Marcus 悉心解釋 檢示決策與指向證據 2016 12 14 arXiv 1612 04757 nbsp cs CV 可解釋人工智慧 讓人讀懂機器 Explainable AI Making machines understandable for humans 2017 11 02 原始内容存档于2021 02 04 自駕車端對端深度學習 Parallel Forall 2016 08 17 2017 11 02 原始内容存档于2017 11 07 Explaining How End to End Deep Learning Steers a Self Driving Car Parallel Forall 2017 05 23 2017 11 02 原始内容存档于2017 11 07 Knight Will DARPA is funding projects that will try to open up AI s black boxes MIT Technology Review 2017 03 14 2017 11 02 原始内容存档于2019 11 04 Alvarez Melis David Jaakkola Tommi S A causal framework for explaining the predictions of black box sequence to sequence models 2017 07 06 arXiv 1707 01943 nbsp cs LG Similarity Cracks the Code Of Explainable AI simMachines 2017 10 12 2018 02 02 原始内容存档于2020 11 28 Bojarski Mariusz Yeres Philip Choromanska Anna Choromanski Krzysztof Firner Bernhard Jackel Lawrence Muller Urs Explaining How a Deep Neural Network Trained with End to End Learning Steers a Car 2017 04 25 arXiv 1704 07911 nbsp cs CV 取自 https zh wikipedia org w index php title 可解釋人工智慧 amp oldid 75229357, 维基百科，wiki，书籍，书籍，图书馆，
