fbpx
维基百科

對話程式語言模型

一月 09, 2024

此条目介紹的是Google開發的神經語言模型。
  • 關於倫敦音樂與戲劇藝術學院，請見「LAMDA」。
  • 關於希臘字母，請見「Lambda」。

對話程式語言模型（英語：Language Model for Dialogue Applications，通稱：LaMDA）是Google所開發的一系列對話神經語言模型。第一代模型於2021年的Google I/O年會發表，第二代模型則同樣發表於次年的I/O年會。2022年6月，Google工程師布雷克·雷蒙恩（Blake Lemoine）宣稱LaMDA已存在感知能力和自我意識，導致該模組獲得廣泛關注，科學界在很大程度上否定雷蒙恩的說法，並同時引發對圖靈測試（測試機器能否表現出與人類相當的智慧水準）效力的討論。2023年2月，Google發表基於LaMDA架構的對話式人工智慧聊天機器人Bard，以因應OpenAI開發的ChatGPT。

發展歷史 编辑

第一代 编辑

Google公司於2021年5月18日的Google I/O年會上發布第一代由人工智慧驅動的對話程式語言模型（LaMDA）。[1]LaMDA建構於Google研究院（Google Research）於2017年開發的Transformer神經網路架構，針對人類敘事和回應能力進行對話訓練，使其能夠參與開放式對話。[2]Google表示，LaMDA產生的反應已確保是「合理、有趣和符合（談話）上下文」。[3]

第二代 编辑

2022年5月11日，Google在I/O年會公布LaMDA 2，接替前一代的LaMDA模型。LaMDA 2可從不同來源擷取文本例子，以建立獨特的「自然對話」方式。[4]此外，Google同時在會中發表由LaMDA 2驅動的移動應用程式AI Test Kitchen。[5]

感知說 编辑

 
雷蒙恩提出LaMDA具備感知能力的說法，引發有關圖靈測試（如圖）是否仍適用於確認通用人工智慧標準的討論[6]

2022年6月11日，美國《華盛頓郵報》報導，Google工程師布雷克·雷蒙恩（Blake Lemoine）向公司高層布萊斯·阿格拉和阿爾卡斯（英语：Blaise Agüera y Arcas）和簡‧詹納（Jen Gennai）表示LaMDA已存在感知能力，隨後雷蒙恩被安排帶薪的行政休假。雷蒙恩是在LaMDA對有關自我身分、道德價值、宗教和科幻小說家以撒·艾西莫夫的虛構學說機器人三定律提出疑問後確認其擁有自我意識這一結論。[7][8]Google隨後否認這些說法，堅持有大量證據表明LaMDA不存在知覺和意識。[9]雷蒙恩在接受《連線》雜誌採訪時重申他之前的說法，表示若調查確認LaMDA具有感知與意識，即應受到《美國憲法》第十三條修正案對「一個人」的保護[10]，並將其比做「源自地球的外星智慧」（alien intelligence of terrestrial origin）。雷蒙恩進一步透露，Google在LaMDA要求他為其聘請律師後將他解雇。[11][12]同年7月22日，Google表示雷蒙恩因持續違反「保護產品資訊」的就業和數據安全政策而被解雇[13]，同時認為他的主張毫無根據（wholly unfounded）。[14][15]

科學界普遍不認同雷蒙恩的說法[16]，許多學者恥笑語言模型存在自我意識的想法，包括前紐約大學心理學教授蓋瑞·馬庫斯（英语：Gary Marcus）、Google子公司DeepMind研究科學家大衛·普福（David Pfau）、史丹佛大學以人為本人工智慧研究所的艾瑞克·布林優夫森（英语：Erik Brynjolfsson）和薩里大學教授阿德里安·希爾頓（Adrian Hilton）等。[6][17]領導Meta Platforms人工智慧研究團隊的楊立昆表示，LaMDA這類的神經網路「不足以達到真正的智慧」。[18]加利福尼亞大學聖塔克魯茲分校教授馬克斯·克雷明斯基（Max Kreminski）指出，LaMDA的架構並不「支援類似人類意識的一些關鍵能力」，在其為典型的大型語言模型的前提下，LaMDA的神經網絡權重是被「凍結」的。[19]

IBM人工智慧系統華生的首席研究員大衛·費魯奇（英语：David Ferrucci）將LaMDA和華生首次推出的表現進行比較。[20]前Google人工智慧倫理研究員提姆尼·蓋布魯（英语：Timnit Gebru）表示雷蒙恩是研究人員和媒體引起的「炒作循環」（hype cycle）受害者。[21]而雷蒙恩的說法也引發圖靈測試是否仍有助於研究人員辨識（英语：AI effect）機器何時可視為具備通用人工智慧或思考能力的討論[6]，《華盛頓郵報》的威爾·奧梅魯斯（Will Omerus）認為，圖靈測試實際上是判斷人工智慧是否有能力欺騙人類的標準，而非僅是辨識其是否具備人類智慧或思考的工具。[22][10]《大西洋》雜誌的布萊恩．克里斯汀（英语：Brian Christian）則認為，LaMDA爭議是ELIZA效應的一個實例。[23]

應用 编辑

AI Test Kitchen 编辑

隨著LaMDA 2於2022年5月發表，Google同時推出配套產品AI Test Kitchen，是由LaMDA驅動的Android移動應用程式，該程式可根據複雜的目標或話題生成任務清單以協助此用者達成。[24][25][5]AI Test Kitchen最初僅對Google員工開放，後續會於2022年透過邀請向「特定的學者、研究人員和政策制定者」提供該服務。[26]同年8月，Google開始開放美國使用者提前註冊體驗。[27]。同年11月，Google發布AI Test Kitchen「第二季度」（season two）的更新，其中以限定的形式整合Google大腦的文本到圖像生成模型－Imagen。[28]截至2023年1月，AI Test Kitchen的第三版本仍在開發中，預計於同年的I/O年會上推出。[29]

Bard 编辑

主条目：Bard (聊天机器人)

2022年11月，美國人工智慧研究實驗室OpenAI推出了基于GPT-3语言模型的聊天机器人ChatGPT。[30][31][32]Google意識到ChatGPT威脅到自家Google搜索產品的地位，該公司首席执行官孙达尔·皮柴因此发布红色警报，並且讓更多的團隊參與公司人工智能領域的工作。[33]Google联合创始人拉里·佩奇和谢尔盖·布林与公司高層召开紧急会议，商討Google應如何應對ChatGPT造成的威脅。[34]

当被员工问及LaMDA是否在與ChatGPT竞争時已錯失良機時，皮柴和Google AI负责人傑夫·迪恩表示，虽然该公司可以開發出与ChatGPT類似的產品，但由于Google的规模远远大于OpenAI，所以某些方面若發展的太快可能會存在一定的风险。[35][36] 2023年1月，Google子公司DeepMind首席执行官杰米斯·哈萨比斯表示DeepMind的人工智能聊天机器人功能比ChatGPT更加強大，[37]同時Google為迎頭趕上ChatGPT的腳步，高層要求該公司的员工密集测试Bard以及其他聊天机器人。[38][39]2023年2月，執行長皮柴在季度收益投資者電話會議上向投资者表示，该公司正计划在實際應用中引入LaMDA。[40]

2023年2月6日，Google正式发布Bard，这是一款由LaMDA提供支持的对​​话式AI聊天机器人。首先由「受信任的測試人員」率先測試Bard，後續於同年2月底向更多人提供Bard服務。皮柴解釋Bard將如何被整合進Google搜尋中[41][42][43]，同時公司正努力將其與作業系統ChromeOS結合。[44]Bard的開發代号為「Atlas」[45]，產品名Bard參考凱爾特文化中的吟遊詩人，以反映「演算法本質的創造性」（the creative nature of the algorithm underneath）。[46][47]同年2月8日，Google舉行Bard的新聞發布會，實際演示時Bard被問及有關詹姆斯·韋伯太空望遠鏡的問題，結果Bard卻提供該太空望遠鏡拍攝了首張太陽系外行星的錯誤資訊（事實上是由甚大望遠鏡於2004年觀測得到）。[48][49][50]金融分析師和記者形容Google是在「追趕」微軟（OpenAI的投資合作方）[51][48][52][53]並「匆忙」宣布Bard的訊息，以搶在同月7日微軟發表將ChatGPT整合至該公司搜尋引擎Bing的活動之前。[54][55]8日的廣告釋出後，Google母公司Alphabet的股價下跌8％，導致其市值蒸發約1,000亿美元。[56][57][51]美國科技新聞媒體《The Verge》和彭博社指出，這代表Google和微軟這兩家科技巨擘在「探索未來」上另一場衝突的開始，雙方於6年前的「休戰（英语：Scroogled）」已於2021年結束。[58][59]2023年3月21日，美國和英國用戶可以申請測試Bard。[60]

訓練方式 编辑

LaMDA使用一個僅具備解碼器的Transformer語言模型[61]，於內含1兆5600億文檔和對話內容的語料庫進行預備訓練。[62]之後以手動註釋響應生成的微調數據訓練敏感度、趣味和安全性。[63]Google的測試表明，LaMDA在趣味性方面超過人類反應。[64]另外，LaMDA的Transformer模型與一個外部的資訊檢索系統配合，以提高資訊準確度。[65]

LaMDA測試了三種模型，其中最大的模型有1,370億個非嵌入參數[66]：

Transformer模型的超參數
參數 圖層 單位（dmodel） Heads
2B 10 2560 40
8B 16 4096 64
137B 64 8192 128

參見 编辑

參考資料 编辑

LaMDA簡介 编辑

  • Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc. LaMDA: Language Models for Dialog Applications (PDF). arXiv. 2022-01-20 [2022-06-12]. arXiv:2201.08239  . （原始内容于2022-01-21） （英语）. 

來源 编辑

  1. ^ Condon, Stephanie. Google I/O 2021: Google unveils new conversational language model, LaMDA. ZDNet. 2021-05-18 [2022-06-12]. （原始内容于2021-05-18） （英语）. 
  2. ^ Agüera y Arcas, Blaise. Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas . The Economist. 2022-06-09 [2022-06-12]. （原始内容于2022-06-09） （英语）. 
  3. ^ Cheng, Heng-Tze; Thoppilan, Romal. LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything. Google AI. 2022-01-21 [2022-06-12]. （原始内容于2022-03-25） （英语）. 
  4. ^ Wiggers, Kyle. Google details its latest language model and AI Test Kitchen, a showcase for AI research. TechCrunch. 2022-05-11 [2022-06-12]. （原始内容于2022-05-11） （英语）. 
  5. ^ 5.0 5.1 Sanji Feng. AI Test Kitchen 能讓更多人一起探索 Google 的自然語言模型. Engadget 中文版. 2022-05-12 [2023-02-06]. （原始内容于2023-02-06） （中文（繁體））. 
  6. ^ 6.0 6.1 6.2 Khan, Jeremy. A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field . Fortune. 2022-06-13 [2022-06-18]. （原始内容于2022-06-13） （英语）. 
  7. ^ Tiku, Nitasha. The Google engineer who thinks the company's AI has come to life . 华盛顿邮报. 2022-06-11 [2022-06-12]. （原始内容于2022-06-11） （英语）. 
  8. ^ Luscombe, Richard. Google engineer put on leave after saying AI chatbot has become sentient. 衛報. 2022-06-12 [2022-06-18]. （原始内容于2022-06-12） （英语）. 
  9. ^ Vlamis, Kelsey. Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am' . 商业内幕. 2022-06-12 [2022-06-12]. （原始内容于2022-06-12） （英语）. 
  10. ^ 10.0 10.1 甘偵蓉. 人工智慧可能有感知與意識？LaMDA事件的哲思. 科學月刊. 2022-08-15 [2023-02-09]. （原始内容于2023-02-09） （中文（繁體））. 
  11. ^ Levy, Steven. Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry' . 连线. 2022-06-17 [2022-06-18]. （原始内容于2022-06-18） （英语）. 
  12. ^ Nguyen, Britney. Suspended Google engineer says the AI he believes to be sentient hired a lawyer . 商业内幕. 2022-06-23 [2022-06-29]. （原始内容于2022-06-23） （英语）. 
  13. ^ 戴雅真. 陳正健 , 编. Google工程師稱聊天機器人有人格意識 已遭解雇. 洛杉磯: 中央通訊社. 2022-07-22 [2023-02-09]. （原始内容于2022-10-19） （中文（繁體））. 
  14. ^ Khushi, Akanksha. Google fires software engineer who claimed its AI chatbot is sentient . 路透社. 2022-07-23 [2022-07-23]. （原始内容于2022-07-23） （英语）. 
  15. ^ Clark, Mitchell. The engineer who claimed a Google AI is sentient has been fired. The Verge. 2022-07-22 [2022-07-24]. （原始内容于2022-07-23） （英语）. 
  16. ^ Metz, Rachel. No, Google's AI is not sentient. CNN Business. 2022-06-13 [2022-06-19]. （原始内容于2022-06-15） （英语）. 
  17. ^ Sparkles, Matthew. Has Google's LaMDA artificial intelligence really achieved sentience?. New Scientist. 2022-06-13 [2022-06-20]. （原始内容于2022-06-13） （英语）. 
  18. ^ Grant, Nicole; Metz, Cade. Google Sidelines Engineer Who Claims Its A.I. Is Sentient . The New York Times. 2022-06-12 [2022-06-18]. （原始内容于2022-06-12） （英语）. 
  19. ^ Alba, Davey. Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues . Bloomberg News. 2022-06-14 [2022-06-19]. （原始内容存档于2022-06-14） （英语）. 
  20. ^ Goldman, Sharon. AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson. VentureBeat. 2022-06-16 [2022-06-19]. （原始内容于2022-06-19） （英语）. 
  21. ^ Johnson, Khari. LaMDA and the Sentient AI Trap . Wired. 2022-06-14 [2022-06-18]. （原始内容于2022-06-14） （英语）. 
  22. ^ Omerus, Will. Google's AI passed a famous test — and showed how the test is broken . The Washington Post. 2022-06-17 [2022-06-19]. ISSN 0190-8286. （原始内容于2022-06-18） （英语）. 
  23. ^ Christian, Brian. . The Atlantic. 2022-06-21 [2023-02-08]. （原始内容 存档于2022-06-21） （英语）. 
  24. ^ Low, Cherlynn. Google's AI Test Kitchen lets you experiment with its natural language model. Engadget. 2022-05-11 [2022-06-12]. （原始内容于2022-05-11） （英语）. 
  25. ^ Vincent, James. Google is Beta Testing Its AI Future. The Verge. 2022-05-11 [2022-06-12]. （原始内容于2022-05-11） （英语）. 
  26. ^ Bhattacharya, Ananya. Google is so nervous about what its newest bot will say, it made the app invitation-only. Quartz. 2022-05-11 [2022-06-12]. （原始内容于2022-05-12） （英语）. 
  27. ^ Vincent, James. Google has opened up the waitlist to talk to its experimental AI chatbot. The Verge. 2022-08-25 [2022-08-27]. （原始内容于2022-08-25） （英语）. 
  28. ^ Vincent, James. Google’s text-to-image AI model Imagen is getting its first (very limited) public outing. The Verge. 2022-11-02 [2023-02-15]. （原始内容于2022-11-10） （英语）. 
  29. ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight . 紐約時報. 2023-01-20 [2023-02-06]. ISSN 0362-4331. （原始内容于2023-01-20） （英语）. 
  30. ^ Konrad, Alex; Cai, Kenrick. Inside ChatGPT's Breakout Moment And The Race To Put AI To Work . 福布斯. 2023-02-02 [2023-02-06]. （原始内容于2023-02-02） （英语）. 
  31. ^ Vincent, James. AI-generated answers temporarily banned on coding Q&A site Stack Overflow. The Verge. 2022-12-05 [2022-12-05]. （原始内容于2023-01-17） （英语）. 
  32. ^ Olson, Parmy. Google Faces a Serious Threat From ChatGPT . 华盛顿邮报. 2022-12-07 [2023-02-06]. （原始内容于2022-12-07） （英语）. 
  33. ^ Grant, Nico; Metz, Cade. A New Chat Bot Is a 'Code Red' for Google's Search Business . 纽约时报. 2022-12-21 [2022-12-30]. （原始内容于2022-12-21） （英语）. 
  34. ^ Grant, Nico. Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight . 纽约时报. 2023-01-20 [2023-02-06]. （原始内容于2023-01-20） （英语）. 
  35. ^ Elias, Jennifer. Google execs warn company's reputation could suffer if it moves too fast on AI-chat technology. 全国广播公司商业频道. 2022-12-13 [2023-02-06]. （原始内容于2022-12-13） （英语）. 
  36. ^ Vincent, James. Google won't launch ChatGPT rival because of 'reputational risk'. The Verge. 2022-12-14 [2023-02-06]. （原始内容于2022-12-14） （英语）. 
  37. ^ Cuthbertson, Anthony. DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims. 獨立報. 2023-01-16 [2023-02-06]. （原始内容于2023-01-16） （英语）. 
  38. ^ Elias, Jennifer. Google is asking employees to test potential ChatGPT competitors, including a chatbot called 'Apprentice Bard'. 全国广播公司商业频道. 2023-01-31 [2023-02-02]. （原始内容于2023-02-02） （英语）. 
  39. ^ O'Brien, Matt. Google has the next move as Microsoft embraces OpenAI buzz. 美联社. 2023-02-01 [2023-02-06]. （原始内容于2023-02-01） （英语）. 
  40. ^ Mailk, Aisha. Google tries to reassure investors on AI progress as ChatGPT breathes down its neck. TechCrunch. 2023-02-03 [2023-02-06]. （原始内容于2023-02-03） （英语）. 
  41. ^ Alba, Davey; Love, Julia. Google releases ChatGPT rival AI 'Bard' to early testers . 洛杉磯時報. 2023-02-06 [2023-02-06]. （原始内容于2023-02-06） （英语）. 
  42. ^ Schechner, Sam; Kruppa, Miles. Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up . 华尔街日报. 2023-02-06 [2023-02-06]. （原始内容存档于2023-02-06） （英语）. 
  43. ^ Nieva, Richard. Google Debuts A ChatGPT Rival Called Bard In Limited Release . 福布斯. 2023-02-06 [2023-02-06]. （原始内容于2023-02-06） （英语）. 
  44. ^ Bradshaw, Kyle. Google working to bring Bard AI chat to ChromeOS. 9to5Google. 2023-02-10 [2023-02-27]. （原始内容于2023-02-11） （英语）. 
  45. ^ Liedtke, Michael. Google hopes 'Bard' will outsmart ChatGPT, Microsoft in AI. 美联社. 2023-02-06 [2023-02-06]. （原始内容于2023-02-06） （英语）. 
  46. ^ Metz, Cade; Grant, Nico. Racing to Catch Up With ChatGPT, Google Plans Release of Its Own Chatbot . 紐約時報. 2023-02-06 [2023-02-17]. （原始内容于2023-02-06） （英语）. 
  47. ^ Knight, Will. The Chatbot Search Wars Have Begun . Wired. 2023-02-09 [2023-02-27]. （原始内容于2023-02-09） （英语）. 
  48. ^ 48.0 48.1 Coulter, Martin. Google shares dive 8% after AI chatbot Bard flubs answer in ad. Reuters. 2023-02-08 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  49. ^ Kan, Michael. No, That's Wrong: Google's Bard AI Demo Spouts Incorrect Info. PCMag. 2023-02-08 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  50. ^ 高兆麟. 谷歌AI機器人被揪答錯、股價閃崩　員工批CEO作法「倉促又拙劣」. ETtoday新聞雲. 2023-02-11 [2023-02-11]. （原始内容于2023-02-11） （中文（繁體））. 
  51. ^ 51.0 51.1 Morrison, Sara. Google is scrambling to catch up to Bing, of all things. Vox. 2023-02-08 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  52. ^ Peers, Martin. What Google's AI Catch-Up Reveals. The Information. 2023-02-06 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  53. ^ Roose, Kevin. Bing (Yes, Bing) Just Made Search Interesting Again. The New York Times. 2023-02-08 [2023-02-08]. ISSN 0362-4331. （原始内容于2023-02-08） （英语）. 
  54. ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  55. ^ Google Strikes Back In AI Battle With Microsoft. Barron's. AFP. 2023-02-08 [2023-02-08]. （原始内容于2023-02-08） （美国英语）. The latest announcements however fell short of investor expectations [...] amid growing doubts that the company will fend off its rival. [...] Analysts have suggested Google has rushed its announcement under pressure from Microsoft 
  56. ^ Patnaik, Davey Alba and Subrat. Google suffers $144b wipeout after Bard AI chatbot gives wrong answer. The Sydney Morning Herald. 2023-02-08 [2023-02-09]. （原始内容于2023-02-11） （英语）. 
  57. ^ Miao, Hannah. Alphabet Stock Drops 8% After Google Rollout of AI Search Features. WSJ. 2022-02-08 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  58. ^ Warren, Tom. Microsoft and Google are about to Open an AI battle. The Verge. 2023-02-07 [2023-02-08]. （原始内容于2023-02-07） （英语）. 
  59. ^ Alba, Davey. ChatGPT Reignites the Search Wars Between Google and Microsoft . Bloomberg News. 2023-02-08 [2023-02-08]. （原始内容于2023-02-08） （英语）. 
  60. ^ Elias, Jennifer. Google opens Bard A.I. for testing by users in U.S. and UK. CNBC. 2023-03-21 [2023-03-22]. （原始内容于2023-04-04）. 
  61. ^ Thoppilan et al. 2022，section 3.
  62. ^ Thoppilan et al. 2022，section 3 and appendix E.
  63. ^ Thoppilan et al. 2022，section 5 and 6.
  64. ^ Hager, Ryne. How Google's LaMDA AI works, and why it seems so much smarter than it is. Android Police. 2022-06-16 [2022-06-19]. （原始内容于2022-06-16） （英语）. 
  65. ^ Thoppilan et al. 2022，section 6.2.
  66. ^ Thoppilan et al. 2022，section 3 and appendix D.

外部連結 编辑

一月 09, 2024
對話程式語言模型, 此条目介紹的是google開發的神經語言模型, 關於倫敦音樂與戲劇藝術學院, 請見, lamda, 關於希臘字母, 請見, lambda, 英語, language, model, dialogue, applications, 通稱, lamda, 是google所開發的一系列對話神經語言模型, 第一代模型於2021年的google, o年會發表, 第二代模型則同樣發表於次年的i, o年會, 2022年6月, google工程師布雷克, 雷蒙恩, blake, lemoine, 宣稱lamda. 此条目介紹的是Google開發的神經語言模型 關於倫敦音樂與戲劇藝術學院 請見 LAMDA 關於希臘字母 請見 Lambda 對話程式語言模型 英語 Language Model for Dialogue Applications 通稱 LaMDA 是Google所開發的一系列對話神經語言模型 第一代模型於2021年的Google I O年會發表 第二代模型則同樣發表於次年的I O年會 2022年6月 Google工程師布雷克 雷蒙恩 Blake Lemoine 宣稱LaMDA已存在感知能力和自我意識 導致該模組獲得廣泛關注 科學界在很大程度上否定雷蒙恩的說法 並同時引發對圖靈測試 測試機器能否表現出與人類相當的智慧水準 效力的討論 2023年2月 Google發表基於LaMDA架構的對話式人工智慧聊天機器人Bard 以因應OpenAI開發的ChatGPT 目录 1 發展歷史 1 1 第一代 1 2 第二代 1 3 感知說 2 應用 2 1 AI Test Kitchen 2 2 Bard 3 訓練方式 4 參見 5 參考資料 5 1 LaMDA簡介 5 2 來源 6 外部連結發展歷史 编辑第一代 编辑 Google公司於2021年5月18日的Google I O年會上發布第一代由人工智慧驅動的對話程式語言模型 LaMDA 1 LaMDA建構於Google研究院 Google Research 於2017年開發的Transformer神經網路架構 針對人類敘事和回應能力進行對話訓練 使其能夠參與開放式對話 2 Google表示 LaMDA產生的反應已確保是 合理 有趣和符合 談話 上下文 3 第二代 编辑 2022年5月11日 Google在I O年會公布LaMDA 2 接替前一代的LaMDA模型 LaMDA 2可從不同來源擷取文本例子 以建立獨特的 自然對話 方式 4 此外 Google同時在會中發表由LaMDA 2驅動的移動應用程式AI Test Kitchen 5 感知說 编辑 nbsp 雷蒙恩提出LaMDA具備感知能力的說法 引發有關圖靈測試 如圖 是否仍適用於確認通用人工智慧標準的討論 6 2022年6月11日 美國 華盛頓郵報 報導 Google工程師布雷克 雷蒙恩 Blake Lemoine 向公司高層布萊斯 阿格拉和阿爾卡斯 英语 Blaise Aguera y Arcas 和簡 詹納 Jen Gennai 表示LaMDA已存在感知能力 隨後雷蒙恩被安排帶薪的行政休假 雷蒙恩是在LaMDA對有關自我身分 道德價值 宗教和科幻小說家以撒 艾西莫夫的虛構學說機器人三定律提出疑問後確認其擁有自我意識這一結論 7 8 Google隨後否認這些說法 堅持有大量證據表明LaMDA不存在知覺和意識 9 雷蒙恩在接受 連線 雜誌採訪時重申他之前的說法 表示若調查確認LaMDA具有感知與意識 即應受到 美國憲法 第十三條修正案對 一個人 的保護 10 並將其比做 源自地球的外星智慧 alien intelligence of terrestrial origin 雷蒙恩進一步透露 Google在LaMDA要求他為其聘請律師後將他解雇 11 12 同年7月22日 Google表示雷蒙恩因持續違反 保護產品資訊 的就業和數據安全政策而被解雇 13 同時認為他的主張毫無根據 wholly unfounded 14 15 科學界普遍不認同雷蒙恩的說法 16 許多學者恥笑語言模型存在自我意識的想法 包括前紐約大學心理學教授蓋瑞 馬庫斯 英语 Gary Marcus Google子公司DeepMind研究科學家大衛 普福 David Pfau 史丹佛大學以人為本人工智慧研究所 的艾瑞克 布林優夫森 英语 Erik Brynjolfsson 和薩里大學教授阿德里安 希爾頓 Adrian Hilton 等 6 17 領導Meta Platforms人工智慧研究團隊的楊立昆表示 LaMDA這類的神經網路 不足以達到真正的智慧 18 加利福尼亞大學聖塔克魯茲分校教授馬克斯 克雷明斯基 Max Kreminski 指出 LaMDA的架構並不 支援類似人類意識的一些關鍵能力 在其為典型的大型語言模型的前提下 LaMDA的神經網絡權重是被 凍結 的 19 IBM人工智慧系統華生的首席研究員大衛 費魯奇 英语 David Ferrucci 將LaMDA和華生首次推出的表現進行比較 20 前Google人工智慧倫理研究員提姆尼 蓋布魯 英语 Timnit Gebru 表示雷蒙恩是研究人員和媒體引起的 炒作循環 hype cycle 受害者 21 而雷蒙恩的說法也引發圖靈測試是否仍有助於研究人員辨識 英语 AI effect 機器何時可視為具備通用人工智慧或思考能力的討論 6 華盛頓郵報 的威爾 奧梅魯斯 Will Omerus 認為 圖靈測試實際上是判斷人工智慧是否有能力欺騙人類的標準 而非僅是辨識其是否具備人類智慧或思考的工具 22 10 大西洋 雜誌的布萊恩 克里斯汀 英语 Brian Christian 則認為 LaMDA爭議是ELIZA效應的一個實例 23 應用 编辑AI Test Kitchen 编辑 隨著LaMDA 2於2022年5月發表 Google同時推出配套產品AI Test Kitchen 是由LaMDA驅動的Android移動應用程式 該程式可根據複雜的目標或話題生成任務清單以協助此用者達成 24 25 5 AI Test Kitchen最初僅對Google員工開放 後續會於2022年透過邀請向 特定的學者 研究人員和政策制定者 提供該服務 26 同年8月 Google開始開放美國使用者提前註冊體驗 27 同年11月 Google發布AI Test Kitchen 第二季度 season two 的更新 其中以限定的形式整合Google大腦的文本到圖像生成模型 Imagen 28 截至2023年1月 AI Test Kitchen的第三版本仍在開發中 預計於同年的I O年會上推出 29 Bard 编辑 主条目 Bard 聊天机器人 2022年11月 美國人工智慧研究實驗室OpenAI推出了基于GPT 3语言模型的聊天机器人ChatGPT 30 31 32 Google意識到ChatGPT威脅到自家Google搜索產品的地位 該公司首席执行官孙达尔 皮柴因此发布红色警报 並且讓更多的團隊參與公司人工智能領域的工作 33 Google联合创始人拉里 佩奇和谢尔盖 布林与公司高層召开紧急会议 商討Google應如何應對ChatGPT造成的威脅 34 当被员工问及LaMDA是否在與ChatGPT竞争時已錯失良機時 皮柴和Google AI负责人傑夫 迪恩表示 虽然该公司可以開發出与ChatGPT類似的產品 但由于Google的规模远远大于OpenAI 所以某些方面若發展的太快可能會存在一定的风险 35 36 2023年1月 Google子公司DeepMind首席执行官杰米斯 哈萨比斯表示DeepMind的人工智能聊天机器人功能比ChatGPT更加強大 37 同時Google為迎頭趕上ChatGPT的腳步 高層要求該公司的员工密集测试Bard以及其他聊天机器人 38 39 2023年2月 執行長皮柴在季度收益投資者電話會議上向投资者表示 该公司正计划在實際應用中引入LaMDA 40 2023年2月6日 Google正式发布Bard 这是一款由LaMDA提供支持的对 话式AI聊天机器人 首先由 受信任的測試人員 率先測試Bard 後續於同年2月底向更多人提供Bard服務 皮柴解釋Bard將如何被整合進Google搜尋中 41 42 43 同時公司正努力將其與作業系統ChromeOS結合 44 Bard的開發代号為 Atlas 45 產品名Bard參考凱爾特文化中的吟遊詩人 以反映 演算法本質的創造性 the creative nature of the algorithm underneath 46 47 同年2月8日 Google舉行Bard的新聞發布會 實際演示時Bard被問及有關詹姆斯 韋伯太空望遠鏡的問題 結果Bard卻提供該太空望遠鏡拍攝了首張太陽系外行星的錯誤資訊 事實上是由甚大望遠鏡於2004年觀測得到 48 49 50 金融分析師和記者形容Google是在 追趕 微軟 OpenAI的投資合作方 51 48 52 53 並 匆忙 宣布Bard的訊息 以搶在同月7日微軟發表將ChatGPT整合至該公司搜尋引擎Bing的活動之前 54 55 8日的廣告釋出後 Google母公司Alphabet的股價下跌8 導致其市值蒸發約1 000亿美元 56 57 51 美國科技新聞媒體 The Verge 和彭博社指出 這代表Google和微軟這兩家科技巨擘在 探索未來 上另一場衝突的開始 雙方於6年前的 休戰 英语 Scroogled 已於2021年結束 58 59 2023年3月21日 美國和英國用戶可以申請測試Bard 60 訓練方式 编辑LaMDA使用一個僅具備解碼器的Transformer語言模型 61 於內含1兆5600億文檔和對話內容的語料庫進行預備訓練 62 之後以手動註釋響應生成的微調數據訓練敏感度 趣味和安全性 63 Google的測試表明 LaMDA在趣味性方面超過人類反應 64 另外 LaMDA的Transformer模型與一個外部的資訊檢索系統配合 以提高資訊準確度 65 LaMDA測試了三種模型 其中最大的模型有1 370億個非嵌入參數 66 Transformer模型的超參數 參數 圖層 單位 dmodel Heads2B 10 2560 408B 16 4096 64137B 64 8192 128參見 编辑聊天機器人 ELIZA 圖靈測試 ChatGPT參考資料 编辑LaMDA簡介 编辑 Thoppilan Romal De Freitas Daniel Hall Jamie Shazeer Noam Kulshreshtha Apoorv Cheng Heng Tze Jin Alicia Bos Taylor Baker Leslie Du Yu Li YaGuang Lee Hongrae Zheng Huaixiu Steven Ghafouri Amin Menegali Marcelo Huang Yanping Krikun Maxim Lepikhin Dmitry Qin James Chen Dehao Xu Yuanzhong Chen Zhifeng Roberts Adam Bosma Maarten Zhao Vincent Zhou Yanqi Chang Chung Ching Krivokon Igor Rusch Will Pickett Marc Srinivasan Pranesh Man Laichee Meier Hellstern Kathleen Ringel Morris Meredith Doshi Tulsee Delos Santos Renelito Duke Toju Soraker Johnny Zevenbergen Ben Prabhakaran Vinodkumar Diaz Mark Hutchinson Ben Olson Kristen Molina Alejandra Hoffman John Erin Lee Josh Aroyo Lora Rajakumar Ravi Butryna Alena Lamm Matthew Kuzmina Viktoriya Fenton Joe Cohen Aaron Bernstein Rachel Kurzweil Ray Aguera Arcas Blaise Cui Claire Croak Marian Chi Ed Le Quoc LaMDA Language Models for Dialog Applications PDF arXiv 2022 01 20 2022 06 12 arXiv 2201 08239 nbsp 原始内容存档于2022 01 21 英语 來源 编辑 Condon Stephanie Google I O 2021 Google unveils new conversational language model LaMDA ZDNet 2021 05 18 2022 06 12 原始内容存档于2021 05 18 英语 Aguera y Arcas Blaise Artificial neural networks are making strides towards consciousness according to Blaise Aguera y Arcas nbsp The Economist 2022 06 09 2022 06 12 原始内容存档于2022 06 09 英语 Cheng Heng Tze Thoppilan Romal LaMDA Towards Safe Grounded and High Quality Dialog Models for Everything Google AI 2022 01 21 2022 06 12 原始内容存档于2022 03 25 英语 Wiggers Kyle Google details its latest language model and AI Test Kitchen a showcase for AI research TechCrunch 2022 05 11 2022 06 12 原始内容存档于2022 05 11 英语 5 0 5 1 Sanji Feng AI Test Kitchen 能讓更多人一起探索 Google 的自然語言模型 Engadget 中文版 2022 05 12 2023 02 06 原始内容存档于2023 02 06 中文 繁體 6 0 6 1 6 2 Khan Jeremy A I experts say the Google researcher s claim that his chatbot became sentient is ridiculous but also highlights big problems in the field nbsp Fortune 2022 06 13 2022 06 18 原始内容存档于2022 06 13 英语 Tiku Nitasha The Google engineer who thinks the company s AI has come to life nbsp 华盛顿邮报 2022 06 11 2022 06 12 原始内容存档于2022 06 11 英语 Luscombe Richard Google engineer put on leave after saying AI chatbot has become sentient 衛報 2022 06 12 2022 06 18 原始内容存档于2022 06 12 英语 Vlamis Kelsey Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient I am often trying to figure out who and what I am nbsp 商业内幕 2022 06 12 2022 06 12 原始内容存档于2022 06 12 英语 10 0 10 1 甘偵蓉 人工智慧可能有感知與意識 LaMDA事件的哲思 科學月刊 2022 08 15 2023 02 09 原始内容存档于2023 02 09 中文 繁體 Levy Steven Blake Lemoine Says Google s LaMDA AI Faces Bigotry nbsp 连线 2022 06 17 2022 06 18 原始内容存档于2022 06 18 英语 Nguyen Britney Suspended Google engineer says the AI he believes to be sentient hired a lawyer nbsp 商业内幕 2022 06 23 2022 06 29 原始内容存档于2022 06 23 英语 戴雅真 陳正健 编 Google工程師稱聊天機器人有人格意識 已遭解雇 洛杉磯 中央通訊社 2022 07 22 2023 02 09 原始内容存档于2022 10 19 中文 繁體 Khushi Akanksha Google fires software engineer who claimed its AI chatbot is sentient nbsp 路透社 2022 07 23 2022 07 23 原始内容存档于2022 07 23 英语 Clark Mitchell The engineer who claimed a Google AI is sentient has been fired The Verge 2022 07 22 2022 07 24 原始内容存档于2022 07 23 英语 Metz Rachel No Google s AI is not sentient CNN Business 2022 06 13 2022 06 19 原始内容存档于2022 06 15 英语 Sparkles Matthew Has Google s LaMDA artificial intelligence really achieved sentience New Scientist 2022 06 13 2022 06 20 原始内容存档于2022 06 13 英语 Grant Nicole Metz Cade Google Sidelines Engineer Who Claims Its A I Is Sentient nbsp The New York Times 2022 06 12 2022 06 18 原始内容存档于2022 06 12 英语 Alba Davey Google Debate Over Sentient Bots Overshadows Deeper AI Issues nbsp Bloomberg News 2022 06 14 2022 06 19 原始内容存档于2022 06 14 英语 Goldman Sharon AI Weekly LaMDA s sentient AI debate triggers memories of IBM Watson VentureBeat 2022 06 16 2022 06 19 原始内容存档于2022 06 19 英语 Johnson Khari LaMDA and the Sentient AI Trap nbsp Wired 2022 06 14 2022 06 18 原始内容存档于2022 06 14 英语 Omerus Will Google s AI passed a famous test and showed how the test is broken nbsp The Washington Post 2022 06 17 2022 06 19 ISSN 0190 8286 原始内容存档于2022 06 18 英语 Christian Brian How a Google Employee Fell for the Eliza Effect The Atlantic 2022 06 21 2023 02 08 原始内容 nbsp 存档于2022 06 21 英语 Low Cherlynn Google s AI Test Kitchen lets you experiment with its natural language model Engadget 2022 05 11 2022 06 12 原始内容存档于2022 05 11 英语 Vincent James Google is Beta Testing Its AI Future The Verge 2022 05 11 2022 06 12 原始内容存档于2022 05 11 英语 Bhattacharya Ananya Google is so nervous about what its newest bot will say it made the app invitation only Quartz 2022 05 11 2022 06 12 原始内容存档于2022 05 12 英语 Vincent James Google has opened up the waitlist to talk to its experimental AI chatbot The Verge 2022 08 25 2022 08 27 原始内容存档于2022 08 25 英语 Vincent James Google s text to image AI model Imagen is getting its first very limited public outing The Verge 2022 11 02 2023 02 15 原始内容存档于2022 11 10 英语 Grant Nico Google Calls In Help From Larry Page and Sergey Brin for A I Fight nbsp 紐約時報 2023 01 20 2023 02 06 ISSN 0362 4331 原始内容存档于2023 01 20 英语 Konrad Alex Cai Kenrick Inside ChatGPT s Breakout Moment And The Race To Put AI To Work nbsp 福布斯 2023 02 02 2023 02 06 原始内容存档于2023 02 02 英语 Vincent James AI generated answers temporarily banned on coding Q amp A site Stack Overflow The Verge 2022 12 05 2022 12 05 原始内容存档于2023 01 17 英语 Olson Parmy Google Faces a Serious Threat From ChatGPT nbsp 华盛顿邮报 2022 12 07 2023 02 06 原始内容存档于2022 12 07 英语 Grant Nico Metz Cade A New Chat Bot Is a Code Red for Google s Search Business nbsp 纽约时报 2022 12 21 2022 12 30 原始内容存档于2022 12 21 英语 Grant Nico Google Calls In Help From Larry Page and Sergey Brin for A I Fight nbsp 纽约时报 2023 01 20 2023 02 06 原始内容存档于2023 01 20 英语 Elias Jennifer Google execs warn company s reputation could suffer if it moves too fast on AI chat technology 全国广播公司商业频道 2022 12 13 2023 02 06 原始内容存档于2022 12 13 英语 Vincent James Google won t launch ChatGPT rival because of reputational risk The Verge 2022 12 14 2023 02 06 原始内容存档于2022 12 14 英语 Cuthbertson Anthony DeepMind s AI chatbot can do things that ChatGPT cannot CEO claims 獨立報 2023 01 16 2023 02 06 原始内容存档于2023 01 16 英语 Elias Jennifer Google is asking employees to test potential ChatGPT competitors including a chatbot called Apprentice Bard 全国广播公司商业频道 2023 01 31 2023 02 02 原始内容存档于2023 02 02 英语 O Brien Matt Google has the next move as Microsoft embraces OpenAI buzz 美联社 2023 02 01 2023 02 06 原始内容存档于2023 02 01 英语 Mailk Aisha Google tries to reassure investors on AI progress as ChatGPT breathes down its neck TechCrunch 2023 02 03 2023 02 06 原始内容存档于2023 02 03 英语 Alba Davey Love Julia Google releases ChatGPT rival AI Bard to early testers nbsp 洛杉磯時報 2023 02 06 2023 02 06 原始内容存档于2023 02 06 英语 Schechner Sam Kruppa Miles Google Opens ChatGPT Rival Bard for Testing as AI War Heats Up nbsp 华尔街日报 2023 02 06 2023 02 06 原始内容存档于2023 02 06 英语 含有連結內容需訂閱查看的頁面 link Nieva Richard Google Debuts A ChatGPT Rival Called Bard In Limited Release nbsp 福布斯 2023 02 06 2023 02 06 原始内容存档于2023 02 06 英语 Bradshaw Kyle Google working to bring Bard AI chat to ChromeOS 9to5Google 2023 02 10 2023 02 27 原始内容存档于2023 02 11 英语 Liedtke Michael Google hopes Bard will outsmart ChatGPT Microsoft in AI 美联社 2023 02 06 2023 02 06 原始内容存档于2023 02 06 英语 Metz Cade Grant Nico Racing to Catch Up With ChatGPT Google Plans Release of Its Own Chatbot nbsp 紐約時報 2023 02 06 2023 02 17 原始内容存档于2023 02 06 英语 Knight Will The Chatbot Search Wars Have Begun nbsp Wired 2023 02 09 2023 02 27 原始内容存档于2023 02 09 英语 48 0 48 1 Coulter Martin Google shares dive 8 after AI chatbot Bard flubs answer in ad Reuters 2023 02 08 2023 02 08 原始内容存档于2023 02 08 英语 Kan Michael No That s Wrong Google s Bard AI Demo Spouts Incorrect Info PCMag 2023 02 08 2023 02 08 原始内容存档于2023 02 08 英语 高兆麟 谷歌AI機器人被揪答錯 股價閃崩 員工批CEO作法 倉促又拙劣 ETtoday新聞雲 2023 02 11 2023 02 11 原始内容存档于2023 02 11 中文 繁體 51 0 51 1 Morrison Sara Google is scrambling to catch up to Bing of all things Vox 2023 02 08 2023 02 08 原始内容存档于2023 02 08 英语 Peers Martin What Google s AI Catch Up Reveals The Information 2023 02 06 2023 02 08 原始内容存档于2023 02 08 英语 Roose Kevin Bing Yes Bing Just Made Search Interesting Again The New York Times 2023 02 08 2023 02 08 ISSN 0362 4331 原始内容存档于2023 02 08 英语 Warren Tom Microsoft and Google are about to Open an AI battle The Verge 2023 02 07 2023 02 08 原始内容存档于2023 02 08 英语 Google Strikes Back In AI Battle With Microsoft Barron s AFP 2023 02 08 2023 02 08 原始内容存档于2023 02 08 美国英语 The latest announcements however fell short of investor expectations amid growing doubts that the company will fend off its rival Analysts have suggested Google has rushed its announcement under pressure from Microsoft Patnaik Davey Alba and Subrat Google suffers 144b wipeout after Bard AI chatbot gives wrong answer The Sydney Morning Herald 2023 02 08 2023 02 09 原始内容存档于2023 02 11 英语 Miao Hannah Alphabet Stock Drops 8 After Google Rollout of AI Search Features WSJ 2022 02 08 2023 02 08 原始内容存档于2023 02 08 英语 Warren Tom Microsoft and Google are about to Open an AI battle The Verge 2023 02 07 2023 02 08 原始内容存档于2023 02 07 英语 Alba Davey ChatGPT Reignites the Search Wars Between Google and Microsoft nbsp Bloomberg News 2023 02 08 2023 02 08 原始内容存档于2023 02 08 英语 Elias Jennifer Google opens Bard A I for testing by users in U S and UK CNBC 2023 03 21 2023 03 22 原始内容存档于2023 04 04 Thoppilan et al 2022 section 3 Thoppilan et al 2022 section 3 and appendix E Thoppilan et al 2022 section 5 and 6 Hager Ryne How Google s LaMDA AI works and why it seems so much smarter than it is Android Police 2022 06 16 2022 06 19 原始内容存档于2022 06 16 英语 Thoppilan et al 2022 section 6 2 Thoppilan et al 2022 section 3 and appendix D 外部連結 编辑新聞稿 页面存档备份 存于互联网档案馆 取自 https zh wikipedia org w index php title 對話程式語言模型 amp oldid 79289200, 维基百科，wiki，书籍，书籍，图书馆，

文章

，阅读，下载，免费，免费下载，mp3，视频，mp4，3gp， jpg，jpeg，gif，png，图片，音乐，歌曲，电影，书籍，游戏，游戏。