GPT-2

生成式预训练变换模型2（英語：Generative Pre-trained Transformer 2，简称 GPT-2）是OpenAI于2019年2月创建的开源人工智能。^{[2] [3] [4] [5]} GPT-2能够翻译文本、回答问题、总结段落，^[6]并生成文本输出。虽然其输出内容有时与人类相似，^[7]但在生成长段落时输出内容可能会变得重复或无意义。^[8]GPT-2 是一个通用学习器，没有经过专门训练来执行任何特定的任务，^{[9] [6]} 并且是作为 OpenAI 2018 GPT 模型的“直接扩展”而创建的，^[10]其参数数量和训练数据集的大小均增加了十倍。^[5]

生成型预训练变换模型 2（GPT-2）

GPT-2 使用 Hugging Face Write With Transformer 网站完成的文本，提示文字来自維基百科（初始提示后所有突出显示的文本都是从第一个建议的完成机器生成的，没有进一步编辑）
原作者	OpenAI
首次发布	2019年2月14日，​4年前​（2019-02-14）
当前版本	1558M (2019年11月5日)^[1]
源代码库	https://github.com/openai/gpt-2
类型	Transformer模型
许可协议	MIT許可證
网站	openai.com/blog/gpt-2-1-5b-release/

参考資料

1. https://openai.com/blog/gpt-2-1-5b-release/.
2. Piper, Kelsey. A poetry-writing AI has just been unveiled. It's ... pretty good.. Vox. 15 May 2019 [19 December 2020]. （原始内容于7 November 2020）. 
3. Johnson, Khari. OpenAI releases curtailed version of GPT-2 language model. VentureBeat. 20 August 2019 [19 December 2020]. （原始内容于18 December 2020）. 
4. Vincent, James. OpenAI has published the text-generating AI it said was too dangerous to share. The Verge. 7 November 2019 [19 December 2020]. （原始内容于11 June 2020）. 
5. Better Language Models and Their Implications. OpenAI. 14 February 2019 [19 December 2020]. （原始内容于19 December 2020）. 
6. Hegde. Unsupervised Paraphrase Generation using Pre-trained Language Models. arXiv:2006.05477  . 
7. Kaiser, Caleb. Too big to deploy: How GPT-2 is breaking servers. Towards Data Science. 31 January 2020 [27 February 2021]. （原始内容于15 February 2020）. 
8. Hern, Alex. New AI fake text generator may be too dangerous to release, say creators. The Guardian. 14 February 2019 [19 December 2020]. （原始内容于14 February 2019）. 
9. Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilua. Language models are unsupervised multitask learners (PDF) 1 (8). 14 February 2019 [19 December 2020]. （原始内容 (PDF)于6 February 2021）. 
10. Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training (PDF). OpenAI: 12. 11 June 2018 [23 January 2021]. （原始内容 (PDF)于26 January 2021）.