fbpx
维基百科

DreamBooth

DreamBooth是一個深度學習模型,用於微調現有的文生圖模型​(英语),由Google Research波士頓大學的研究人員於2022年開發。最初利用谷歌开发的的Imagen文生圖模型開發,DreamBooth可以應用到其他文生圖模型,在使用指定主題的三到五張圖像進行演算、訓練後,可以讓模型產生更精細和個性化的輸出圖像。[1][2][3]

演示使用DreamBooth微調Stable Diffusion1.5版本的擴散模型,使用從維基共享資源的Category:Jimmy Wales分類獲得的訓練數據。此處描繪的是通過AI生成的維基百科創始人吉米·威爾斯在健身房進行臥推練習的僞圖像。

技術

預先訓練的文生圖擴散模型,雖然通常能夠提供多種不同的圖像輸出,但缺乏生成不太知名的主題圖像所需的特異性,並且在不同情況和背景下呈現已知主題的能力有限。[1] 運行DreamBooth來微調模型的過程首先需要輸入一小套描繪某一種特定主題的圖像,一般三到五張圖像就足夠了,這些圖像與包含主題所屬類別名稱的提示詞​(英语)配對,加上一個獨特的標識符(例如:a photograph of a [Nissan R34 GTR] car,用car作爲類別);同時,一個「特定類別的先驗保存損失」(class-specific prior preservation loss)來讓模型在已經訓練好的類別上產生不同的主題實例。[1] 從一組輸入圖像中提取的一對低分辨率和高分辨率的圖像被用來微調超分辨率組件,從而保留主題的微小細節。[1]

用法

DreamBooth可以用來對Stable Diffusion等模型進行微調,通過這種用例它能夠緩解Stable Diffusion無法生成特定個人圖像的常見缺陷。[4] 然而,這樣的用例是相當耗費VRAM的,因此對業餘用戶來說是成本高昂的。[4] 有人對使用DreamBooth來訓練模仿與人類藝術家的特定藝術風格的道德問題表示關切。[5]

參考文獻

  1. ^ 1.0 1.1 1.2 1.3 Ruiz, Nataniel; Li, Yuanzhen; Jampani, Varun; Pritch, Yael; Rubinstein, Michael; Aberman, Kfir. DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation. arXiv (Google Research, Boston University). 2022-08-25 [2022-11-04]. doi:10.48550/arXiv.2208.12242. (原始内容 (PDF)于2022-09-29) (英语). 
  2. ^ 山下裕毅. 愛犬の合成画像を生成できるAI 文章で指示するだけでコスプレ 米Googleが開発. ITmedia Inc. 2022-09-01 [2022-11-04]. (原始内容于2022-08-31) (日语). 米Google Researchと米ボストン大学の研究チームが開発した...数枚の被写体画像とテキスト入力を使って、与えられた被写体が溶け込んだ新たな合成画像を作成する被写体駆動型Text-to-Imageモデルだ。[...由谷歌研究院和波士頓大學的一個研究小組開發,是一個主題驅動的文生圖模型,它採用一個主題的幾張圖像和提示詞來創建新生成的具有該主題的圖像。] 
  3. ^ Brendan Murphy. AI image generation is advancing at astronomical speeds. Can we still tell if a picture is fake?. The Conversation. 2022-10-13 [2022-11-04]. (原始内容于2022-10-30) (英语). Recently, Google has released Dream Booth, an alternative, more sophisticated method for injecting specific people, objects or even art styles into text-to-image AI systems.[最近,谷歌發布了DreamBooth,這是一種另類的、更複雜的方法,可以將特定的人、物體甚至藝術風格注入文生圖的人工智能係統中。] 
  4. ^ 4.0 4.1 清水 亮. まさに「世界変革」──この2カ月で画像生成AIに何が起きたのか?. Yahoo! News Japan. 2022-10-26 [2022-11-04]. (原始内容于2022-10-26) (日语). Stable Diffusionは、一般に個人の写真や特定の人物を出すのが苦手だが、自分のペットや友人の写真をわずかな枚数から学習させる「Dreambooth」という技術が開発され、これも話題を呼んだ。ただし、Dreamboothでは、巨大なGPUメモリが必要になり、個人ユーザーが趣味の範囲で買えるGPUでは事実上実行不可能なのがネックとされていた。[Stable Diffusion在生成個人照片通常是有缺陷的,但「DreamBooth」的開發允許從少量以寵物或朋友的照片中進行訓練,引起了相當大的轟動。然而,缺點是DreamBooth需要大量的GPU內存,使得它在個人用戶在業餘價格範圍內能夠負擔得起的GPU上運行實際上是不可行的。] 
  5. ^ Andy Baio. Invasive Diffusion: How one unwilling illustrator found herself turned into an AI model. Waxy. 2022-11-01 [2022-11-04]. (原始内容于2022-11-01) (英语). 

外部链接

dreambooth, 是一個深度學習模型, 用於微調現有的文生圖模型, 英语, 由google, research和波士頓大學的研究人員於2022年開發, 最初利用谷歌开发的的imagen文生圖模型開發, 可以應用到其他文生圖模型, 在使用指定主題的三到五張圖像進行演算, 訓練後, 可以讓模型產生更精細和個性化的輸出圖像, 演示使用微調stable, diffusion1, 5版本的擴散模型, 使用從維基共享資源的category, jimmy, wales分類獲得的訓練數據, 此處描繪的是通過ai生成的維基百科. DreamBooth是一個深度學習模型 用於微調現有的文生圖模型 英语 由Google Research和波士頓大學的研究人員於2022年開發 最初利用谷歌开发的的Imagen文生圖模型開發 DreamBooth可以應用到其他文生圖模型 在使用指定主題的三到五張圖像進行演算 訓練後 可以讓模型產生更精細和個性化的輸出圖像 1 2 3 演示使用DreamBooth微調Stable Diffusion1 5版本的擴散模型 使用從維基共享資源的Category Jimmy Wales分類獲得的訓練數據 此處描繪的是通過AI生成的維基百科創始人吉米 威爾斯在健身房進行臥推練習的僞圖像 目录 1 技術 2 用法 3 參考文獻 4 外部链接技術 编辑預先訓練的文生圖擴散模型 雖然通常能夠提供多種不同的圖像輸出 但缺乏生成不太知名的主題圖像所需的特異性 並且在不同情況和背景下呈現已知主題的能力有限 1 運行DreamBooth來微調模型的過程首先需要輸入一小套描繪某一種特定主題的圖像 一般三到五張圖像就足夠了 這些圖像與包含主題所屬類別名稱的提示詞 英语 配對 加上一個獨特的標識符 例如 a photograph of a Nissan R34 GTR car 用car作爲類別 同時 一個 特定類別的先驗保存損失 class specific prior preservation loss 來讓模型在已經訓練好的類別上產生不同的主題實例 1 從一組輸入圖像中提取的一對低分辨率和高分辨率的圖像被用來微調超分辨率組件 從而保留主題的微小細節 1 用法 编辑DreamBooth可以用來對Stable Diffusion等模型進行微調 通過這種用例它能夠緩解Stable Diffusion無法生成特定個人圖像的常見缺陷 4 然而 這樣的用例是相當耗費VRAM的 因此對業餘用戶來說是成本高昂的 4 有人對使用DreamBooth來訓練模仿與人類藝術家的特定藝術風格的道德問題表示關切 5 參考文獻 编辑 1 0 1 1 1 2 1 3 Ruiz Nataniel Li Yuanzhen Jampani Varun Pritch Yael Rubinstein Michael Aberman Kfir DreamBooth Fine Tuning Text to Image Diffusion Models for Subject Driven Generation arXiv Google Research Boston University 2022 08 25 2022 11 04 doi 10 48550 arXiv 2208 12242 原始内容存档 PDF 于2022 09 29 英语 山下裕毅 愛犬の合成画像を生成できるAI 文章で指示するだけでコスプレ 米Googleが開発 ITmedia Inc 2022 09 01 2022 11 04 原始内容存档于2022 08 31 日语 米Google Researchと米ボストン大学の研究チームが開発した 数枚の被写体画像とテキスト入力を使って 与えられた被写体が溶け込んだ新たな合成画像を作成する被写体駆動型Text to Imageモデルだ 由谷歌研究院和波士頓大學的一個研究小組開發 是一個主題驅動的文生圖模型 它採用一個主題的幾張圖像和提示詞來創建新生成的具有該主題的圖像 Brendan Murphy AI image generation is advancing at astronomical speeds Can we still tell if a picture is fake The Conversation 2022 10 13 2022 11 04 原始内容存档于2022 10 30 英语 Recently Google has released Dream Booth an alternative more sophisticated method for injecting specific people objects or even art styles into text to image AI systems 最近 谷歌發布了DreamBooth 這是一種另類的 更複雜的方法 可以將特定的人 物體甚至藝術風格注入文生圖的人工智能係統中 4 0 4 1 清水 亮 まさに 世界変革 この2カ月で画像生成AIに何が起きたのか Yahoo News Japan 2022 10 26 2022 11 04 原始内容存档于2022 10 26 日语 Stable Diffusionは 一般に個人の写真や特定の人物を出すのが苦手だが 自分のペットや友人の写真をわずかな枚数から学習させる Dreambooth という技術が開発され これも話題を呼んだ ただし Dreamboothでは 巨大なGPUメモリが必要になり 個人ユーザーが趣味の範囲で買えるGPUでは事実上実行不可能なのがネックとされていた Stable Diffusion在生成個人照片通常是有缺陷的 但 DreamBooth 的開發允許從少量以寵物或朋友的照片中進行訓練 引起了相當大的轟動 然而 缺點是DreamBooth需要大量的GPU內存 使得它在個人用戶在業餘價格範圍內能夠負擔得起的GPU上運行實際上是不可行的 Andy Baio Invasive Diffusion How one unwilling illustrator found herself turned into an AI model Waxy 2022 11 01 2022 11 04 原始内容存档于2022 11 01 英语 外部链接 编辑DreamBooth的官方GitHub IO 页面存档备份 存于互联网档案馆 Stable Diffusion的DreamBooth實現 页面存档备份 存于互联网档案馆 取自 https zh wikipedia org w index php title DreamBooth amp oldid 75597951, 维基百科,wiki,书籍,书籍,图书馆,

文章

,阅读,下载,免费,免费下载,mp3,视频,mp4,3gp, jpg,jpeg,gif,png,图片,音乐,歌曲,电影,书籍,游戏,游戏。