盤點2023年Stable Diffusion GUI工具及其創作生態

0 評論 940 瀏覽 2 收藏 17 分鐘

在AI繪畫領域,作為一款可以本地化的大模型,Stable Diffusion一直受到大家的喜愛。但很多人都是僅使用大模型和lora,對其生態了解甚少,而SD生態里面,其實也有不少好的工具。

正文開始之前,這里先用一句話概括性的介紹一下Stable Diffusion:它是一種基于深度學習的文本到圖像的生成模型。能夠根據文本描述創造出豐富多樣且具有高質量和細節的圖像。

它的生成模型是通過大規模圖像及其描述的數據集訓練而成,所以生成的圖像在保持高創造性的同時,還具有較高的高分辨率。另外因其開源性質和強大的功能在AI繪畫領域具有重要的地位。 具體的原理這里就不展開講了,我們只需要知道它是一種能夠通過文本描述生成圖像的AI繪畫工具就夠了。

一、Stable Diffusion的創意工坊

2023年是AI相關技術井噴式爆發的一年,在AI繪畫領域同樣發展迅猛,市面上形形色色的操作界面,看的大家眼花繚亂。

Stable Diffusion作為AIGC領域的領頭羊,今天我們就來盤點一下以它為基礎衍生而來的應用。

盤點之前先將市面上的應用進行一下分類,可以簡單的把它們分成兩個陣營:一邊是廣為人知、處于市場主導地位的“大咖”,另一邊則是那些較少人知,但同樣充滿創意的“小眾選手”。

二、有意思的“小眾選手”

首先來介紹一下Stable Diffusion背后的公司Stability AI推出的幾款應用:

1?? Clipdrop

2023年3月Stability AI為了擴大Stable Diffusion模型的安裝,收購了Clipdrop背后的母公司Init ML。Clipdrop是一個利用AI來自動幫助用戶完成照片編輯的應用,截至到收購之前已經積累了1500萬用戶。用戶可以通過Clipdrop自動提高低分辨率圖像的清晰度,裁剪照片中的個別元素、刪除背景等。

stability AI將其收購后,對Clipdrop進行了一系列升級,把SD(Stable Diffusion的簡稱)的一些功能整合到了平臺上。目前提供包括文字消除、背景移除和替換、圖像放大、重新照明、物體移除、草圖創建、圖像變體和擴展,以及使用新模型SDXL進行圖像生成等多項功能,而且這些都可以免費使用,無需注冊賬號。當然對于那些需要更多服務的用戶,平臺也提供了付費訂閱方案。

2?? Dream Studio

Dream Studio是由Stability AI官方推出提供算力的積分付費平臺,每個新賬戶贈送25積分,積分價格是1000積分10刀,大約可以生成5000張默認設置的圖片,相比于傳統的訂閱模式,這種支付方式更加靈活友好。

對于不同的模型,積分消耗也有所不同。

目前有兩種模型可供選擇:

SDXL v1.0模型生成步數40需要0.91積分;

SD v1.6模型生成步數40需要1.07積分。

Dream Studio整體的界面設計極為友好,還提供了畫布編輯功能,可以更加方便的使用局部填充和圖像擴展。

3?? StableSwarm UI

最后一個是由官方推出的GUI是與SDXL(Stable Diffusion的最新優化版本:Stable Diffusion XL,目前更新到了v1.0)同時發布的StableSwarm UI。乍一看,它的界面似乎與Dream Studio高度相似,但實際上它們之間還是有所區別的。

StableSwarm UI的獨特之處在于,它實質上是一個以Comfy UI作為后端服務的前端界面。根據官方在其周刊中的介紹,Swarm UI結合了Comfy UI的強大功能、Web UI的用戶友好性以及Stable Studio的高品質體驗,它的目的是將這三者的優勢融合在一起。當然,這只是官方的宣傳語,水分還是挺大的,實際的使用體驗差強人意,還有很大的提升空間,希望未來能有更多的改進。

4?? InvokeAI

目前InvokeAI 已經更新到了3.1版本,全面支持了SDXL新模型,并且推出了與Comfy UI類似的節點式工作流界面。結合其本身就具備的畫布功能,使重繪和圖像擴展變得更加方便。

5?? SD.Next

SD.Next是從Web UI衍生出來的產品,其優勢在于它不僅支持Stable Diffusion 1.5/2.1/XL模型,還兼容了LCM、Segmind、Kandinsky、Pixart-α、Würstchen、aMUSEd、DeepFloyd IF、UniDiffusion、SD-Distilled、BLiP Diffusio、etc等多種擴散模型。此外,它適用于各種運行環境,并且擁有非常簡潔友好的UI界面和各種主題。

6?? voltaML-fast-stable-diffusion

voltaML-fast-stable-diffusion是一個開源項目,安裝簡單,界面簡潔干凈,非常適合新手學習。并且有文檔化的API接口,在速度上也有不小的提升。

7?? stable diffusion online

Stable Diffusion Online是一個提供在線免費的網站。它不僅提供了一種簡單直觀的操作界面,還特別增加了Web UI的界面設計,方便那些更喜歡或更習慣Web UI的用戶。此外網站還提供了ControlNet提示詞生成器和豐富的提示詞庫等功能。網站完全免費使用,無需注冊賬戶,特別適合初學者和對此領域感興趣的新手嘗試。

<h3″>8?? Hugging Face

Hugging Face對經常使用SD的朋友應該都很熟悉,大家應該或多或少都在上面下載過各種模型,這里簡單介紹一下它:

Hugging Face起初是一家致力于聊天機器人的初創公司,因其在GitHub上開源的Transformers庫(預訓練語言庫),意外地在機器學習社區獲得了廣泛的關注和贊譽。

現在該平臺已經成為機器學習領域的核心,擁有超過100000個預訓練模型和10000個數據集,大大降低了機器學習模型的門檻。它的開放文化吸引了全球廣泛的用戶和業界專家參與其中。

在國內Hugging Face的應用也十分廣泛,特別是在NLP(自然語言處理)工程師中,熟悉其Transformer庫已成為標準要求。該平臺為初學者提供了易于上手的數據集和模型,簡化了機器學習的入門過程。

正是因為它開放的文化,目前平臺匯集了眾多大神部署的各類模型,這些模型可以免費使用,體驗非常方便。唯一的小缺陷在于平臺太過于熱門,有些時候需要較長的等待排隊時間。

9?? Playground

最后一個體驗不錯的就是Playground Ai,用戶可以免費使用Stable Diffusion模型,每天最多可以免費創建1000張圖像,并且允許商用。同時平臺也提供了付費訂閱選項,付費用戶可以使用更多模型比如Dall-e2等。生成圖像后,可以實時預覽和編輯,如調整亮度、對比度、飽和度、色彩等,甚至添加濾鏡、邊框、水印等效果。完成后可以通過獨立鏈接分享或直接下載保存。感興趣的朋友們可以去嘗試體驗一下。

三、主流領域的三大“大咖”

AI王者:Web UI

接下來是目前最受歡迎的Stable Diffusion WebUI,它是一個基于Web網頁形式展現的圖形用戶界面,用于管理和控制Stable Diffusion。 提供了直觀、易于使用的界面。

讓用戶不需要復雜的編程技能或深入的技術知識也能使用這個強大的圖像生成技術。用戶可以通過一個簡單的界面輸入文字描述,系統會根據這些描述生成相應的圖像。WebUI雖然非常方便用戶的使用,但對本地算力有一定的要求,需要有較好的顯卡才能滿足程序運行。因為WebUI是緊隨SD(Stable Diffusion)發布的,以開源、易用插件眾多的特點迅速成為了主流選擇。

對于使用SD的用戶來說,大部分都始于WebUI,因此WebUI在很多人心中已經成為了Stable Diffusion的代名詞。

潛力股:Comfy UI

目前Comfy UI正以獨特的特性和能力正迅速成為AIGC領域的焦點,它能夠讓用戶通過連接各種模塊(節點)來創建復雜而獨特的圖像生成流程。不僅可以作為圖形用戶界面使用,還能作為一個強大的后端服務,比如在電商領域非?;鸨腒rita+Comfy UI實時出圖,這里Comfy UI就是作為后端使用的,包括前文提到的StableSwarmUI也以Comfy UI為后端的項目。如果用過OC渲染器的同學對它節點式的界面不會感到陌生,即使是初學者也能通過拖放操作輕松連接不同的節點,完成文生圖和圖生圖的流程搭建,如果連接錯誤它會很直觀的告訴你哪里有錯誤。

開源也讓它擁有非常多不同種類的模塊,從簡單的入門到高級復雜的進階功能,能夠適應各種不同的項目需求,靈活定制屬于自己的工作流。支持SD1.5、SDXL、LCM模型,涵蓋動畫生成、Inpainting、ControlNet等高級功能。同時對硬件的要求也很低,即使沒有GPU也可通過CPU運行,方便更多的用戶使用。

與其他工具相比,Comfy UI創新的差異化能力,為用戶提供了更多的擴展性和應用可能性,讓用戶根據自己的需求創造個性化的生成流程。從最近的發展趨勢上看,Comfy UI展現出了前所未有的潛力,隱隱的有種王霸之氣顯露出來。

抽卡的快樂:Fooocus

Fooocus也是以Comfy UI作為其底層架構的項目,它的主要目標是將Stable Diffusion的交互體驗簡化為提示詞和圖像這一核心邏輯。所以它通過簡化界面,并對SDXL模型做了大量優化和質量改進的措施,提供了一個非常易于使用的平臺,特別適合那些不需要進行復雜調整的用戶,只需簡單的提示詞,就能生成高質量的圖像,單純享受抽卡的樂趣。如果沒有條件使用Midjourney想白嫖的話,Fooocus是很好的選擇。

Fooocus同樣支持放大、變化、Inpaint/Outpaint、風格化等多種圖像處理功能。對硬件的要求相對友好,最小GPU內存需求為4GB,適用于更多類型的設備,特別是配置較低的電腦。

在廣受歡迎的同時,有網友就希望開發者能把ControlNet等好用的工具加入其中。盡管Fooocus的開發者和ControlNet的創作者是同一人,但他決定不將ControlNet集成到Fooocus中。因為加入ControlNet等工具可能會使Fooocus漸漸演變成類似webui的復雜系統。

針對希望將ControlNet等工具集成到Fooocus中的需求,github社區有開發者創建了Fooocus-MRE。這個版本在保持原始Fooocus界面邏輯的同時,加入了ControlNet和圖生圖等常用工具。雖然底層不同,但界面邏輯上看,MRE版Fooocus已經非常接近webui。

四、寫在最后

在探索Stable Diffusion及其GUI時,會發現不同界面之間既有聯系也有區別,它們共同構成了一個互補的生態系統。無論用戶的需求是追求操作簡便性、更高級的定制功能,還是特定的用戶體驗,都能在這個多樣化的GUI中找到合適的選擇。

例如,對于追求簡潔性的用戶,Fooocus提供了一個直觀易用的選項;而MRE版本則適合那些尋求更多功能的用戶。

對于喜歡圖文框式操作的用戶,WebUI提供了豐富的插件和靈活的界面;而Comfy UI則滿足了專業用戶對定制化和自動化的需求。

通過這種多元化的選擇,Stable Diffusion的GUI展現了其在滿足不同用戶需求方面的強大能力和靈活性。

本文由 @五幺六 原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基于CC0協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!