原文標(biāo)題:《讓 AI 學(xué)會畫手的方法來了，給輸入加個 buff 就能控制生成細(xì)節(jié)，華人小哥出品丨 GitHub 4.6k 星》

給畫畫 AI 加個 buff，畫起圖像就像開了掛。

加個人體骨骼綁定 buff，Stable Diffusion 直接快進(jìn)到生成 3D 動漫:

加個抽象到爆的草圖 buff，AI 變著風(fēng)格生成“完全一致”的狗子:

就連號稱“AI 殺手”的手部細(xì)節(jié)，也能在控制之下畫得惟妙惟肖:

這個名叫 ControlNet 的新 AI 插件，可以說是給畫畫 AI 來了最后的“臨門一腳”——

原本 AI 無法控制的手部細(xì)節(jié)、整體架構(gòu)，有了它之后，加上 Stable Diffusion 這樣的擴(kuò)散模型，足以生成任何人們想要的圖像。

發(fā)出不到兩天，ControlNet 就在 GitHub 上火了，目前已經(jīng)狂攬 4.6k 星:

“讓我們控制擴(kuò)散模型”

各種效果圖更是在推特上爆火，試玩過的網(wǎng)友直呼:

游戲結(jié)束！

所以，這個 ControlNet 究竟給擴(kuò)散模型加了什么 buff？

給 AI 畫畫模型加 buff

ControlNet 的原理，本質(zhì)上是給預(yù)訓(xùn)練擴(kuò)散模型增加一個額外的輸入，控制它生成的細(xì)節(jié)。

這里可以是各種類型的輸入，作者給出來的有 8 種，包括草圖、邊緣圖像、語義分割圖像、人體關(guān)鍵點(diǎn)特征、霍夫變換檢測直線、深度圖、人體骨骼等。

ControlNet 整體思路和架構(gòu)分工如下:

具體來說，ControlNet 先復(fù)制一遍擴(kuò)散模型的權(quán)重，得到一個“可訓(xùn)練副本”。

據(jù)作者表示，即使數(shù)據(jù)量很少，模型經(jīng)過訓(xùn)練后條件控制生成的效果也很好。

“鎖定模型”和“可訓(xùn)練副本”通過一個 1×1 的卷積層連接，名叫“0 卷積層”。

0 卷積層的權(quán)重和偏置初始化為 0，這樣在訓(xùn)練時(shí)速度會非?？?，接近微調(diào)擴(kuò)散模型的速度，甚至在個人設(shè)備上訓(xùn)練也可以。

例如一塊英偉達(dá) RTX 3090TI，用 20 萬張圖像數(shù)據(jù)訓(xùn)練的話只需要不到一個星期:

作者基于當(dāng)前大火的 Stable Diffusion 進(jìn)行了具體實(shí)現(xiàn)，主要架構(gòu)如下:

針對不同的輸入，作者也給出了對應(yīng)不同的模型，生成效果也都不錯。

例如這是采用 Canny 邊緣檢測算法檢測出的邊緣，用于生成圖像:

這是基于霍夫變換的直線檢測算法生成的直線草圖，用于生成各種風(fēng)格的室內(nèi)設(shè)計(jì):

當(dāng)然，自己作畫也可以，例如這是基于用戶草圖生成的小龜:

提取深度圖，并讓 AI 生成一幅相似的圖像，直接舉一反五:

語義分割下的游泳池圖像，不僅水里有倒影細(xì)節(jié)，建筑也變化多樣:

不過目前來看，最受歡迎的還是基于人體姿態(tài)估計(jì)算法，控制動漫人物的動作生成:

看到這里，是不是已經(jīng)有了大膽的想法？

曾開發(fā)爆火 AI 上色插件

這個項(xiàng)目的作者 Lvmin Zhang，2021 年本科畢業(yè)于東吳大學(xué)，目前在斯坦福大學(xué)讀博。

他最出名的項(xiàng)目之一，是 2017 年開發(fā)的 AI 上色插件 style2paints，目前 GitHub 上已經(jīng)有 15.9k 星。

style2paints 也經(jīng)過了好幾次迭代，目前即將更新到第五版。

這是第四版的效果，只需要線稿，AI 就能自動給你的圖像完成上色:

除了這個項(xiàng)目以外，他也是 CV 頂會的?？土?。

One More Thing

值得一提的是，現(xiàn)在已經(jīng)有基于 ControlNet 的國內(nèi)產(chǎn)品上線了。

這個產(chǎn)品名叫稿定 AI，包含照片轉(zhuǎn)插畫、插畫線稿上色、插畫優(yōu)化翻新等功能，正是基于 ControlNet 打造。

作畫效果大概是醬嬸的:

感興趣的小伙伴們可以去試玩一波了~

項(xiàng)目地址:

參考鏈接:

鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。