在「一句話生成照片」這件事上,英偉達又一次突破了大夥的想像力。
他們最新的AI模型GauGAN2,不僅能根據字詞生成逼真風景照,還能實時用文字P圖!
輸入一句「海浪擊打岸邊石」,立刻輸出一張逼真照片。
從單詞到短語,這隻AI全都能get!
那感覺,簡直是要山得山,要水得水。
要是覺得哪部分你不喜歡,直接打字就能「P圖」。
上面這些效果,都是英偉達這個叫做「GauGAN2」的模型做出來的,而它的「完整版」功能,還遠不止這些。
從草圖到文字,都能生成風景照
GauGAN2的繪製模式,一共分為三種。
第一種,打字生成圖片。
我們先試了一下單個詞組,「陽光(sunshine)」,生成如下圖片:
加上限定詞in the forest後,AI立刻就將場景換到了樹林裡,變成光灑在樹林中的場景:
再多來點限定詞也沒問題。
像「冬日樹林中的陽光」,輸入in winter後,眼前本來鬱鬱蔥蔥的樹林立刻「全禿了」,換成了雪景下的一幕:
這效果,u1s1(有一說一)確實不錯。
還能輸出不同style的風景圖,例如輸入「大山(mountain)」一詞,立刻要山有山,還能給你換不同風格:
當然,這些不同的風景照也都能繼續生成新細節,在mountain後加上「beside a river」就能生成山水:
第二種,「打字P圖」,直接用文字編輯部分圖像。
只需要把想替換掉的部分圈出來,輸入你想要的東西,就能立刻造出各種新穎的風景圖:
嗯……英偉達給出的這個demo,思路也是非常清奇了,「浮在空中的城堡」:
第三種,用塗鴉生成風景照。
這是上一代GauGAN2(2019年英偉達推出的GauGAN)的看家本領。
例如,要是想實現下面這樣的「一片天空兩個太陽」,就完全可以在通過文本生成的圖像上,自己手動再加一個。
這幾種玩法迭加在一起,簡直讓網友們腦洞大開。
像外媒ZDNet就惡搞出來了一種神奇的玩法,在已有的風景上畫個人頭:
然後讓GauGAN2根據已有的畫面,再重新生成圖畫,就會得到如下「人頭海島」的神奇景觀:
不過這可能也對個人畫技有所要求,在我們的靈魂畫風下,效果看上去就有些……不太聰明的亞子。
那麼,生成這一系列風景照的GauGAN2,背後究竟用了什麼原理?
它與OpenAI今年發布的DALL·E和CLIP,又究竟有什麼區別?
與DALL·E有什麼不同?
2019年,英偉達GauGAN2的「前身」GauGAN正式開源。
當時的它,還只擁有其中一個能力,就是將塗鴉直接變成風景畫,就像「神筆馬良」一樣,還推出了對應的軟體Canvas:
當然,這時GauGAN已經能隨意改變畫面風格了,從白天黑夜到春夏秋冬的氣質都能穩穩「拿捏」:
據英偉達介紹,GauGAN採用了一種基於空間適應標準化(SPADE)算法。
SPADE算法不僅使用隨機的輸入圖像,還採用了一種被稱作「分割圖」的圖像。在分割圖中,每一個像素都會被歸類,來生成更接近於真實的圖像,這種模式被稱作「圖對圖翻譯」。
△GauGAN的技能點(狗頭)
現在,英偉達將GauGAN升級成了GauGAN2,後者一共採用了1000萬張高質量的圖片、在英偉達Selene超算上進行訓練,這台超算在Green500排行榜上排到世界第二。
生成這些風景畫的效果和「手法」,是不是感覺有點熟悉?
沒錯,大多數人看到GauGAN2的第一眼,可能都會覺得它和OpenAI的DALL·E+CLIP有點像。
今年年初,OpenAI用DALL·E和CLIP兩個模型,做了個「圖像版」GPT-3,同樣能用一句話生成圖片。
不過,這兩個模型生成的內容其實不太一樣。
GauGAN2專注於生成風景照,DALL·E+CLIP則更多地生成具體的物體,例如一把椅子或者一個鬧鐘等。
這與它們的原理差異也有關係,GauGAN2更加注重「單詞與視覺效果」之間的關係,例如「冬天」這種模糊的狀態詞給照片帶來的效果;DALL·E+CLIP則更注重「文字-圖像」這種有明確對應關係的物體效果。
據英偉達介紹,GauGAN2不同於「文本-圖像」和「分割圖像-圖像」一類的模型,它所能產生的照片種類更多,質量也會更高。
不過,偶爾也會出現點bug…
比如給出「沙灘(beach)」一詞後,有些生成的畫面中出現了語言無法描述的事物。
對此,英偉達表示,他們在訓練中「完全沒有用到任何人像照片」。(所以可能是偶然?)
但這樣一來,網友想要的「瑞克搖(Rick roll)」和「鬼畜視頻生成」,GauGAN2大概也是沒辦法實現了。
但是能生成仿佛夢境中才能見到的畫面,也吸引了不少人來試玩。
這不,有人就曬出了自己生成的抽象畫大作,並表示自己非常喜歡這個模型:
還有人表示,GauGAN2給出了一些建築設計的新idea啊。
也有網友覺得這種能夠自動生成景觀的功能,未來Adobe可能也會用上。
或許就是下一個畫手利器?
最後,GauGAN2在瀏覽器上就能試玩,歡迎大家留言討論自己的體驗感受~
GauGAN2試玩Demo地址:
http://gaugan.org/gaugan2/