【我們為什麼挑選這篇文章】許多人深受新海誠、宮崎駿的日系動畫風格所吸引，恨不得自己拍出來的照片就是這種風格。字節跳動、東京大學和 Style2Paints 合作了一項新研究「White-box-Cartoonization」，推出了可以讓你的照片秒變「日系紀實漫畫」風的應用，讓我們來看看背後運作原理吧！（責任編輯：呂珈寧）
本文經 AI 新媒體量子位（公眾號 ID：QbitAI）授權轉載，轉載請連繫出處
作者：量子位
這樣的東京街景，是不是有點日系紀實動漫那種 feel 了？
現在，不需要人類畫師一幀幀繪製，把你拍下的影片餵給 AI，就能讓現實世界分分鐘掉進二次元世界。
佈景：
美食：
甚至復仇者聯盟，也能瞬間打破電影宇宙和漫畫宇宙的界線。
這項研究名為 White-box-Cartoonization，來自字節跳動、東京大學和 Style2Paints 研究所。
論文已收錄於 CVPR 2020。
AI 魔法的關鍵：生成對抗網絡（GAN）
如此 AI「魔法」的關鍵，還是生成對抗網絡（GAN）。
並且，研究人員提出了三個白箱測試方法，分別用來表示平滑表面、結構和紋理。
表面表示：表示動漫圖像的光滑表面。
使用導向濾波器對圖像進行處理，在保持圖像邊緣的同時平滑圖像，去除圖像的紋理和細節信息。
結構測試 ：獲取全局結構信息和稀疏色塊。
首先使用 felzenszwalb 算法將圖像分割成不同的區域。
由於超像素算法只考慮像素的相似性而忽略語義信息，研究人員進一步引入選擇性搜索來合併分割區域，提取稀疏分割圖。
另外，標準的超像素算法會使全局對比度降低，導致圖像變暗。
為此，研究人員提出了一種自適應著色算法，以增強圖像對比度，減少朦朧效果。
然後，用預訓練的 VGG16 網絡提取生成器生成的圖像和抽取的結構表示的高級特徵，限制空間結構。
紋理表示：反映卡通圖像中的高頻紋理、輪廓和細節。
研究人員提出了一種從色彩圖像中提取單通道紋理表示的隨機顏色偏移算法，以保留高頻紋理，減少色彩和亮度的影響。
整個 GAN 框架帶有一個生成器 G，以及兩個判別器 Ds 和 Dt。其中 Ds 旨在區分模型輸出的表面表示和真正的動漫圖像。Dt 用於區分模型輸出的紋理表示和真正的動漫圖像。
具體而言，生成器網絡是一個類似 U-Net 的全卷積網絡。
研究人員使用 stride=2 的捲積層進行下採樣，以雙線性插值層作為上採樣，以避免棋盤式偽影。
該網絡只由 3 種層組成：卷積層、Leaky ReLU（LReLU）和雙線性調整層。這使得該網絡能輕鬆嵌入到手機等邊緣設備中。
判別器網絡則基於 PatchGAN 進行了調整，其最後一層為卷積層。
輸出特徵圖中的每個像素對應輸入圖像中的一個圖像塊（patch），用於判斷圖像塊屬於真正的動漫圖像還是生成圖像。
訓練數據集方面，風景圖像採集自新海誠、宮崎駿和細田守的動漫作品，人像圖像則來自京都動畫和 PA Works。影片都被剪輯成幀並隨機剪裁，大小為 256×256。
圖像卡通化方法的實驗結果
所以，這種圖像卡通化方法的效果究竟如何。
在定量實驗中，研究人員發現，AI 提取的表示成功愚弄了訓練好的分類器。與原始圖像相比，分類器在三個提取的卡通表示中準確率都比較低。另外，計算出的 FID 指標也顯示，卡通表徵有助於縮小真實世界照片和卡通圖像之間的差距。
再來看一組直觀的對比。
△(f)-(g) 為 CartoonGAN
與之前的方法相比，白箱框架能生成更為清晰的邊界輪廓，並有助於保持色彩的和諧。
比如，圖中 (f)-(g) 所展示的 CartoonGAN 的某些風格就存在色彩失真的問題，而白箱框架色彩更為自然。
另外，白箱框架也有效地減少了偽影，效果超越 CartoonGAN。
網友對實驗結果表示「驚艷」， reddit 熱度達 500+
如此效果，讓不少網友大呼「驚艷」，在 reddit 上達到了 500+ 的熱度。有網友表示，有了這樣的黑科技，未來，或許只需要一個創意，就能打造一部好作品。市場的准入門檻將因此而降低。
也有網友認為，顏藝、賣萌這類現實中不存在的畫面，還是要靠動漫製作人員的創作。不過，這樣的 AI 將來無疑能減輕動漫製作人員的工作量。
現在，研究人員還放出了在線 Demo，如果你感興趣，可以親自上手試試~
最後，左邊出自人類的畫筆，右邊是 AI 的大作，你 pick 哪一個？
傳送門：
（本文經合作夥伴 量子位 授權轉載，並同意 TechOrange 編寫導讀與修訂標題，原文標題為 〈AI 新海誠就是在下，不信來玩 〉。首圖來源： Ryo Yoshitake on Unsplash）
你可能會有興趣
【用相機召喚塗鴉生物】一夕爆紅的日本 App，用 AR 讓圖像「活」起來
最不務正業的太空組織 NASA 又來啦！一個讓你「一秒上太空」的超神濾鏡誕生
【用濾鏡 App 前看一下產地】中國駭客販賣「人臉」資訊，外加活化套件讓照片眨眼點頭
點關鍵字看更多相關文章：
August 14, 2020 at 04:02PM
https://ift.tt/2CpSziQ
【一秒掉進二次元世界】東京大學聯名研究：用AI 把你的照片變「新海誠」風| TechOrange - TechOrange 科技報橘
https://ift.tt/2BoL8HG
No comments:
Post a Comment