“怎麽一眨眼的功夫，抖音裏的我就變成了剪（jiǎn）紙？”

    抖音（yīn）春節道具「好運剪紙」“我就不一樣了，我變成了漫畫。”

    入駐抖音的唐嫣演示了同樣年味濃濃的「新春萌漫」道具“我的（de）蘋果活了。”

    抖音春節道具「萬物來拜年」這（zhè）些五花八門的抖音道（dào）具，讓抖音視頻創作者們有了（le）無數靈感：

    還有古（gǔ）力娜（nà）紮、鄧（dèng）紫棋、蔡依林等明星都玩得不亦樂乎模型公司：

    春節期間，抖音（yīn）這三款最火（huǒ）熱的新春抖音道具幫助創作者們拍（pāi）攝了4000多萬條短視頻，每個道具的視頻播放（fàng）量（liàng）均突破十億，總共播放了（le）超過40億次（cì）要實現這些讓人臉和物體（tǐ）變來變去的特效，靠的是字節跳（tiào）動技術團隊多樣的算法和工程能力。

    今天（tiān），技術（shù）範兒為大家一一揭秘（mì）

    好運剪紙：用漫畫數據（jù）生成剪紙想讓手機（jī）相機拍攝的圖像變成模型公（gōng）司剪紙，需要用到計算機視覺中的一（yī）類常用（yòng）神經網絡：GAN，生成對抗網絡（Generative Adversarial Network）。

    GAN中包含一（yī）個生成器和一個判別器生成器就像乙方，負責畫畫；判別器就像甲方，負責審核乙方的畫甲乙雙（shuāng）方不（bú）斷互相“折磨（mó）”，畫很多稿之後才能創造出和目標最（zuì）像的作品，GAN這個模型公司整體也（yě）就（jiù）學會了自動生（shēng）成你想要的（de）圖片。

    「好運剪紙」道具背後的（de）技術團隊參考了CycleGAN、MUNIT等業界流行的各種GAN，以及可以生成（chéng）漫畫的UGATIT、CartoonGAN等網絡，設計了生成剪紙的GAN，這也是（shì）抖音端內第一款實時（shí）全圖GAN

    ，不僅覆蓋人臉部分，整個畫麵都（dōu）可（kě）以轉變成剪紙的樣子想要借助模型公司GAN來生成剪紙畫麵，需（xū）要先拿（ná）大量剪紙畫麵的數據（jù）來訓練它怎（zěn）麽才能（néng）迅速搜集大量剪紙畫麵呢？剪紙圖片和普通照片的（de）一大區別是線條（tiáo）剪紙往（wǎng）往隻有少量（liàng）流暢的線條（tiáo），把物體（tǐ）的各部分之間分得明明白白；但普通照片卻很難做（zuò）到（dào）這一點。

    於是，算法團隊想到了一（yī）種類似的畫麵——漫畫。他們找到了開源漫畫人像數據集中的圖片，經過形變模型公司、美妝（zhuāng）、邊緣檢測、圖片二值化、色調變化等一（yī）係列基於傳（chuán）統圖（tú）像算法的操作，批量自動生成了剪（jiǎn）紙畫麵。

    完成這些剪紙畫（huà）麵訓練之後，GAN就可以（yǐ）自動把自然人像變成剪紙了除了人像剪紙部分，畫麵上周邊的裝飾和發光特效素材都由設計（jì）師繪製，之後由交互工程師來整合到一起，實現用戶眨眼就開始播放的效果因為抖音用戶們使用的手模型公司機性能不同，考慮到計算能力和內存大小等多維度的限製，包括GAN、美術素（sù）材等在內（nèi），整個素材包都需要分級下發。

    算法團隊采用了模型剪（jiǎn）枝和蒸餾（liú）技術，在保證效果的前提下把手（shǒu）機算力和內存占用降到最低（dī）；同時（shí）降低美術素材大小，合（hé）並部分素材；在（zài）道具運行（háng）過（guò）程中，降低序列幀的預加載，在運行結束後及（jí）時關掉占大量算力的算法，模型公司不斷優化後保證在不同手機上運（yùn）行的流暢程度。

    新春萌（méng）漫：缺少數據集？www.17C.comDIY「新春萌漫」這個道具效果同樣（yàng）是借（jiè）助GAN生成的。

    想要讓人像實時變成漫畫，首先需要讓（ràng）每一幀圖像上（shàng）的靜態人像變成漫畫。此前，「新春（chūn）萌漫」項目的算法團隊曾經做過一個日漫道具的模型，當時參（cān）考的是機器學習頂會ICLR 2020上的技術成模型公司果U-GAT-IT。

    上圖(a)列為原始輸入照片，(e)列為U-GAT-IT生成效（xiào）果在（zài）日漫道具的（de）模型基礎上，為了提升（shēng）生成效果，算法團隊找到設計同學（xué），把一些圖片素材畫成了漫畫版，用來作為一一對應的訓練數據（jù）比（bǐ）如人（rén）物的照片：

    設計同學把它畫成這樣：

    小貓咪的照片：

    設計同學把它畫成這樣：

    因為算（suàn）法隻需要把頭部變成卡模型公司通（tōng）畫，因此上麵這（zhè）些繪製（zhì）的圖像數據（jù）可以（yǐ）隻畫人物或者（zhě）動物的頭部（bù）參考畫好的漫畫數據的風格，算法團隊不（bú）斷分（fèn）析嚐試，優化出最適合當前風格的（de）GAN最後，需要調（diào）整GAN的損失函數（loss function），在這個過程中，為了讓生成（chéng）的漫畫效果更具美感，優化漫畫人物的（de）眼睛、鼻子、腮紅等部位，設計同學也參與到了調參模型公司的過程中。

    這（zhè）樣，一個能把單獨一幀圖片變（biàn）成漫畫的GAN模型就實現了接下來就要應用（yòng）到實時動態（tài）的視頻（pín）裏為了讓視頻也能實時變（biàn）成漫畫，算法團隊想到了模型嫁接的方法，把優缺點不同的模型混合在一起（qǐ）後，就實現了如今抖音裏部署的模型。

    但模型訓練（liàn）出來後，他們發現了一個新問題：人物一旦張嘴，生成漫畫的嘴巴（bā）就（jiù）非常不（bú）好看原來模型公司，之（zhī）前訓練（liàn）數據中（zhōng）的角色（sè）基本（běn）都是閉著（zhe）嘴巴（bā）的，張嘴的數據非常少，很難讓GAN學會畫張開的嘴巴於是，算法團隊想到了「貼嘴」的策略——GAN不會畫嘴巴，那就把畫好的嘴巴（bā）直接貼到生成的卡通人像上。

    他們搜集（jí）了大量張嘴數據，畫成漫畫效果；在算（suàn）法運行時，借（jiè）助人臉關鍵點識別技術，在原（yuán）本（běn）GAN生成的漫畫上自動（dòng）找到嘴巴的模型公司位置，然（rán）後調整畫好的嘴（zuǐ）巴，使其匹配當前嘴巴的位（wèi）置，直接貼上去就好了。

    比如上麵demo中的嘴巴，就是用畫好的嘴（zuǐ）巴調整貼上去的。上（shàng）麵是人像的部分，而背（bèi）景部（bù）分則經過了雙邊濾波、Sobel邊緣檢測等自動處（chù）理，也可以變成類似（sì）漫畫的風格。

    萬物來拜（bài）年：從摳圖到動效「萬物來拜年」這個效果最早來自字節跳動內部研發團隊模型公（gōng）司（sī）的一場黑客馬拉鬆(Hackathon)活動，研發和設計同學組成的團隊在48小時（shí）內就完成了它的原型想要讓各種物品都能動起來，首（shǒu）先要把物體從手機拍攝的（de）畫麵中精準地「摳」出來。

    這樣摳圖（tú）的效果依靠顯著物體分割算法（fǎ）來（lái）實現，先把圖中的物（wù）體拆分出來，再進行後處理，提升邊緣分割精度。除了生活中（zhōng）常見（jiàn）的各類（lèi）物體之外，你模型公司會發現一些特（tè）殊的個體，比如表情包，一樣可以被（bèi）分割出來。

    這是因為訓練顯著物體分割模型時（shí），工程師們不僅（jǐn）用到了包含15000張日常物品（pǐn）圖片的開源數據集（jí），還額（é）外增加了2000張手繪圖片數據集，這（zhè）樣不管是實體的物件還是畫出來的卡通形象，都能有良好的分割效果。

    分割好之後，再借助字節跳動工程（chéng）師自研的四肢（zhī）掛載點算法模型（xíng）公司（sī），找到這隻南瓜的重（chóng）心，再分析手臂和腿的朝向，借此在圖（tú）形邊緣找到4個點，就可以（yǐ）把手臂和腿裝上去（qù）之後，把（bǎ）設計（jì）師畫好的眼睛鼻子嘴巴居（jū）中放置，這樣圖片上的南瓜就自（zì）動變（biàn）成了靜態的南瓜小人。

    之後（hòu）自適應匹配設計師做好的模版網格動畫，調整（zhěng）四（sì）肢和五官，渲染材質、陰影（yǐng）效（xiào）果，南瓜小人（rén）就可以動起來了（le）。

    在手機端的實際（jì）運行過程模型（xíng）公司（sī）中（zhōng），其實用到了兩個模（mó）型：預覽時用的是運行（háng）更快、功耗（hào）更低的小模型；當你按下拍攝按鈕（niǔ）後（hòu），就會切換（huàn）到（dào）分割質量和分辨率（lǜ）更高的大（dà）模型。這樣就能既保證功耗，又能保證視（shì）頻的質（zhì）量。

    抖音爆（bào）款道（dào）具背後的字節跳動智能創作團隊（duì）上麵這些抖音道具（jù）的研發們，都來自字節跳動智能（néng）創作團隊除了這些春節（jiē）道具之外（wài），他們還聯動抖音多（duō）媒體設計模型公司師團（tuán）隊做過許多廣受歡迎的互動道具，並且技術能力已經通過火山引擎實現了商業化，可以向（xiàng）第三方廠商提（tí）供服務。

    他們研發的熱門道（dào）具有「藍線挑戰」：

    來自抖音用戶“小栗哥”還有（yǒu）「潛水艇遊戲」：

    來自抖音用戶“三尺喵食記”用智能創作特效團隊Leader Robert Wang的話來（lái）說，這個技術團隊最大的特點就是鼓勵創（chuàng）模型公司新、鼓勵（lì）自驅，並且重視跨團隊（duì）交流團隊的技術同學並不是「沒有感情（qíng）的接需求機器」，而是會憑借自己對前沿技術的深刻理解，主動提（tí）出各類互動道具的idea並（bìng）推動實（shí）行（háng）。

    很多抖音道具的出現（xiàn），都是一個自下而上的過程一方麵，設計師們會根據（jù）重點節日、熱門事件來策劃一些道具的效果和互動玩法；另一方麵，智能創作特效團隊的交（jiāo）模型公司（sī）互工程師們也會集體頭（tóu）腦風暴，針對一些前（qián）沿技術的能力（lì）特性，來策劃這些技術在抖音上可以生成什麽樣的道具。

    注意，這裏的交互工程師們不僅僅是傳統意義上的「程序員」，他（tā）們同時（shí）還（hái）有藝術設計的背景（jǐng），會（huì）設計（jì）、會建模（mó）、會寫代碼每當業界有新的算法突（tū）破，交互工程師們就會探索算法能力的邊界和發揮的空間，琢磨（mó）它們可以用來做怎模型公司（sī）樣的互動。

    圖片來自TensorFlow官方博客比如上麵展示的人體分割算法當它被部署在手機上之後，交互工程師們會測試人離手機多遠可以被識別出來，算法反應（yīng）有多快，進而（ér）判斷它（tā）應該用在快速舞蹈的動作（zuò）上，還是應該用在慢（màn）動作的特效上。

    “這樣就可以把一個單點能力變成一個囊（náng）括技術和玩法（fǎ）創意的矩（jǔ）陣，成為一（yī）個工具（jù）箱，交模型公司互工程師和設計師們再將這些工具和已有的（de）各種算法結合，碰撞出海量新的道具玩法”Robert說設計師們和交互工程師們（men）提出新道具的idea之後，會在內部的創意評審會上展示，並決定把哪些idea變成現實（shí）。

    如果實現一個idea的（de）技（jì）術在內部（bù）SDK、引（yǐn）擎和內部創作工具裏已經有了，那麽產（chǎn）品經理、交互工程師和設計師（shī）們模型公司就可以直接用（yòng）這些技術能力來設計新的風格樣式、交互方（fāng）式和互動玩法比如（rú）設計不同風格的人物變裝、設計用（yòng）眨眼或是擺手（shǒu）等（děng）不同的（de）交互來啟動特效。

    而如果實現（xiàn）一個idea的技術能力當前還（hái）不具（jù）備，智能創作算法團隊就會專（zhuān）門為這個idea投（tóu）入研發資源，訓練新的算法模型之（zhī）後，這些新的算法還可以用在更多道（dào）具的創作中，這樣抖音模型公司用戶總有新（xīn）奇的道具特效可（kě）以使用

    “在www.17C.com團隊，一個研發同學如果熟悉前（qián）沿技術並有創（chuàng）作（zuò）抖音道具的想法（fǎ），就（jiù）可以主動拉算法、交互工程、設計等多（duō）部（bù）門的同學一起，跨團隊協作完成，展示給抖音的業務同學並上線，”團隊Leader Robert說他（tā）鼓勵團隊帶著產品價值和用戶價值來做前沿技術的探索（suǒ）。

    “一些前沿的計算機視覺（jiào）模型公司、深度學習的（de）相關技（jì）術，研發是最了解它們的，因（yīn）此www.17C.com鼓勵研發同學（xué）以自己的技術視角來觀察這項技術（shù）的應用前（qián）景，積極（jí）地和產品經理們配合，最終為產品（pǐn）賦能”這也讓抖音的特（tè）效工具（jù）有了（le）更強的競爭力，以Robert的觀察來看，在國內，許多先進的技術抖（dǒu）音都是最早上線的，團隊的創造力和技術能力可以讓數（shù）億用戶體驗到新鮮有（yǒu）趣模型（xíng）公司的特效玩法，同時降低視頻內容的創作門檻， 增加優質內容（róng）的供給，豐富海量用（yòng）戶的生活。