2
雷鋒網(wǎng) AI 科技評論按，快手 APP 是一款面向普通人記錄和分享生活的短視頻社交平臺，據(jù)了解，在 2018 年，快手的日活一直在穩(wěn)步增長。截至 2018 年 12 月，快手擁有超過 1.6 億日活用戶，3 億月活用戶，每日上傳短視頻超過 1500 萬條。
擁有如此龐大的用戶數(shù)，快手上每天都會產(chǎn)生很多有意思的內(nèi)容。快手的流量并不會傾向于紅人，不進行流量傾斜，每個視頻都有曝光的機會，因此，很多用戶都比較「接地氣」。為了降低拍攝視頻的門檻，輔助這些「接地氣」的用戶更好地進行內(nèi)容生產(chǎn)，快手 APP 上使用了大量的 AI 技術。
目前，快手上的特效有美妝裝飾特效、跳舞機游戲、控雨特效、AR 特效、染發(fā)特效、背景替換和魔法表情等。這些特效用到了人臉關鍵點、人體關鍵點識別、手勢識別、視覺慣性里程計、頭發(fā)分割、背景分割等人工智能技術。
在這些特效里面，「萌面 Kmoji」魔法表情是一個非常有意思的玩法，它于去年 12 月底上線。通過該功能，用戶能夠用相機拍攝生成自己的專屬臉部 AR 虛擬形象，同時可以捕捉用戶表情，眨眼、張嘴、抬眉毛、吐舌頭等細微動作都能精準還原。這是短視頻平臺首次實現(xiàn)用戶自定義 AR 虛擬形象進行拍攝的玩法。
那么，「萌面 Kmoji」魔法表情背后用到了哪些 AI 技術？快手團隊與我們分享了他們的技術方案。
萌面 Kmoji 背后的人工智能技術方案詳解
基于 3D 分析和 2D 信息融合的人臉屬性和表情識別
個性化萌面系統(tǒng)的實現(xiàn)基礎是人臉屬性和表情識別，這需要 3D 分析以及與 2D 信息的融合。
對于圖像信息，快手技術團隊會利用 3D 重建技術恢復出 3D 結(jié)構(gòu)，同時和 2D 信息做有機的融合，并基于這些重建、分析和融合，做人臉屬性的分析，從各個維度分析出人臉特征，生成個性化的虛擬形象。同時也會實時進行人臉的表情分析，用于驅(qū)動生成的虛擬形象。
在此基礎之上，快手技術團隊還會借助人體進行相關分析，比如頭發(fā)，肩部等，為和現(xiàn)實場景融合打下基礎，并通過自研的手機端真實感渲染引擎，將活動的個性化萌面實時呈現(xiàn)給用戶。
3D 人臉重建
3D 人臉重建是整個系統(tǒng)中非常重要的一環(huán)?？焓旨夹g團隊采集了上萬人臉三維數(shù)據(jù)，包含各種年齡段，人種，臉型等，以及每個個體對應的人臉各種表情，從而建立了幾乎涵蓋所有人臉空間和表情空間的三維人臉數(shù)據(jù)庫。通過該數(shù)據(jù)庫，可以建模出任意人臉的任意表情?？焓旨夹g團隊研發(fā)了人臉關鍵點技術，通過百余個關鍵點刻畫人臉的表情變化，從而重建每個個體各種表情下的三維人臉。另一方面，通過高效的神經(jīng)網(wǎng)絡技術，保證 3D 人臉重建在性能較低的手機上也能實時運行。
人臉屬性感知
在人臉屬性感知方面，快手技術團隊采用神經(jīng)網(wǎng)絡感知人臉細粒度屬性，包含了性別，年齡，膚色，臉型，眼睛，嘴巴細粒度信息，相比同類產(chǎn)品，可做到自動的人臉定制化，同時利用海量人臉數(shù)據(jù)，多任務協(xié)同學習，捕捉人臉細微特征。細粒度屬性的區(qū)分是非常困難的，有些問題即使是人眼本身都難以區(qū)分，為此快手技術團隊做了很多精細的設計，融合了分類/回歸/分割等技術，提高自動捏臉的準確度。
人臉表情識別
人臉表情是一種復雜且細微的信息，人對表情的感知尤其靈敏。讓機器識別細微/夸張/靈活/穩(wěn)定的人臉表情信號，單靠圖像信息是難以達到的。
快手技術團隊通過 2D 的 RGB 視覺信息對問題進行建模、求解，獲得人臉關鍵點以及實時重建的三維模型，并把 1D、2D 和 3D 三種不同模態(tài)的信息進行建模對齊，求解出人臉的表情，驅(qū)動虛擬形象做各種逼真的動作。同時，得益于深度神經(jīng)網(wǎng)絡模型的量化，通過壓縮和加速解決手機性能問題，該方案可適配任意機型。
高質(zhì)量渲染
萌面效果的最終呈現(xiàn)離不開渲染，為了獲得高質(zhì)量的渲染，快手技術團隊采用了先進的 PBR 技術，在移動端實現(xiàn)了 PC 游戲級畫質(zhì)；同時，依托深厚的 AI 技術積累，萌面能夠根據(jù)外部環(huán)境和用戶的形象特征智能化地選擇最適合用戶的材質(zhì)，達到最優(yōu)的渲染效果。
為了獲得更加真實的體驗效果，快手技術團隊引入了物理引擎實現(xiàn)頭發(fā)、布料等柔體的運動效果。為了使用戶獲得最優(yōu)的體驗，渲染引擎會根據(jù)不同機型選擇合適的渲染質(zhì)量。
移動端預測模型優(yōu)化
為了讓 AI 模型在手機端能夠流暢地運行，快手技術團隊主要做了三方面的優(yōu)化：
首先，在圖像預處理環(huán)節(jié)，將圖像各種預處理操作合并起來，并對預處理所涉及到的圖像內(nèi)存進行統(tǒng)一分配和回收，以減少內(nèi)存資源的消耗，提高分配使用的效率；
其次，充分利用 NEON 加速以及蘋果自帶的 accelerate 加速，使得整個運行庫只占用 2M 的空間；
最后，在保證預測精度的前提下，對 AI 模型進行局部的 INT8 量化，經(jīng)過優(yōu)化后，運行速度可提高 1 倍以上，同時 AI 預測模型的占用空間也壓縮到將近原來的四分之一。
以上就是「萌面 Kmoji」魔法表情使用的 AI 技術。除了虛擬形象之外，基于萌面所使用的這套系統(tǒng)，快手技術團體還進行了擴展應用：「人像 3D 打光」、「世界上另一個你」。雷鋒網(wǎng)認為，「世界上另一個你」這個功能特別有創(chuàng)意，通過分析用戶的臉部數(shù)據(jù)，找出快手用戶中哪些人長相和當前用戶非常像。在快手總部，雷鋒網(wǎng)編輯現(xiàn)場體驗了一下，找出來的人在長相上和本人在五官、發(fā)型和臉型等方面極其相似，甚至就是「世界上另一個我」。期待快手在 AI 技術上繼續(xù)發(fā)力，為我們創(chuàng)造出更多好玩的功能。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
