1
雷鋒網按：本文來自騰訊優(yōu)圖，雷鋒網已獲授權。主要介紹了人臉識別系統(tǒng)的三大組成部分，并對手機相機能自動美顏的原因進行了深度剖析。
這是一個“看臉”的時代，一談人臉技術，大家最為熟知就是人臉識別。該技術在金融、社保、教育、安防等領域表現活躍，成為AI技術領域的明星。優(yōu)圖微信公眾號之前也重點介紹過優(yōu)圖人臉識別，本文主要介紹一些背后默默支持人臉識別的技術。欲了解優(yōu)圖人臉識別技術可參見《深度學習在人臉識別中的應用 ——優(yōu)圖祖母模型的“進化”》
一般而言，一個完整的人臉識別系統(tǒng)包含三大主要組成部分，即人臉檢測、人臉配準以及人臉識別。三者流水線操作：人臉檢測在圖像中找到人臉的位置，接著人臉配準在人臉上找到眼睛、鼻子、嘴巴等面部器官的位置，最后人臉識別抽取特征與既有人臉比對計算相似度，確認人臉對應的身份。
圖1 人臉識別流程
人臉配準（Face Alignment）又稱人臉特征點檢測與定位。人臉特征點不同于角點或SIFT特征點等通常意義上的圖像特征點，人臉特征點通常是一組由人工事先定義的點（見圖2）。根據不同應用場景，特征點有不同的數目，例如5點，68點，82點等。
圖2 人臉特征點檢測與定位中常用的目標檢測點
除了在人臉識別系統(tǒng)中起關鍵作用之外，人臉配準技術也在3D人臉建模，人臉動畫，人臉表情分析，人臉美化與虛擬化妝，人臉自拍動效等領域得到了廣泛的應用。打個小廣告，優(yōu)圖人臉配準跟蹤技術性能卓越，主流手機單幀處理速度可達到3ms以內，已經在“天天p圖-動效自拍”、“手機QQ-短視頻”、“手機QQ-視頻聊天”“手機Qzone-動效相機”等應用場景落地。
圖3 人臉美化與虛擬化妝
和其他人臉技術類似，光照、頭部姿態(tài)、表情等的變化，以及遮擋都會很大程度影響人臉配準的精度。但是人臉配準也具有自身特點，首先特征點描述了人臉的結構（輪廓和五官），人臉結構是完整穩(wěn)定的，五官相對位置固定；其次，頭部姿態(tài)、表情等變化造成的特征點位置變化明顯。傳統(tǒng)人臉配準研究需要一直嘗試尋找更加精準的特征描述來表達這種既確定又變化的點的組合，再根據描述符選擇適當的優(yōu)化求解方法，從而定位人臉特征點。
最直接被采用的特征描述符是顏色、灰度，利用膚色的不同對人臉各部分進行檢測定位。 稍復雜些可選擇各種紋理特征描述，如基于類Haar紋理特征和Adaboost訓練級聯(lián)分類器的人臉配準。以上特征描述都沒有考慮特征點之間的位置關系，因此不具備維持合理的人臉結構。主動形狀模型（Active Shape Models, ASM）和主動外觀模型(Active Appearance Model, AAM)可以同時表達紋理和形狀（shape）兩種特征。
二者的形狀特征都由點分布模型（Point Distribution Model, PDM）來表達。圖4為600張人臉圖像中人臉特征點的統(tǒng)計分布圖，紅點表示各特征點的均值。ASM的每個特征點的紋理特征是分別表示的，通過計算特征點周圍鄰域紋理信息生成每個特征點對應的響應圖（Response Map）。圖5中藍色圈定區(qū)域用于計算響應圖，紅點指示實際人臉特征點位置。AAM使用整體人臉來描述紋理特征，通過將人臉特征點位置變換到標準形狀上，得到與形狀無關的人臉紋理,并基于主元分析方法對形狀無關的人臉紋理進行建模。
從2006年開始，深度神經網絡已經逐步在計算機視覺、語音識別和自然語言處理等多個領域取得了前所未有的成功，同樣也給人臉配準研究帶來了習習春風。學者們無需再挖空心思構建各種繁瑣復雜的人臉描述符了。目前學術界工業(yè)界比較認可的深度人臉配準方法有兩類：級聯(lián)卷積網絡人臉配準(Cascade CNN) 和多任務深度人臉配準。
如圖6所示，Cascade CNN包含三級，每級包含多個卷積網絡。第一級給出一個初始點位置估計，在此基礎上后兩級精細調整特征點位置。多任務配準將配準與其他相關人臉屬性的訓練同時進行。與臉部特征點相關的屬性包含頭部姿態(tài)，表情等，比如笑臉的嘴部很可能是張開的，正面臉特征點則對稱分布。多任務有助于提升特征點檢測定位精度。然而不同的任務會有不同的收斂速度和難度，訓練難度加大。目前學界提供了兩種解決方案調整不同的任務的訓練進程：任務提早終止準則（task-wise early stopping criterion）和參數動態(tài)控制機制。
圖6 Cascade CNN 網絡模型
學術界人臉配準的研究日新月異，工業(yè)界產品應用對技術的要求也越來越高，且不同應用場景對人臉配準提出了不同的要求。
人臉識別業(yè)務的核心問題是人臉圖像像素之間高層語義的對齊，即人臉關鍵特征點的定位。錯誤的特征定位會導致提取的人臉描述特征嚴重變形，進而導致識別性能下降。為了更好地支持人臉識別，我們加大了人臉框的變化的范圍，以減少對人臉檢測框大小的依賴。人臉特征點我們選擇五點，既保證一定的人臉結構描述能力，又減小了配準誤差對人臉識別的影響。
圖7 人臉識別
美妝需要人臉特征點達到超高精度定位，例如眼妝中的眼線睫毛，只有定位夠精準，才能達到自然貼合的美妝效果。為了提供精度，我們采用了級聯(lián)模型，先粗略定位人臉面部特征，再對五官進行精細化定位。
圖8 智能美妝
人臉自拍動效應用處理移動端視頻，對配準的處理速度要求嚴格。傳統(tǒng)人臉配準技術不具備判定跟蹤是否成功的能力，為避免跟蹤過程中出現跟丟的現象（跟蹤到非人臉區(qū)域），必須依賴耗時較長的人臉檢測，我們的人臉配準增加了人臉判定功能，減少對人臉檢測的依賴。另外我們采用了瘦長型深度神經網絡，并應用SVD分解進行模型壓縮和算法加速，算法模型大小控制在1M，主流手機上的處理時間僅需3ms。模型大小和計算速度均為業(yè)界最高水準。
視頻1 人臉自拍特效
優(yōu)圖實驗室不斷跟進技術發(fā)展趨勢，更新版本。優(yōu)圖人臉配準技術從傳統(tǒng)方法遷移到深度學習方法，從最新學術研究成果到最佳工程取舍，我們經過多輪的迭代更新，做了大量的創(chuàng)新和嘗試。于2013年4月發(fā)布了人臉配準1.0版本，粗略定位人臉五官，4個月后精準定位的2.0版本也成功發(fā)布，并應用在趣味類產品中。之后的版本3.0精度大幅提高，同時在美妝產品中落地。4.0版本開始應用深度學習方法，精度得到了進一步提高，平均精度超過了人工水平。今年5月我們發(fā)布的最新版本5.0采用深度多任務學習方法，在速度和深度網絡模型大小都得到了大幅優(yōu)化，主流手機幀率超過200，模型1M，并自帶人臉判定功能。簡介中提到的人臉自拍動效應用就得到了此版本的支持。
未來我們一方面著力提升已落地應用的用戶體驗，另一方面也積極探索新的應用場景。目前自拍視頻的人臉配準跟蹤效果仍存在不足。要解決此問題，提升用戶體驗依賴于進一步研究如何提升人臉配準的穩(wěn)定性和精準度。除本文已提到的應用以外，優(yōu)圖人臉配準技術還可以應用于智能門禁系統(tǒng)、互聯(lián)網金融核身、直播行業(yè)等眾多領域。在新的應用領域，研究人臉配準技術如何滿足新需求是我們必將面對的另一課題。
雷鋒網注：本文由雷鋒網發(fā)布，如需轉載請聯(lián)系原作者，并標明出處和作者，不得刪減內容。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
