雷鋒網(wǎng) AI科技評(píng)論按：中國公司依圖科技獲得目前為止全球公開的、最大規(guī)模測(cè)試集、最權(quán)威測(cè)試指標(biāo)下的最好成績。

在最近公布的國際權(quán)威人臉識(shí)別供應(yīng)商測(cè)試 FRVT（Face Recognition Vendor Test）結(jié)果中，中國公司依圖科技獲得了四項(xiàng)測(cè)試的第一名，超過了俄羅斯公司 Vocord （Vocord是國際老牌安防廠商，長久以來超越Google等公司盤踞人臉識(shí)別算法第一名）。

FRVT是由美國國家標(biāo)準(zhǔn)技術(shù)局NIST(National Institute of Standards and Technology)組織的人臉識(shí)別供應(yīng)商測(cè)試，作為美國國家采購的官方指導(dǎo)，其測(cè)試的權(quán)威性是全球工業(yè)界實(shí)際應(yīng)用的黃金標(biāo)準(zhǔn)。

FRVT的人臉識(shí)別測(cè)試集合來自美國國土安全局的真實(shí)業(yè)務(wù)場景，例如出入境、刑偵過程中收集的大量照片。與時(shí)下熱門的由學(xué)術(shù)機(jī)構(gòu)舉辦的LFW、MegaFace測(cè)試相比， FRVT更貼近實(shí)戰(zhàn)，測(cè)試規(guī)模更大，不僅擁有百萬量級(jí)測(cè)試數(shù)據(jù)，同時(shí)這些測(cè)試數(shù)據(jù)均不公開，有效避免算法過擬合甚至是作弊手段。

表一:主流的人臉識(shí)別測(cè)試場景、測(cè)試集、指標(biāo)比較

表二: 在三個(gè)測(cè)試集上代表廠商成績比較。安防廠商?？低曃窗l(fā)布公開測(cè)試成績。

LFW是由美國馬薩諸塞大學(xué)發(fā)布并維護(hù)的公開人臉數(shù)據(jù)集，測(cè)試數(shù)據(jù)規(guī)模為萬，國內(nèi)多個(gè)團(tuán)隊(duì)例如百度、騰訊、大華、曠視、商湯都曾獲得了99.5%以上的成績。

MegaFace是由美國華盛頓大學(xué)發(fā)布并維護(hù)的公開人臉數(shù)據(jù)集，測(cè)試規(guī)模比LFW大100倍，更能區(qū)分各個(gè)算法的性能差異。第一名是創(chuàng)立于1999年的老牌俄羅斯公司Vocord，獲得91.7%的成績，比第二名騰訊優(yōu)圖高出8%，優(yōu)勢(shì)明顯。由此可見，雖然國內(nèi)大互聯(lián)網(wǎng)公司擁有超大規(guī)模計(jì)算算法訓(xùn)練平臺(tái)、互聯(lián)網(wǎng)級(jí)的數(shù)據(jù)優(yōu)勢(shì)，但離全球頂級(jí)的測(cè)試結(jié)果還有差距。

在頂級(jí)的競爭中，數(shù)據(jù)和計(jì)算的優(yōu)勢(shì)并不能保證輸出最優(yōu)秀的算法性能。

由美國國家標(biāo)準(zhǔn)技術(shù)局（NIST）主持的FRVT，除了主持機(jī)構(gòu)的權(quán)威性外，測(cè)試結(jié)果的權(quán)威性還來自其評(píng)測(cè)的嚴(yán)謹(jǐn)和全面性:

1、數(shù)據(jù)均來自真實(shí)業(yè)務(wù)場景，測(cè)試結(jié)果好則代表該技術(shù)可以在實(shí)戰(zhàn)場景中直接應(yīng)用。

2、數(shù)據(jù)規(guī)模是通過對(duì)百億對(duì)樣本采樣，達(dá)到百萬量級(jí)。如此大規(guī)模的測(cè)試集可以穩(wěn)定評(píng)估算法性能，詳細(xì)區(qū)分不同算法的優(yōu)劣。

3、測(cè)試數(shù)據(jù)不公開(盲測(cè))，這保證了測(cè)試的公正性。因?yàn)閰①惖乃惴▓F(tuán)隊(duì)無法利用測(cè)試數(shù)據(jù)做模型訓(xùn)練，可以有效避免過擬合或直接作弊等手段，因此相對(duì)于LFW、MegaFace而言，F(xiàn)RVT則更能體現(xiàn)測(cè)試的公正性。

4、科學(xué)專業(yè)性，F(xiàn)RVT對(duì)不同實(shí)戰(zhàn)場景、人種、年齡、性別，做了詳細(xì)分解下的識(shí)別性能比較，并在模型速度、特征庫大小、比對(duì)閾值等做了詳細(xì)評(píng)估。

據(jù)官方最新發(fā)布的報(bào)告，F(xiàn)RVT 的第一名是中國公司依圖科技，在千萬分之一誤報(bào)下(采樣百億對(duì)樣本)的準(zhǔn)確率為 95.5%，比第二名俄羅斯公司Vocord 93.5%的準(zhǔn)確率高出 2%。這是目前為止全球公開的、最大規(guī)模測(cè)試集、最權(quán)威測(cè)試指標(biāo)下的最好成績，比2014年參與同樣測(cè)試的第一名日本公司NEC在準(zhǔn)確率上有大幅提高。

NIST針對(duì)測(cè)試作了不同場景、不同人種、不同性別、不同年齡的識(shí)別性能比較。從 FRVT 的官方描述來看，其提供的測(cè)試數(shù)據(jù)對(duì)應(yīng)了出入境管理、身份門禁認(rèn)證、平安城市監(jiān)控等實(shí)戰(zhàn)應(yīng)用場景，依圖在四項(xiàng)主要的測(cè)試場景中均獲得第一名。

在更詳細(xì)的人種（黑人、白人、亞洲人等）、性別比較中，依圖的算法表現(xiàn)幾乎沒有差異；而其他算法隨著識(shí)別難度增加，識(shí)別率出現(xiàn)了不同程度的較大降低。對(duì)比結(jié)果說明依圖的算法可以在不同類型數(shù)據(jù)分布的實(shí)用場景中，例如黑人較多的場景下，算法也可有穩(wěn)定表現(xiàn)。

具體報(bào)告來源于Ongoing FRVT 2017.6.19 報(bào)告 (鏈接地址：https://www.nist.gov/sites/default/files/documents/2017/06/20/frvt_report_2017_06_19.pdf)

智能萬倍增長

過去四年，從LFW到FRVT，測(cè)試指標(biāo)已經(jīng)從千分之一誤報(bào)到千萬分之一誤報(bào)，識(shí)別性能已經(jīng)提高一萬倍，意味著誤報(bào)降低萬倍。可以預(yù)見，很快就會(huì)出現(xiàn)測(cè)試指標(biāo)在億分之一、十億分之一、百億分之一誤報(bào)下的識(shí)別性能比較，這將是另一個(gè)千倍的智能識(shí)別能力的增長。

可以想象，在十億級(jí)超大規(guī)模比對(duì)、十億分之一超低誤報(bào)下的高識(shí)別性能，意味著智能技術(shù)將解鎖更多的應(yīng)用場景，從樓宇建筑到城市量級(jí)，甚至多城聯(lián)動(dòng)，再到全國范圍內(nèi)的人臉比對(duì)、安防布控都將成為可能。

依圖科技CEO朱瓏說到：“NIST是工業(yè)界最權(quán)威的測(cè)試，有最直接的應(yīng)用指導(dǎo)價(jià)值。從測(cè)試的結(jié)果來說，有兩個(gè)意義: 我們可以平靜的接受，來自中國的算法技術(shù)超過全球的競爭對(duì)手；更大的意義在于，掌握標(biāo)準(zhǔn)制定話語權(quán)和實(shí)際全球影響力的美國國家標(biāo)準(zhǔn)技術(shù)局，已經(jīng)顯得‘沒見過世面’，千萬分之一的誤報(bào)下的識(shí)別率并不能拉開我們和第二名的差距，我們的算法已經(jīng)在 10 億分之一的誤報(bào)下達(dá)到超過90%的識(shí)別率。希望將來，國際主流學(xué)術(shù)機(jī)構(gòu)能接受，只有中國參與的標(biāo)準(zhǔn)測(cè)試，才反映全球最前沿的技術(shù)理解?！?/p>

雷鋒網(wǎng) AI科技評(píng)論授權(quán)發(fā)布。想要了解更多相關(guān)信息，請(qǐng)關(guān)注雷鋒網(wǎng) AI科技評(píng)論

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。