數(shù)字經濟時代下，以人工智能為代表的數(shù)字技術賦能產業(yè)變革，推動整個社會經濟進入智能化的新階段。與此同時，人工智能在應用過程中產生的網絡系統(tǒng)攻擊、隱私泄露、數(shù)據(jù)權屬等安全問題，也引起整個產業(yè)界的重視。

9月16日，以“共筑AI安全 安享智能未來”為主題的AISC首屆人工智能安全大賽圓滿落幕。本次比賽共決出人臉識別安全、自動駕駛安全、深度偽造安全三大核心賽道冠軍。據(jù)了解，本次大賽由國家工業(yè)信息安全發(fā)展研究中心、清華大學人工智能研究院和北京瑞萊智慧科技有限公司等單位聯(lián)合主辦，系首個全國性人工智能安全賽事。

AI安全風險已非未來挑戰(zhàn)，而是眼前威脅

 試想一下，有人將一張“神奇的貼紙”放置在面部，就可以使人臉識別門禁系統(tǒng)誤認為是你，從而輕而易舉打開大門；同樣是這張“神奇的貼紙”，把它放置在眼鏡上，就可以1秒解鎖你的手機人臉識別，探取你的隱私如入無人之境。這并非科幻大片的想象，而是首屆人工智能安全大賽頒獎典禮現(xiàn)場展示的真實攻防場景。

 大賽工作人員演示對抗樣本攻擊人臉識別門禁系統(tǒng)

北京瑞萊智慧科技有限公司首席執(zhí)行官田天認為，人工智能技術風險發(fā)生的范圍正隨著應用場景的日趨廣泛而逐步擴大，風險發(fā)生的可能性也隨著其應用頻次的增長而持續(xù)提高。在他看來，人工智能當前的安全風險主要可以從“人”與“系統(tǒng)”這兩個視角來剖析。

從人的視角來評估AI的安全問題，首當其沖就是技術的兩面性問題，存在AI濫用甚至“武器化”的問題。具體到人工智能的應用中來看，最為典型的代表就是深度偽造技術，它的負向應用風險持續(xù)加劇且已產生實質危害。

而現(xiàn)場的人臉識別破解演示，所揭示的正是系統(tǒng)的風險，它來自于深度學習算法本身的脆弱性。以深度學習算法為核心的第二代人工智能是個“黑盒子”，具有不可解釋性，意味著系統(tǒng)存在結構性的漏洞，可能受到不可預知的風險，典型的就比如現(xiàn)場演示的“神奇貼紙”，其實就是“對抗樣本攻擊”，通過在輸入數(shù)據(jù)中添加擾動，使得系統(tǒng)作出錯誤判斷。

這一漏洞在自動駕駛感知系統(tǒng)同樣存在，瑞萊智慧演示了用對抗樣本攻擊自動駕駛汽車。正常情況下，在識別到路障、指示牌、行人等目標后，自動駕駛車輛就會立即停車，但在目標物體上添加干擾圖案后，車輛的感知系統(tǒng)就會出錯，徑直撞上去。

結合具體賽題來看，自動駕駛安全賽題和人臉識別安全賽題從攻擊視角出發(fā)，通過讓選手攻擊目標模型挖掘算法漏洞，旨在發(fā)現(xiàn)更加穩(wěn)定的攻擊算法，以更好的實現(xiàn)準確評估模型的安全性。深度偽造安全賽題則通過分析偽造音視頻的相似性，來溯源不同偽造內容是否來自同一種或同一類生物特征生成軟件，以促進對深度偽造檢測技術的發(fā)展，具有重要的現(xiàn)實意義。

瑞萊智慧首席執(zhí)行官田天

安全的本質在于對抗升級，構建安全需要一個持續(xù)攻防演進的過程。田天表示，大賽聚焦人工智能真實應用場景中的典型漏洞及風險，以賽促建、以賽促研，通過考核參賽隊伍的漏洞發(fā)現(xiàn)、漏洞挖掘等能力，探索新型安全需求場景，推動AI攻防技術創(chuàng)新，為強化人工智能治理體系與安全評估能力建設提供支撐。

構建人工智能的安全生態(tài)，一方面需要技術的持續(xù)演進，一方面也需要專項技術人才的建設與培養(yǎng)。田天表示，由于人工智能安全研究目前仍屬于新興領域，專項人才較少，缺乏系統(tǒng)性的研究隊伍，本次大賽通過實戰(zhàn)演練的方式，全方位驗證和提升選手實戰(zhàn)能力，為培育一批高水平、高層次的人工智能安全新型人才團隊提供了“快速通道”。

據(jù)了解，自七月開啟報名以來，大賽共吸引來自全國范圍內70多所高等高校、科研院所、企業(yè)機構的超過400支團隊，共計600余名選手的踴躍參與。經過三個月的激烈角逐，最終，上海交通大學聯(lián)合戰(zhàn)隊“AreYouFake”與北京交通大學戰(zhàn)隊“BJTU-ADaM”分別摘得深度偽造安全與自動駕駛安全賽道桂冠，北京理工大學戰(zhàn)隊“DeepDream”與建信金科戰(zhàn)隊“Tian Quan&LianYi”共同位列人臉識別賽道第一名。 

 深度偽造安全競賽前三名

 自動駕駛安全競賽前三名

 人臉識別安全競賽前三名

此外，活動現(xiàn)場，由國家工業(yè)信息安全發(fā)展研究中心牽頭，聯(lián)合華為技術有限公司和北京瑞萊智慧科技有限公司共同撰寫的《人工智能算力基礎設施安全發(fā)展白皮書》正式發(fā)布。

白皮書圍繞人工智能算力基礎設施安全發(fā)展的意義、內涵與體系架構、安全管理現(xiàn)狀、發(fā)展建議等方面展開深入研究。白皮書指出，人工智能算力基礎設施不同于傳統(tǒng)的算力基礎設施，既是“基礎設施”又是“人工智能算力”也是“公共設施”，具有基建屬性、技術屬性、公共屬性三重屬性。相應地，推動人工智能算力基礎設施安全發(fā)展應從強化自身安全、保障運行安全、助力安全合規(guī)三個方面發(fā)力，通過強化自身的可靠性、可用性與穩(wěn)定性，保障算法運行時的機密性與完整性，提升用戶的安全管控力、認可度與合規(guī)性等八個領域筑牢人工智能安全防線，打造可信、可用、好用的人工智能算力底座，營造安全、健康、合規(guī)發(fā)展的人工智能產業(yè)生態(tài)。

現(xiàn)場，中國科學院信息安全國家重點實驗室副主任陳愷、北京航空航天大學軟件開發(fā)環(huán)境國家重點實驗室副主任劉祥龍、工商銀行金融研究院安全攻防實驗室主管專家蘇建明進行了主題分享。圓桌對話環(huán)節(jié)，北京交通大學教授、計算機與信息技術學院副院長景麗萍、清華大學人工智能研究院基礎理論研究中心主任朱軍、北京郵電大學網絡空間安全學院副院長鄧偉洪、北京科技大學計算機與通信工程學院教授陳健生、華為可信AI安全解決方案專家唐文圍繞人工智能安全技術發(fā)展、人工智能安全治理等話題展開深入交流。

專家們認為，從長遠看，人工智能的安全問題，還需從算法模型的原理上突破，唯有持續(xù)加強基礎研究，才能破解核心科學問題，同時他們強調，人工智能的未來發(fā)展需確保對整個社會、國家發(fā)展的有效性和正向促進性，需要政產學研用多方協(xié)同共進。（雷峰網(公眾號：雷峰網)）

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。