0
本文作者: 蔣寶尚 | 2020-04-20 16:07 |
一份標(biāo)準(zhǔn)的出臺(tái),便是一個(gè)技術(shù)發(fā)展前景的指明燈。
今年3月份,聯(lián)邦學(xué)習(xí)IEEE標(biāo)準(zhǔn)草案完成并通過(guò)標(biāo)準(zhǔn)工作組表決,預(yù)計(jì)年中將正式出臺(tái)。這預(yù)示著首份中國(guó)企業(yè)牽頭推動(dòng)的IEEE聯(lián)邦學(xué)習(xí)國(guó)際標(biāo)準(zhǔn)即將落地;同時(shí)也意味著聯(lián)邦學(xué)習(xí)提出三年之后,其在解決數(shù)據(jù)孤島和保護(hù)用戶隱私方面的作用已得到國(guó)際認(rèn)可。
作為一種人工智能協(xié)同技術(shù),聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的出臺(tái)對(duì)接下來(lái)的AI落地也將有著舉足輕重的意義。這一標(biāo)準(zhǔn)從提出到表決出臺(tái),這中間發(fā)生了什么?這樣一個(gè)國(guó)內(nèi)企業(yè)主導(dǎo)的標(biāo)準(zhǔn)范式,對(duì)中國(guó)有哪些具體的意義?
(雷鋒網(wǎng))
聯(lián)邦學(xué)習(xí)這項(xiàng)大規(guī)模分布式學(xué)習(xí)人工智能技術(shù), 簡(jiǎn)單來(lái)說(shuō),即一種數(shù)據(jù)不出本地,就可完成機(jī)器學(xué)習(xí)多方協(xié)作建立模型的技術(shù)。其應(yīng)用領(lǐng)域可以分為: 1) 用于保護(hù)用戶隱私的,面向個(gè)人消費(fèi)者市場(chǎng)的場(chǎng)景; 2) 同時(shí)面向個(gè)人客戶和企業(yè)或者政務(wù)部門(mén)的業(yè)務(wù)場(chǎng)景。
微眾銀行和谷歌分別在不同方向領(lǐng)導(dǎo)著研究的重心,同時(shí)微眾銀行等中國(guó)企業(yè)引領(lǐng)了大部分的技術(shù)創(chuàng)新, 業(yè)界標(biāo)準(zhǔn)制定及應(yīng)用市場(chǎng)。
谷歌于2016年利用聯(lián)邦學(xué)習(xí)解決安卓手機(jī)終端用戶在本地更新模型的問(wèn)題,也即能夠基于本地小數(shù)據(jù)進(jìn)行不斷機(jī)器學(xué)習(xí)訓(xùn)練。而聯(lián)邦學(xué)習(xí)在國(guó)內(nèi)興起的主要原因卻是:這種數(shù)據(jù)不出本地的聯(lián)合建模技術(shù),正是解決國(guó)內(nèi)企業(yè)數(shù)據(jù)孤島現(xiàn)狀的“良藥”。
例如,在醫(yī)療領(lǐng)域,每個(gè)醫(yī)院都有不少患者健康狀況的信息,由于隱私保護(hù)等問(wèn)題,醫(yī)院之間的數(shù)據(jù)不能夠取長(zhǎng)補(bǔ)短。如何克服醫(yī)院之間的這種數(shù)據(jù)孤島問(wèn)題?
讓機(jī)器學(xué)習(xí)在尊重隱私保護(hù)的前提下集成各方數(shù)據(jù)進(jìn)行訓(xùn)練。顯然,能夠讓參與方在數(shù)據(jù)不出本地的基礎(chǔ)上聯(lián)合建模的聯(lián)邦學(xué)習(xí)給予了答案。
也就是說(shuō),它對(duì)To C端((消費(fèi)者))有吸引力,對(duì)于To B端(企業(yè))則更有吸引力。這從聯(lián)邦學(xué)習(xí)的中文名字變化也可以看出。在早期國(guó)內(nèi)將「Federated Learning」大多翻譯為「聯(lián)合學(xué)習(xí)」,現(xiàn)多稱為「聯(lián)邦學(xué)習(xí)」。
其中的區(qū)別是,如果用戶是個(gè)人,確實(shí)是把他們的模型「聯(lián)合」起來(lái)學(xué)習(xí);而如果用戶是企業(yè)、銀行、醫(yī)院等大數(shù)據(jù)擁有者,這種技術(shù)則更像是將諸多「城邦」結(jié)合起來(lái),「聯(lián)邦」一詞則更為準(zhǔn)確。
這一名字的變化,也反映著聯(lián)邦學(xué)習(xí)的研究主體從理論轉(zhuǎn)向?qū)嶋H應(yīng)用的變化趨勢(shì)。那么數(shù)據(jù)如何聯(lián)合?如何使用?如何激勵(lì)更多的成員參與進(jìn)來(lái)?
顯然,需要有一個(gè)標(biāo)準(zhǔn)來(lái)評(píng)判大家應(yīng)用體系的好壞。既然是標(biāo)準(zhǔn),能夠有權(quán)威的國(guó)際標(biāo)準(zhǔn)組織背書(shū)當(dāng)然更有公信力。于是一觸即燃,2018年底由微眾銀行等企業(yè)帶頭向IEEE標(biāo)準(zhǔn)協(xié)會(huì)遞交了聯(lián)邦學(xué)習(xí)關(guān)于聯(lián)邦學(xué)習(xí)架構(gòu)和應(yīng)用規(guī)范的標(biāo)準(zhǔn)P3652.1。
2018年12月,IEEE標(biāo)準(zhǔn)協(xié)會(huì)批準(zhǔn)這一標(biāo)準(zhǔn)的立項(xiàng)。
2019 年2月份,由微眾銀行楊強(qiáng)教授擔(dān)任工作組主席的IEEEP3652.1(聯(lián)邦學(xué)習(xí)基礎(chǔ)架構(gòu)與應(yīng)用)標(biāo)準(zhǔn)工作組第一次開(kāi)啟,參會(huì)人數(shù)30余位。這次會(huì)議也是聯(lián)邦學(xué)習(xí)歷史上的首次會(huì)議,會(huì)上確定了聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的基本框架。
4個(gè)月后,標(biāo)準(zhǔn)工作組的第二次會(huì)議在美國(guó)洛杉磯開(kāi)啟,這次會(huì)議成員增添了Eduworks、doc.ai等國(guó)外企業(yè)。在會(huì)上,各工作組成員梳理并添加了各自領(lǐng)域內(nèi)的聯(lián)邦學(xué)習(xí)典型案例。
第三次標(biāo)準(zhǔn)工作組會(huì)議是在澳門(mén)召開(kāi),不同于前兩次,這次會(huì)議重點(diǎn)聚焦聯(lián)邦學(xué)習(xí)各項(xiàng)指標(biāo)的評(píng)估如何量化。值得一提的是,這次是在 IJCAI 2019 大會(huì)上,與之相伴而生的還有聯(lián)邦學(xué)習(xí)國(guó)際研討會(huì)的第一次召開(kāi),標(biāo)志著聯(lián)邦學(xué)習(xí)有了國(guó)際社區(qū),“聯(lián)邦學(xué)習(xí)er”有了專門(mén)討論學(xué)習(xí)的地方。
第四次會(huì)議開(kāi)始于11月份,著重對(duì)聯(lián)邦學(xué)習(xí)的安全測(cè)評(píng)與評(píng)級(jí)進(jìn)行規(guī)劃,細(xì)化了聯(lián)邦學(xué)習(xí)在To B(企業(yè)端)、To C(用戶端)以及To G(政府端)不同情境下的場(chǎng)景分類。其中, 微眾銀行,騰訊云,京東,華為,中國(guó)電信,小米,華大基因,中電科大數(shù)據(jù), Eduworks等企業(yè)機(jī)構(gòu), 分別貢獻(xiàn)了聯(lián)邦學(xué)習(xí)在金融,市場(chǎng)營(yíng)銷,城市交通,通訊與設(shè)備,醫(yī)療,教育及政府服務(wù)等方面的應(yīng)用場(chǎng)景。
而第五次會(huì)議是采取了線上的方式,共有三十余家海內(nèi)外頭部企業(yè)與研究機(jī)構(gòu)共同參與,反復(fù)而細(xì)致的討論之后,也完成了標(biāo)準(zhǔn)草案的撰寫(xiě)。目前正提交IEEE標(biāo)準(zhǔn)協(xié)會(huì)(StandardAssociation, SA)投票表決。五次標(biāo)準(zhǔn)工作會(huì)議,歷時(shí)一年多,期間輾轉(zhuǎn)多地,即使遇疫情也沒(méi)有落下進(jìn)度。
一項(xiàng)標(biāo)準(zhǔn)的成文涉及細(xì)節(jié)非常多,其中定義、概念、分類、算法框架規(guī)范、使用模式和使用規(guī)范等都需要反復(fù)斟酌。不僅涉及到技術(shù)范式,如何在不同的場(chǎng)景下激勵(lì)各方積極參與的激勵(lì)機(jī)制也非常重要。
正如微眾銀行人工智能首席科學(xué)家范力欣博士在接受AI 科技評(píng)論采訪時(shí)候談到:“每個(gè)人的貢獻(xiàn)都不容忽視,雖然在討論過(guò)程中,大家討論很激烈,但是都希望標(biāo)準(zhǔn)更加完善,更加成體系,最后也達(dá)成了很好的結(jié)果”。所以,聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的“成文”,集成了“各家所長(zhǎng)”,也是一次“聯(lián)邦學(xué)習(xí)”的過(guò)程。
(雷鋒網(wǎng))
聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的制定不僅影響生產(chǎn)力,更多的是影響生產(chǎn)關(guān)系。聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)具體內(nèi)容包括兩部分:一是技術(shù)體系,涉及如何在保護(hù)隱私的前提下,通過(guò)引入各方數(shù)據(jù)的參與來(lái)提高模型性能, 二是激勵(lì)機(jī)制,涉及如何通過(guò)分配公平合理的回饋給數(shù)據(jù)貢獻(xiàn)方, 來(lái)吸引更多的數(shù)據(jù)擁有方參與聯(lián)邦學(xué)習(xí)的聯(lián)盟。
簡(jiǎn)而言之, 提高模型性能,無(wú)疑是提高了生產(chǎn)力。而激勵(lì)機(jī)制,則定義了數(shù)字經(jīng)濟(jì)中的生產(chǎn)關(guān)系。具體來(lái)說(shuō), 激勵(lì)機(jī)制多采用經(jīng)濟(jì)學(xué)原理和博弈論知識(shí),其中理性人假設(shè),嘗試對(duì)各個(gè)參與方定性,根據(jù)其利益最大化的“性格”,激勵(lì)讓更多的人參與。帕累托最優(yōu)標(biāo)準(zhǔn)評(píng)判利益分配方式是否符合各方博弈最優(yōu)解。通過(guò)不損失其他人利益同時(shí)增加系統(tǒng)中某些人利益的標(biāo)準(zhǔn),讓各個(gè)參與方“心服口服”。
而“利益標(biāo)準(zhǔn)”不是唯一的衡量指標(biāo),對(duì)于聯(lián)邦學(xué)習(xí)來(lái)說(shuō),一個(gè)好的體系必須考慮到社會(huì)效益。將政府行為納入評(píng)價(jià)、激勵(lì)機(jī)制,在考慮個(gè)體效益的同時(shí),平衡社會(huì)福利,借力福利經(jīng)濟(jì)學(xué)的內(nèi)容促進(jìn)社會(huì)生產(chǎn)關(guān)系,提升社會(huì)福利的同時(shí)讓參與方承擔(dān)相應(yīng)的社會(huì)責(zé)任。
所以,聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的激勵(lì)機(jī)制一方面讓更多人參與,另一方面, 也協(xié)調(diào)優(yōu)化了參與方的利益關(guān)系,提升了整體的經(jīng)濟(jì)效益及社會(huì)福利。由微眾銀行牽頭,海內(nèi)外多家企業(yè)和研究機(jī)構(gòu)合作參與制定的聯(lián)邦學(xué)習(xí)IEEE標(biāo)準(zhǔn),與其他諸多國(guó)際標(biāo)準(zhǔn)的不同之處在于, 國(guó)外企業(yè)并沒(méi)有在標(biāo)準(zhǔn)的制定和決策中占據(jù)主導(dǎo)地位。恰恰相反, 本著公平、公正、公開(kāi)原則制定的聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn), 吸引了眾多中國(guó)頭部和中小企業(yè)的積極參與.
而會(huì)隨著該標(biāo)準(zhǔn)在國(guó)際上的廣泛應(yīng)用, 中國(guó)企業(yè)的影響力也會(huì)逐步外溢, 并提升中國(guó)企業(yè)在全球化環(huán)境中的話語(yǔ)權(quán)。
正如范力欣博士所談到的那樣:“微眾銀行之所以能夠領(lǐng)導(dǎo)聯(lián)邦學(xué)習(xí)的標(biāo)準(zhǔn)制定,除了楊強(qiáng)教授的個(gè)人學(xué)術(shù)魅力外,更重要的是在于微眾銀行所倡導(dǎo)的公平、公正、公開(kāi)的聯(lián)邦學(xué)習(xí)技術(shù)開(kāi)源平臺(tái), 能夠吸引更多的國(guó)內(nèi)外機(jī)構(gòu)參與?!?/p>
標(biāo)準(zhǔn)的好壞,重點(diǎn)還在于能否讓大家去遵守。
聯(lián)邦學(xué)習(xí)的國(guó)際標(biāo)準(zhǔn)是由中國(guó)企業(yè)牽頭發(fā)起,國(guó)外企業(yè)和研究機(jī)構(gòu)對(duì)聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)的認(rèn)識(shí)和接受會(huì)滯后一些。比如, 谷歌因?yàn)槠浔旧碇皇敲嫦駽端,在自身數(shù)據(jù)充足的情況下,暫時(shí)沒(méi)有意識(shí)到B端業(yè)務(wù)應(yīng)用的巨大前景, 也就沒(méi)有加入到標(biāo)準(zhǔn)制定的行列中。
但如Intel,IBM等國(guó)外企業(yè)都已積極參與到聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)化的討論中來(lái)。進(jìn)一步來(lái)看,與Facebook、谷歌、蘋(píng)果這些有“數(shù)據(jù)壟斷”意味的企業(yè)合作,讓其接受一項(xiàng)對(duì)大小企業(yè)都一視同仁的技術(shù)標(biāo)準(zhǔn),這顯然是也是標(biāo)準(zhǔn)發(fā)起的愿景之一。另一方面,聯(lián)邦學(xué)習(xí)的安全性, 也是該標(biāo)準(zhǔn)重點(diǎn)規(guī)范的一個(gè)方面。
(雷鋒網(wǎng))
對(duì)于存在個(gè)別參與方不誠(chéng)實(shí)或者欺詐的行為, 聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)不僅僅是從技術(shù)上檢測(cè)/預(yù)防這些惡意行為, 而且通過(guò)設(shè)計(jì)激勵(lì)機(jī)制來(lái)從動(dòng)機(jī)上杜絕惡意行為。更加系統(tǒng)的后續(xù)配套工作如何推進(jìn)?
范力欣博士談到:“有三個(gè)方向,第一個(gè)是國(guó)內(nèi)的行業(yè)推廣,讓更多的國(guó)內(nèi)有相關(guān)應(yīng)用的企業(yè)首先加入行列;其次是面向國(guó)外,歐洲因?yàn)橛蠫DPR法規(guī)的頒布,對(duì)數(shù)據(jù)隱私保護(hù)更加規(guī)范,所以國(guó)際標(biāo)準(zhǔn)的推廣,會(huì)對(duì)歐洲重點(diǎn)關(guān)注; 最后是吸納更多To B、To C、To G的案例,讓測(cè)評(píng)體系更加完善”。
打鐵還需自身硬,標(biāo)準(zhǔn)制定公平、公開(kāi)、公正的同時(shí),吸納更多應(yīng)用案例,增強(qiáng)標(biāo)準(zhǔn)公信力,才能讓更多企業(yè)加入進(jìn)來(lái)。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。