雷鋒網(wǎng) AI 科技評(píng)論按：機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給人工智能領(lǐng)域所帶來(lái)的極具革命性的影響，如今整個(gè)人工智能研究界都有目共睹。作為人工智能神經(jīng)網(wǎng)絡(luò)方向的學(xué)術(shù)界資深科學(xué)家，貢三元教授深諳當(dāng)前深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)所存在的問(wèn)題，對(duì)此，他提出了 NN 3.0 的概念，創(chuàng)造性地采用深入學(xué)習(xí)（Internal Learning）的方法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，不僅能夠?qū)崿F(xiàn)內(nèi)部神經(jīng)元可學(xué)習(xí)性，還兼具內(nèi)部神經(jīng)元可解釋性。對(duì)于這一成果，貢三元教授也在 4 月 9 日的第二屆全球人工智能應(yīng)用創(chuàng)新峰會(huì)上進(jìn)行了分享。

會(huì)后，雷鋒網(wǎng) AI 科技評(píng)論也借此機(jī)會(huì)與貢三元教授進(jìn)行了一次交流，圍繞他的研究經(jīng)歷、成果以及治學(xué)理念進(jìn)行了深入探討。

 

貢三元教授，1977 年獲得斯坦福大學(xué)電子工程博士學(xué)位；1974 年加入美國(guó)安達(dá)爾公司任職工程師；1977 年至 1987 年，在美國(guó)南加州大學(xué)電子工程系統(tǒng)專業(yè)任職教授；1987 年至今，任職普林斯頓大學(xué)電子工程專業(yè)教授。同時(shí)，他還是斯坦福大學(xué)、代爾夫特大學(xué)、早稻田大學(xué)訪問(wèn)教授，中國(guó)科技大學(xué)榮譽(yù)教授以及香港理工大學(xué)榮譽(yù)講座教授。此外，他還是美國(guó) IEEE 終身院士、 Journal of VLSI Signal Processing Systems 主編等等。

貢三元教授的研究領(lǐng)域包括，機(jī)器學(xué)習(xí)、系統(tǒng)建模與識(shí)別、人工神經(jīng)網(wǎng)絡(luò)、無(wú)線傳輸、傳感器陣列處理、多媒體信號(hào)處理、生物信息數(shù)據(jù)挖掘與識(shí)別，曾發(fā)表 400 余篇（部）論文及專著，包括：《大規(guī)模集成電路和現(xiàn)代信號(hào)處理》（英文版及俄文版）、《大規(guī)模集成電路處理器》（英文版、俄文版及中文版）、《數(shù)字神經(jīng)網(wǎng)絡(luò)》（英文版）、《主成分神經(jīng)網(wǎng)絡(luò)》（英文版）、《生物信息認(rèn)證：一種現(xiàn)代方法》（英文版）等。鑒于其學(xué)術(shù)貢獻(xiàn)，他曾獲得的重要獎(jiǎng)項(xiàng)包括：IEEE Signal Processing Society 技術(shù)進(jìn)步獎(jiǎng)、最佳論文獎(jiǎng)、杰出講座學(xué)者，IEEE Third 千禧年勛章等。

轉(zhuǎn)入神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)，始于興趣而終于使命

博士畢業(yè)于斯坦福大學(xué)電子工程專業(yè)的貢三元教授一開始的研究方向主要是計(jì)算機(jī)體系結(jié)構(gòu)、模式識(shí)別和多媒體信號(hào)處理等，直到 1980 年才轉(zhuǎn)入神經(jīng)網(wǎng)絡(luò)領(lǐng)域。當(dāng)時(shí)，神經(jīng)網(wǎng)絡(luò)技術(shù)取得了一定進(jìn)展，也為該領(lǐng)域的研究者帶來(lái)了充足的科研經(jīng)費(fèi)，在這樣的大背景下，貢三元教授開啟了他在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究并取得了豐碩成果，不僅先后出版了 4 本相關(guān)學(xué)術(shù)專著，還提出一系列創(chuàng)新性和前瞻性的理論。

之后，貢三元教授更是對(duì)機(jī)器學(xué)習(xí)領(lǐng)域產(chǎn)生了濃厚的興趣，而這份興趣，則是源自于他對(duì)整個(gè)機(jī)器學(xué)習(xí)發(fā)展歷程的思考。他提到，機(jī)器學(xué)習(xí)分為監(jiān)督學(xué)習(xí) (supervised learning) 和無(wú)監(jiān)督學(xué)習(xí) (unsupervised learning），現(xiàn)在大家所講的 NN1.0 及 NN2.0 都屬于監(jiān)督學(xué)習(xí)。同時(shí)機(jī)器學(xué)習(xí)系統(tǒng)包括兩個(gè)子系統(tǒng)——特征工程 (feature engineering) 和標(biāo)簽工程 （label engineering），而 NN1.0、NN2.0 兩個(gè)階段對(duì)這兩個(gè)子系統(tǒng)的訓(xùn)練方法是非常不同的：

• 在 NN1.0 的時(shí)代，機(jī)器學(xué)習(xí)只顧得上后半段標(biāo)簽工程，而前半段的特征工程得依賴于領(lǐng)域?qū)＜覍⑻卣髡页鰜?lái)。這樣的話，靠機(jī)器學(xué)習(xí)實(shí)際完成的部分其實(shí)是比較少的。

• 而在 NN2.0 時(shí)代，機(jī)器學(xué)習(xí)的特征工程部分也由神經(jīng)網(wǎng)絡(luò)來(lái)完成，其使用的學(xué)習(xí)方法就是今年的圖靈獎(jiǎng)獲得者提出的反向傳播算法（BackPropagation， BP），也就是說(shuō)整個(gè)機(jī)器學(xué)習(xí)過(guò)程都由同一個(gè) BP 算法來(lái)完成。

貢三元教授以一個(gè) Lenet-5 深度學(xué)習(xí)模型為例，來(lái)具體闡述二者在訓(xùn)練方法上的不同：「它的前面 3 層做特征工程, 而后 2 層做標(biāo)簽工程。NN1.0 時(shí)代，前 3 層的特征工程依賴于領(lǐng)域?qū)＜艺页鎏卣?；?nbsp;NN2.0 所使用的 BP 則能夠利用反向傳播訓(xùn)練到所有 5 層：包括 3 層特征層及 2 層標(biāo)簽層。這樣的話，NN2.0 就擺脫了對(duì)領(lǐng)域?qū)＜业囊蕾?，NN 因而也正式地進(jìn)入 NN2.0 （Deep Learning）時(shí)代。現(xiàn)在 AI 和機(jī)器學(xué)習(xí)基本上是綁定在一起了，大家也公認(rèn) NN2.0 是當(dāng)下 AI 的領(lǐng)頭樣，從而也把 NN2.0 及 AI2.0 畫上了等號(hào)?！?/span>

然而， NN2.0 雖然擺脫了對(duì)領(lǐng)域?qū)＜业囊蕾嚕屔窠?jīng)網(wǎng)絡(luò)進(jìn)入到一個(gè)新的時(shí)代，但是它仍存在某種程度上的問(wèn)題和缺陷。對(duì)此，貢三元教授分析到：

由于 NN 2.0 的 Teacher 是擺在外部的, 因此這樣的訓(xùn)練過(guò)程無(wú)法做結(jié)構(gòu)和神經(jīng)元細(xì)粒度優(yōu)化，也就是說(shuō)在 NN2.0 時(shí)代，機(jī)器學(xué)習(xí)事先設(shè)定了固定的架構(gòu)，只做參數(shù)訓(xùn)練，所以對(duì) NN2.0 而言，網(wǎng)絡(luò)的訓(xùn)練取決于外部?jī)?yōu)化指標(biāo)（External Optimization Metric，EOM)。更準(zhǔn)確地說(shuō)，BP 算法取決于相對(duì)于 Teacher 的誤差，誤差越大，修正就越多。

這實(shí)際上也暴露了  NN 2.0 所存在的某些問(wèn)題：首先，當(dāng)機(jī)器學(xué)習(xí)要學(xué)習(xí)太多層時(shí)，普通 BP 是無(wú)法應(yīng)對(duì)過(guò)來(lái)的，需要使用 Deep BP 的技術(shù)；而更嚴(yán)峻的問(wèn)題是，神經(jīng)網(wǎng)絡(luò)的架構(gòu)一旦確定后就無(wú)法改變，也就是說(shuō)如果網(wǎng)絡(luò)的大小、寬度和厚度事先都固定好了，一旦無(wú)法通過(guò)調(diào)參來(lái)得出好的結(jié)果時(shí)，就不得不重新訓(xùn)練另外一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。

在對(duì)機(jī)器學(xué)習(xí)以及神經(jīng)網(wǎng)絡(luò)的這一探索過(guò)程中，貢三元教授也產(chǎn)生了深深的使命感，正是在這種使命感的引導(dǎo)下，他也一直致力于為 NN 2.0 所存在的問(wèn)題尋找出路。而這一出路便是貢三元教授最新提出的 NN3.0。

從 NN 2.0 的深度學(xué)習(xí)到 NN3.0 的深入學(xué)習(xí)

NN3.0 也是貢三元教授在本次全球人工智能應(yīng)用創(chuàng)新峰會(huì)上分享的重要成果。他創(chuàng)造性地提出了深入學(xué)習(xí)（Internal Learning）這一新概念，對(duì)神經(jīng)網(wǎng)絡(luò)同時(shí)做參數(shù)和架構(gòu)的訓(xùn)練，這樣的話，整個(gè)訓(xùn)練過(guò)程就能深入網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)，并實(shí)現(xiàn)神經(jīng)元的優(yōu)化，不僅能夠?qū)崿F(xiàn)內(nèi)部神經(jīng)元可學(xué)習(xí)性，還兼具內(nèi)部神經(jīng)元可解釋性。由此，NN 跨入 NN 3.0 時(shí)代。

貢三元教授也非常詳細(xì)地解釋了 NN 2.0 及 NN 3.0 的區(qū)別，以及  NN 3.0 為機(jī)器學(xué)習(xí)領(lǐng)域所帶來(lái)的革命性影響。他表示，雖然 NN 3.0 與 NN 2.0 一樣，都屬于監(jiān)督學(xué)習(xí)，需要 Teacher，然而它放置 Teacher 的位置與 NN 2.0 截然不同：NN 2.0 將 Teacher 放置在神經(jīng)網(wǎng)絡(luò)外部，只能從神經(jīng)網(wǎng)絡(luò)外部進(jìn)行訓(xùn)練，無(wú)法捕捉內(nèi)部神經(jīng)元的行為；而 NN 3.0 則將 Teacher 放置于神經(jīng)網(wǎng)絡(luò)的內(nèi)部，既能調(diào)參數(shù)，同時(shí)也能調(diào)架構(gòu)。

另外在對(duì) Teacher 所使用訓(xùn)練方法上，NN3.0 也與 NN2.0 有所不同：除了外部?jī)?yōu)化指標(biāo)（External Optimization Metric，EOM）, NN3.0 還采用了內(nèi)部?jī)?yōu)化指標(biāo)（Internal Optimization Metric，IOM）來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的內(nèi)部學(xué)習(xí)。這樣的話，NN3.0 可以直接深入到神經(jīng)網(wǎng)絡(luò)內(nèi)部，利用數(shù)學(xué)模型就能夠很簡(jiǎn)易地對(duì)每一個(gè)神經(jīng)元實(shí)現(xiàn)精準(zhǔn)計(jì)算和衡量。其具體的實(shí)現(xiàn)方式是，在機(jī)器學(xué)習(xí)過(guò)程中將 Teacher 送進(jìn)神經(jīng)網(wǎng)絡(luò)內(nèi)部，然后用 IOM 評(píng)價(jià)標(biāo)準(zhǔn)算出各個(gè)神經(jīng)元的分?jǐn)?shù)，再淘汰掉分?jǐn)?shù)最低的神經(jīng)元，從而對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)做出最優(yōu)化處理。實(shí)際上，這也說(shuō)明了神經(jīng)元參差不齊的特性，因而機(jī)器學(xué)習(xí)也應(yīng)該將其作為結(jié)構(gòu)學(xué)習(xí)的重要指標(biāo)。

貢三元教授又以一個(gè)實(shí)際案例對(duì)神經(jīng)元參差不齊的特性以及判斷出各個(gè)神經(jīng)元的好壞的重要性，進(jìn)行了補(bǔ)充說(shuō)明：「比如說(shuō)在雙人網(wǎng)球賽上，一般大家會(huì)認(rèn)為隊(duì)伍中每個(gè)球員都很重要，缺一不可。然而在大團(tuán)隊(duì)計(jì)劃中, 隊(duì)員們的水平往往會(huì)參差不齊，并且團(tuán)隊(duì)最忌諱的就是有破壞性的「豬隊(duì)友」——它不僅不給團(tuán)隊(duì)加分，反而會(huì)減分。所以，如果要讓神經(jīng)網(wǎng)絡(luò)能做結(jié)構(gòu)訓(xùn)練，就必須讓它自行判斷出哪個(gè)神經(jīng)元好以及哪個(gè)不好，然后選擇出最壞的、最有破壞性的神經(jīng)元，并將其丟掉?！?/p>

值得一提的是，貢三元教授還表示這一創(chuàng)新理論其實(shí)也受到了生物學(xué)相關(guān)知識(shí)的啟發(fā)。他提到：「人每天起床前，都會(huì)有成千上萬(wàn)個(gè)腦神經(jīng)元在睡夢(mèng)中退化淘汰，經(jīng)過(guò)新陳代謝后，人的思維反而更清晰了。同樣的道理，NN2.0 中不好的那些神經(jīng)元不僅會(huì)消耗計(jì)算，而且經(jīng)過(guò)訓(xùn)練后也可能會(huì)導(dǎo)致過(guò)擬合（overtrained）的問(wèn)題。而 NN3.0 則提供了解決捷徑：通過(guò)淘汰掉低分?jǐn)?shù)的神經(jīng)元，神經(jīng)網(wǎng)絡(luò)在提升性能的同時(shí)，也大幅度節(jié)省計(jì)算。」

借助鯤云在芯片上的優(yōu)勢(shì)，NN3.0 能高效率應(yīng)用在 FPGA

為了加強(qiáng) NN3.0 的應(yīng)用，貢三元教授在整個(gè) NN3.0 網(wǎng)絡(luò)的設(shè)計(jì)上，也考量了對(duì)于機(jī)器學(xué)習(xí)來(lái)說(shuō)至關(guān)重要的五項(xiàng)指標(biāo)：第一，高性能；第二，小體積；第三，快速度；第四：低功耗；第五：延遲性問(wèn)題。在本次主題演講里，他也將 NN3.0 模型和最有代表性的 NN2.0 模型做了綜合性的比較，結(jié)果顯示，NN3.0 在以上指標(biāo)呈現(xiàn)出了相當(dāng)程度的優(yōu)勢(shì)。

貢三元教授表示，其團(tuán)隊(duì)目前正在嘗試跟鯤云科技合作，希望借助鯤云科技在技術(shù)應(yīng)用落地尤其是人工智能芯片上的積累和優(yōu)勢(shì)來(lái)加速 NN 及 AI 的應(yīng)用。

對(duì)于 NN3.0 以后的發(fā)展，貢三元教授表達(dá)了他的信心, 并指出了 NN3.0 可能實(shí)現(xiàn)的兩種突破性應(yīng)用：

• 第一種可能的應(yīng)用，是 NN3.0 將能在夠機(jī)器互動(dòng)及機(jī)器間互學(xué)習(xí)方面發(fā)揮巨大的價(jià)值?！?span style="line-height: 1.8;">現(xiàn)在我們正在迎接 5G 時(shí)代的來(lái)臨，未來(lái)在很小的范圍內(nèi)就有可能同時(shí)進(jìn)行成千上萬(wàn)的機(jī)器學(xué)習(xí)，而機(jī)器互動(dòng)及機(jī)器間互學(xué)習(xí)也會(huì)變成數(shù)據(jù)處理的一個(gè)新里程碑。正是得益于 NN3.0 的深入學(xué)習(xí)讓我們?cè)诰W(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練上有了更深入的了解，我們的團(tuán)隊(duì)目前在研究一種加強(qiáng)性的轉(zhuǎn)換學(xué)習(xí)技術(shù) （Reinforced Transferable Learning），該技術(shù)有潛能把一個(gè)機(jī)器學(xué)習(xí)的結(jié)構(gòu)轉(zhuǎn)換為另外一個(gè)機(jī)器所用，從而加強(qiáng)另外一個(gè)機(jī)器的性能?！?/span>

• 另一種可能的應(yīng)用，則是 NN3.0 的內(nèi)部神經(jīng)元可學(xué)習(xí)性（Internal Neuron Learnability）可以直接應(yīng)用到 XAI3.0 的內(nèi)部神經(jīng)元可解釋性（Internal Neuron Explainability），從而解決 BP 算法所存在的不可解釋性。對(duì)于 AI 可解釋性在未來(lái) AI 發(fā)展領(lǐng)域的重要性，貢三元教授也用具體實(shí)例來(lái)進(jìn)行了說(shuō)明：「在 80 年代，美國(guó)政府曾對(duì) NN1.0 給予了大量經(jīng)費(fèi)資助，然而之后停了一大段時(shí)期，因此深度學(xué)習(xí) NN2.0 的主要發(fā)現(xiàn)（獲今年圖靈獎(jiǎng)）反而是靠加拿大政府資助的。為了扭轉(zhuǎn)乾坤，美國(guó)政府又奮起直追，將成千上萬(wàn)經(jīng)費(fèi)投資在可解釋性 AI（XAI）上，這也順勢(shì)帶領(lǐng)了未來(lái) AI3.0 的趨勢(shì)——朝著可解釋性的人工智能網(wǎng)絡(luò)發(fā)展，也就是所謂的 XAI3.0。」

AI 技術(shù)實(shí)際應(yīng)用有 5 大要素

雖然貢三元教授一直在學(xué)術(shù)界耕耘，我們?cè)诓稍L中也探討了關(guān)于 AI 技術(shù)在實(shí)際應(yīng)用上的現(xiàn)狀以及它所面對(duì)的挑戰(zhàn)，他認(rèn)為 AI 工業(yè)應(yīng)用有 5 個(gè)關(guān)鍵要素：

• 第一個(gè)是架構(gòu)及芯片設(shè)計(jì) (Architecture & Chip Design)

• 第二個(gè)是計(jì)算方法 (Algorithm）

• 第三個(gè)是應(yīng)用（Application）

• 第四個(gè)是通訊網(wǎng)絡(luò) （Communication network）

• 第五個(gè)是云端 （Cloud）

對(duì)于目前這 5 個(gè)關(guān)鍵要素在各個(gè)國(guó)家的實(shí)現(xiàn)程度，貢三元教授特別指出中國(guó)雖然在芯片設(shè)計(jì)、計(jì)算方面尚存在不足，但整體而言在其它領(lǐng)域都有相當(dāng)?shù)囊?guī)模及深度。

在芯片設(shè)計(jì)、計(jì)算方面的不足在某種程度上也暴露出了中國(guó)研究者在 AI 基礎(chǔ)性研究方面所存在的不足，而這深根究底就離不開中國(guó)目前的教育制度以及研究方法所存在的問(wèn)題。對(duì)此，貢三元教授也從中美兩國(guó)不同的教育機(jī)制角度，表達(dá)了他的看法：

目前中國(guó)學(xué)術(shù)界大多是使用論文做基本指標(biāo)，并且指標(biāo)周期也是相對(duì)短期的：在一兩年內(nèi)要求他們出成果。然而在美國(guó)，我認(rèn)為我的母校斯坦福大學(xué)就做得很好，它會(huì)給予研究者 2 年到 5 年的研究期限。普林斯頓大學(xué)就更是如此，它是全世界最具有學(xué)者氛圍的高校，一般的研究期限可以達(dá)到 5 年到 20 年，這也是我能夠有寬裕的時(shí)間寫出這么多書的原因。在這種科研發(fā)展體制下的 AI 研究工作，一開始有可能是不斷摸索，甚至于無(wú)止境地?zé)X，但是一做出成果就相當(dāng)有分量，甚而有圖靈獎(jiǎng)級(jí)的成果。這是當(dāng)下中國(guó)教育及中國(guó)科研發(fā)展亟需學(xué)習(xí)和思考的。

做基礎(chǔ)研究要有基本價(jià)值觀，數(shù)學(xué)是 AI 研究的「制勝法寶」

作為一位人工智能領(lǐng)域的前輩研究者以及一位德高望重的教育家，貢三元教授也一直關(guān)注著中國(guó)后輩研究者的研究動(dòng)態(tài)，對(duì)于他們，他也提出了三點(diǎn)建議：

• 第一，做基礎(chǔ)研究要有自己的基本價(jià)值觀。當(dāng)下研究圈內(nèi)跟風(fēng)、跟熱點(diǎn)的現(xiàn)象比較嚴(yán)重，所以研究者們一定要有自己的判斷以及長(zhǎng)遠(yuǎn)的眼光，不能被短期的研究熱點(diǎn)所迷惑，不能跟風(fēng)。

• 第二，要對(duì)事情存疑。尤其是中國(guó)學(xué)生特別容易相信論文或者權(quán)威，其實(shí)這種思維很危險(xiǎn)。研究者們一定要懂得去探究為什么，不然跟錯(cuò)了方向都不自覺(jué)，這是我對(duì)中國(guó)年輕人的期許。

• 第三，一定要加強(qiáng)對(duì)基礎(chǔ)知識(shí)尤其是數(shù)學(xué)的重視。特別是博士學(xué)生，更是要加強(qiáng)自己在數(shù)學(xué)方面的積淀，因?yàn)槿绻氚阎袊?guó)的人工智能研究帶到全世界頂尖的位置，就必須要借助數(shù)學(xué)這一制勝法寶。

其中，對(duì)于數(shù)學(xué)的重要性，他更是以自己在教學(xué)方面對(duì)于數(shù)學(xué)的看重為例進(jìn)行強(qiáng)調(diào)：「現(xiàn)在我在普林斯頓大學(xué)教的課表面上是深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)相關(guān)課程，事實(shí)上我的授課重點(diǎn)是面向深度學(xué)習(xí)的數(shù)學(xué)。這是因?yàn)槲艺J(rèn)為數(shù)學(xué)基礎(chǔ)對(duì)于 AI 科研工作者來(lái)說(shuō)非常重要?！?/span>

也正是因?yàn)橹袊?guó)學(xué)生在數(shù)學(xué)方面無(wú)論是質(zhì)還是量都達(dá)到了世界一流的水平，貢三元教授也在看到了他們?cè)?AI 基礎(chǔ)研究方面的極高潛能。 「數(shù)學(xué)好，才能夠在 AI 領(lǐng)域做出革命性的成果。而中國(guó)學(xué)生在這方面擁有極大的優(yōu)勢(shì)，因而對(duì)于中國(guó)學(xué)生而言，AI 絕對(duì)是一個(gè)千載難逢的機(jī)會(huì)?！?/p>

 （完）雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。