0
| 本文作者： 老王 | 2017-03-28 10:12 |
雷鋒網(wǎng)按：2016年無(wú)疑是深度學(xué)習(xí)最為火熱的一年，深度學(xué)習(xí)在語(yǔ)音、圖像、自然語(yǔ)言處理等領(lǐng)域取得非常突出的成果，成了最引人注目的技術(shù)熱點(diǎn)之一。雷鋒網(wǎng)也報(bào)道過(guò)多次關(guān)于Google、Facebook、微軟、百度在內(nèi)的各大技術(shù)巨頭都在不遺余力地推進(jìn)深度學(xué)習(xí)的研發(fā)和應(yīng)用。
2017年深度學(xué)習(xí)的勢(shì)頭依舊迅猛，并以更快的速度滲透在各個(gè)行業(yè)當(dāng)中，對(duì)世界產(chǎn)生深遠(yuǎn)影響。
深度學(xué)習(xí)不但使得機(jī)器學(xué)習(xí)能夠?qū)崿F(xiàn)眾多的應(yīng)用，而且拓展了人工智能的領(lǐng)域范圍，并使得機(jī)器輔助功能都變?yōu)榭赡堋Ｆ鋺?yīng)用領(lǐng)域正在加速滲透到很多領(lǐng)域，也催生了深度學(xué)習(xí)與其它應(yīng)用技術(shù)的加速融合。
為提升一線科研人員更加深入了解深度學(xué)習(xí)，中國(guó)電子學(xué)會(huì)于2017年3月25-26日在北京舉辦了“2017全國(guó)深度學(xué)習(xí)技術(shù)應(yīng)用大會(huì)”，中國(guó)電子學(xué)會(huì)林潤(rùn)華副秘書(shū)長(zhǎng)到會(huì)并講話。大會(huì)主席王亮研究員，大會(huì)副主席季向陽(yáng)教授、俞俊教授主持了大會(huì)的專家報(bào)告。
會(huì)議邀請(qǐng)到了國(guó)內(nèi)深度學(xué)習(xí)技術(shù)領(lǐng)域的著名專家就深度學(xué)習(xí)技術(shù)的應(yīng)用和最新動(dòng)態(tài)做特邀報(bào)告。與此同時(shí)，中國(guó)電子學(xué)會(huì)也請(qǐng)到了深度學(xué)習(xí)技術(shù)相關(guān)科研單位和高新技術(shù)企業(yè)，宣傳展示他們?cè)谏疃葘W(xué)習(xí)技術(shù)領(lǐng)域的研究成果、新產(chǎn)品和市場(chǎng)化內(nèi)容。
出席此次活動(dòng)的嘉賓有（按報(bào)告議程排序）：中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院陳恩紅教授、微軟亞洲研究院研究員楊奎元博士、浙江大學(xué)人工智能研究院所所長(zhǎng)吳飛教授、IBM中國(guó)研究院研究總監(jiān)蘇中博士、北京大學(xué)數(shù)字媒體研究所副所長(zhǎng)王亦洲教授，百度IDL技術(shù)方向負(fù)責(zé)人周杰、清華大學(xué)自動(dòng)化系季向陽(yáng)教授、今日頭條實(shí)驗(yàn)室技術(shù)總監(jiān)王長(zhǎng)虎教授、蘇州大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng)張民教授、NVIDIA中國(guó)區(qū)高性能計(jì)算及Applied Deep Learning 部門(mén)技術(shù)經(jīng)理賴俊杰博士、中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心副研究員趙地博士、華南理工大學(xué)二級(jí)教授金連文、格靈深瞳CTO鄧亞峰、中科院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室研究員黃凱奇博士。
以下為14位嘉賓在“2017全國(guó)深度學(xué)習(xí)技術(shù)應(yīng)用大會(huì)”中所做的報(bào)告，雷鋒網(wǎng)對(duì)大會(huì)進(jìn)行了全程報(bào)道：
首先，中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院陳恩紅教授做了《面向自然語(yǔ)言處理的深度學(xué)習(xí)方法及應(yīng)用》的報(bào)告，這次報(bào)告回顧和討論了深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的最新研究進(jìn)展，然后重點(diǎn)介紹深度學(xué)習(xí)方法在彈幕語(yǔ)義表示，詩(shī)歌生成，實(shí)體蘊(yùn)含關(guān)系識(shí)別，試題難度預(yù)測(cè)的相關(guān)應(yīng)用。
人工智能需要大量的人工，包括標(biāo)注大量訓(xùn)練數(shù)據(jù)，設(shè)計(jì)數(shù)據(jù)表征、模型等。深度學(xué)習(xí)將數(shù)據(jù)表征融進(jìn)了模型的端到端學(xué)習(xí)，在大量任務(wù)中學(xué)得了遠(yuǎn)優(yōu)于專家設(shè)計(jì)的數(shù)據(jù)表征，釋放了這部分的人工投入，然而標(biāo)注訓(xùn)練數(shù)據(jù)仍然需要大量的人工。
針對(duì)這一問(wèn)題，微軟亞洲研究院研究員楊奎元博士發(fā)表了《基于大規(guī)模弱標(biāo)注數(shù)據(jù)的深度學(xué)習(xí)》的報(bào)告，楊奎元博士指出：為進(jìn)一步減少這一部分的人工，他們團(tuán)隊(duì)對(duì)弱標(biāo)注數(shù)據(jù)下的深度學(xué)習(xí)進(jìn)行了一些探索。隨著所要求監(jiān)督信息的減弱，可用訓(xùn)練數(shù)據(jù)會(huì)大量增加。同時(shí)，深度模型已經(jīng)具有了很好的推廣能力，研究員們可用深度模型代替人工對(duì)弱標(biāo)注數(shù)據(jù)自動(dòng)進(jìn)行強(qiáng)標(biāo)注，生成更高質(zhì)量的訓(xùn)練數(shù)據(jù)，從而訓(xùn)練更好的模型。
近年來(lái)，以數(shù)據(jù)驅(qū)動(dòng)為核心的深度學(xué)習(xí)通過(guò)逐層抽象方式形成原始數(shù)據(jù)區(qū)別性表達(dá)，在自然語(yǔ)言、語(yǔ)音和計(jì)算機(jī)視覺(jué)等領(lǐng)域取得了顯著進(jìn)展。但是，這一任務(wù)式、刺激式的學(xué)習(xí)機(jī)制依賴于大量標(biāo)注數(shù)據(jù)，如何形成解釋性強(qiáng)、數(shù)據(jù)依賴靈活和知識(shí)引導(dǎo)的模型和方法，是人工智能下一步發(fā)展面臨主要挑戰(zhàn)之一。
浙江大學(xué)人工智能研究院所所長(zhǎng)吳飛教授發(fā)表報(bào)告：《序列學(xué)習(xí)——數(shù)據(jù)驅(qū)動(dòng)與知識(shí)引導(dǎo)相結(jié)合的人工智能模型與方法》，對(duì)這一挑戰(zhàn)問(wèn)題的若干思考以及在知識(shí)圖譜構(gòu)建、Q-A問(wèn)答和序列學(xué)習(xí)等方面的一些研究工作。
深度學(xué)習(xí)的能力來(lái)自于帶有標(biāo)注信息的大數(shù)據(jù)學(xué)習(xí)樣本同深層神經(jīng)元網(wǎng)絡(luò)在復(fù)雜特征空間上泛化能力這兩方面的完美結(jié)合。深層神經(jīng)元網(wǎng)絡(luò)實(shí)質(zhì)上是基于人們對(duì)于腦的初步認(rèn)識(shí)基礎(chǔ)上的一種仿生模擬，深度學(xué)習(xí)在一些應(yīng)用的突破從一個(gè)側(cè)面展示了腦機(jī)理的研究對(duì)于智能技術(shù)發(fā)展的重要性。
IBM中國(guó)研究院研究總監(jiān)蘇中博士針對(duì)腦機(jī)理這一議題，發(fā)表了《Computing Future:Brain Inspired and Quantum》報(bào)告，蘇中博士提到，智能的本質(zhì)來(lái)源于腦的工作機(jī)理，我們對(duì)于腦不斷的認(rèn)識(shí)、不斷的理解，應(yīng)用到我們的計(jì)算技術(shù)中，這就是腦啟發(fā)計(jì)算，也是IBM認(rèn)知計(jì)算中一個(gè)重要的方向。
有了深度學(xué)習(xí)之后，對(duì)傳統(tǒng)的計(jì)算機(jī)視覺(jué)研究造成了一定的沖擊，這之后，視覺(jué)的機(jī)理和特點(diǎn)會(huì)是未來(lái)研究的一大方向。北京大學(xué)數(shù)字媒體研究所副所長(zhǎng)王亦洲博士在大會(huì)中講解了《基于自主學(xué)習(xí)的視覺(jué)搜索與導(dǎo)航》這一報(bào)告。
深度學(xué)習(xí)近兩年的成功離不開(kāi)他在工業(yè)界中的大量應(yīng)用，百度IDL深度學(xué)習(xí)技術(shù)方向負(fù)責(zé)人周杰根據(jù)他在工業(yè)界的經(jīng)驗(yàn)，在大會(huì)中作了以《深度學(xué)習(xí)這兩三年》為主題的報(bào)告，內(nèi)容包括優(yōu)化算法、模型設(shè)計(jì)、并行工程、語(yǔ)言理解、長(zhǎng)短記憶時(shí)序模型、注意力模型、語(yǔ)義角色標(biāo)注、機(jī)器翻譯、蜂巢廣告觸發(fā)、卷積神經(jīng)網(wǎng)絡(luò)、時(shí)序神經(jīng)網(wǎng)絡(luò)、Image Caption和Image QA等。
隨后，清華大學(xué)自動(dòng)化系季向陽(yáng)教授在大會(huì)中做了《物體檢測(cè)與分割深度學(xué)習(xí)的發(fā)展及應(yīng)用》的報(bào)告，季向陽(yáng)教授首先介紹全卷積網(wǎng)絡(luò)在語(yǔ)義分割與實(shí)例掩模研究方面的進(jìn)展，之后介紹面向?qū)嵗P(guān)聯(lián)語(yǔ)義分割任務(wù)的端到端全卷積網(wǎng)絡(luò)解決方案。該網(wǎng)絡(luò)結(jié)構(gòu)具有高度的集成性和高效性，可以聯(lián)合執(zhí)行實(shí)例預(yù)測(cè)和分類，其中的卷積表示層可以被兩子任務(wù)所共享，從而在分割的精度和效率性能上取得良好的效果。進(jìn)一步從全光函數(shù)定義出發(fā)，探討如何從傳統(tǒng)單一維度成像拓展到多維耦合成像與解耦重建的計(jì)算攝像，實(shí)現(xiàn)多維多尺度的傳感成像方法。最后，針對(duì)雷達(dá)、定位信息（GPS，里程計(jì)，慣導(dǎo)等）等具有多傳感信息的自動(dòng)駕駛平臺(tái)，介紹端到端視覺(jué)系統(tǒng)學(xué)習(xí)中目標(biāo)（如紅綠燈、車道線與行人等）的識(shí)別與檢測(cè)算法以及相應(yīng)的硬件實(shí)現(xiàn)。
系統(tǒng)地研究如何把一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)變化成為一個(gè)新的網(wǎng)絡(luò)，并且保持原有神經(jīng)網(wǎng)絡(luò)的功能完全不變，該過(guò)程定義為網(wǎng)絡(luò)變形。
針對(duì)網(wǎng)絡(luò)變形的主題，今日頭條人工智能實(shí)驗(yàn)室技術(shù)總監(jiān)王長(zhǎng)虎博士發(fā)表報(bào)告：《網(wǎng)絡(luò)變形：一種新的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)理念》，王長(zhǎng)虎介紹到：在父網(wǎng)絡(luò)變形之后，我們期望得到的子網(wǎng)絡(luò)能夠完整繼承父網(wǎng)絡(luò)的知識(shí)，同時(shí)在更短的時(shí)間里繼續(xù)增長(zhǎng)為一個(gè)更強(qiáng)大的網(wǎng)絡(luò)。這種網(wǎng)絡(luò)變形的第一個(gè)要求是它能夠處理各種網(wǎng)絡(luò)變化的能力，包括深度的變化，寬度的變化，內(nèi)核大小的變化，甚至是整個(gè)子網(wǎng)絡(luò)的變化。為了滿足這個(gè)要求，我們首先引入網(wǎng)絡(luò)變形方程，然后為所有這些變化類型提出了變形算法。這些變形算法對(duì)于經(jīng)典神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)都適用。網(wǎng)絡(luò)變形的第二個(gè)要求是它能夠處理神經(jīng)網(wǎng)絡(luò)中非線性的能力。為此，我們提出了參數(shù)激活函數(shù)族的概念，以幫助任何非線性連續(xù)激活神經(jīng)元函數(shù)的變形。實(shí)驗(yàn)結(jié)果顯示，我們提出的網(wǎng)絡(luò)變形的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)理念在標(biāo)準(zhǔn)數(shù)據(jù)集和典型的神經(jīng)網(wǎng)絡(luò)上都是有效的。
自然語(yǔ)言理解和機(jī)器翻譯被認(rèn)為是人工智能的核心難題之一，那么什么是自然語(yǔ)言理解？其研究現(xiàn)狀、挑戰(zhàn)和未來(lái)的發(fā)展方向是什么？近兩三年來(lái)，深度學(xué)習(xí)技術(shù)使很多人工智能問(wèn)題的準(zhǔn)確率得到顯著提升，那么深度學(xué)習(xí)技術(shù)為自然語(yǔ)言理解和機(jī)器翻譯帶來(lái)了哪些新的發(fā)展機(jī)遇？它又是如何解決自然語(yǔ)言理解和機(jī)器翻譯問(wèn)題？下一步發(fā)展方向是什么？蘇州大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng)張民教授發(fā)表報(bào)告：《面向自然語(yǔ)言理解和機(jī)器翻譯的深度學(xué)習(xí)》。
GPU作為人工智能計(jì)算的基礎(chǔ)，其核心生產(chǎn)商N(yùn)VIDIA也自然隨著人工智能的火熱進(jìn)入了井噴式的發(fā)展期。此次大會(huì)中，NVIDIA中國(guó)區(qū)高性能計(jì)算及Applied Deep Learning部門(mén)技術(shù)經(jīng)理賴俊杰博士在大會(huì)中做了《深度學(xué)習(xí)應(yīng)用到視頻智能處理的產(chǎn)品化實(shí)踐》的報(bào)告。
3月25日最后的報(bào)告主題是《深度學(xué)習(xí)與醫(yī)療影像大數(shù)據(jù)分析》，由中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心副研究員趙地博士講述。趙地博士說(shuō)道，醫(yī)療大數(shù)據(jù)主要包括電子病歷（Electronic Health Record）數(shù)據(jù)，醫(yī)學(xué)影像數(shù)據(jù)，基因信息數(shù)據(jù)等。其中，醫(yī)學(xué)影像數(shù)據(jù)占現(xiàn)階段醫(yī)療數(shù)據(jù)的絕大部分。如何將醫(yī)療大數(shù)據(jù)運(yùn)用于臨床實(shí)踐？這是醫(yī)學(xué)和計(jì)算機(jī)研究人員都很關(guān)心的問(wèn)題，而智能影像與深度學(xué)習(xí)提供了一個(gè)很好的答案。報(bào)告結(jié)合醫(yī)學(xué)影像大數(shù)據(jù)分析的最新研究進(jìn)展和本課題組在醫(yī)學(xué)影像大數(shù)據(jù)分析領(lǐng)域的工作，特別是在阿爾茨海默病的核磁共振早期診斷為例，介紹了智能影像和深度學(xué)習(xí)在醫(yī)療大數(shù)據(jù)分析與疾病早期診斷領(lǐng)域的應(yīng)用。
3月26日的第一場(chǎng)報(bào)告是由華南理工大學(xué)金連文教授演講，主題為《深度學(xué)習(xí)及其在文字識(shí)別中的應(yīng)用實(shí)踐》。在此報(bào)告中，金連文簡(jiǎn)要回顧了深度學(xué)習(xí)的主要技術(shù)及其在圖像識(shí)別、文字識(shí)別等方面一些最新研究進(jìn)展，同時(shí)介紹基于 Path Signature 及深度學(xué)習(xí)的手寫(xiě)文字識(shí)別新方法，以及面向文字識(shí)別的DropSample、DropSegment等深度學(xué)習(xí)訓(xùn)練技術(shù)，并展示了基于深度學(xué)習(xí)的幾個(gè)應(yīng)用演示系統(tǒng)，包括在線大類別文字識(shí)別、人臉美麗顏值打分、面向特定領(lǐng)域的OCR在線識(shí)別應(yīng)用等演示系統(tǒng)。
作為AI創(chuàng)業(yè)公司的代表之一，格靈深瞳的CTO鄧亞峰也在大會(huì)中發(fā)表報(bào)告《計(jì)算機(jī)視覺(jué)大規(guī)模應(yīng)用的必經(jīng)之路》，鄧亞峰首先介紹了計(jì)算機(jī)視覺(jué)的研究目標(biāo)、應(yīng)用趨勢(shì)及面臨的挑戰(zhàn)和機(jī)遇，其次，就如何讓深度學(xué)習(xí)和數(shù)據(jù)形成良好循環(huán)、深度學(xué)習(xí)遇到depth、讓“感”和“知”互動(dòng)起來(lái)、少即是多、由感知到行動(dòng)等闡述自己的認(rèn)識(shí)，最后，提出計(jì)算機(jī)視覺(jué)大規(guī)模應(yīng)用的必經(jīng)之路。
中科院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室研究員黃凱奇博士在大會(huì)最后做了以《基于深度表達(dá)學(xué)習(xí)的RGB-D物體識(shí)別及場(chǎng)景理解》為題的報(bào)告。黃凱奇博士提到：近十年來(lái)，基于RGB圖片的2D語(yǔ)義理解一直占據(jù)最主流的研究方向。由于RGB圖片在物體或場(chǎng)景表達(dá)中很容易受到外界光線變化以及背景嘈雜的影響，極大的限制了基于RGB圖片的計(jì)算機(jī)算法在實(shí)際中的運(yùn)用。近幾年來(lái)，隨著深度傳感技術(shù)的發(fā)展，像微軟的Kinect，能夠同時(shí)捕捉到高精度的深度圖片以及RGB圖片，結(jié)合兩者很好的彌補(bǔ)了傳統(tǒng)的單一RGB圖片的上述缺陷，為魯棒性好、精度高的物體識(shí)別與場(chǎng)景理解提供了可能性，也極大的推動(dòng)了基于RGB-D的物體識(shí)別及場(chǎng)景理解的研究與應(yīng)用。報(bào)告從以下幾個(gè)方面展開(kāi)：1）探討RGB-D的特征表達(dá)與學(xué)習(xí)，包括人工設(shè)計(jì)特征、無(wú)監(jiān)督學(xué)習(xí)特征以及深度學(xué)習(xí)特征；2）探討RGB-D的模態(tài)融合；3）介紹RGB-D在物體識(shí)別及場(chǎng)景理解的相關(guān)應(yīng)用及進(jìn)展。
中國(guó)電子學(xué)會(huì)主辦的“2017全國(guó)深度學(xué)習(xí)技術(shù)應(yīng)用大會(huì)”在3月26日中午結(jié)束，正如14位嘉賓在報(bào)告中所傳達(dá)的觀念一樣：深度學(xué)習(xí)的出現(xiàn)對(duì)很多傳統(tǒng)的研究方法造成了一定的沖擊，這時(shí)候，順勢(shì)而為地應(yīng)用深度學(xué)習(xí)是符合時(shí)宜的選擇。與此同時(shí)，研究者們也可以把精力投入到其他更深層次的研究中去。而此次大會(huì)無(wú)疑把深度學(xué)習(xí)的應(yīng)用案例以及深度學(xué)習(xí)時(shí)代的新研究方向傳遞給了更多人。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
