0
| 本文作者： sanman | 2018-06-16 16:45 |
雷鋒網(wǎng) AI 科技評論按：2018 年 5 月 31 日-6 月 1 日，中國自動化學會在中國科學院自動化研究所成功舉辦第 5 期智能自動化學科前沿講習班，主題為「深度與寬度強化學習」。
如何賦予機器自主學習的能力，一直是人工智能領域的研究熱點。在越來越多的復雜現(xiàn)實場景任務中，需要利用深度學習、寬度學習來自動學習大規(guī)模輸入數(shù)據(jù)的抽象表征，并以此表征為依據(jù)進行自我激勵的強化學習，優(yōu)化解決問題的策略。深度與寬度強化學習技術在游戲、機器人控制、參數(shù)優(yōu)化、機器視覺等領域中的成功應用，使其被認為是邁向通用人工智能的重要途徑。
本期講習班邀請有澳門大學講座教授，中國自動化學會副理事長陳俊龍，清華大學教授宋士吉，北京交通大學教授侯忠生，國防科技大學教授徐昕，中國中車首席專家楊穎，中科院研究員趙冬斌，清華大學教授季向陽，西安交通大學教授陳霸東，浙江大學教授劉勇，清華大學副教授游科友等十位學者就深度與寬度強化學習技術在游戲、機器人控制、參數(shù)優(yōu)化、機器視覺等領域中的成功應用進行報告。
雷鋒網(wǎng) AI 科技評論在本文中將對 6 月 1 日楊穎、趙冬斌、劉勇、游科友、徐昕的 5 場精彩報告進行介紹。
楊穎是中國中車首席專家，教授級高級工程師，中車株洲電力機車有限公司副總工程師。
本報告專注于智慧列車相關內(nèi)容，中國的軌道交通發(fā)展迅猛，列車數(shù)量在過去六年里幾乎翻了兩番。傳統(tǒng)的定期保養(yǎng)模式現(xiàn)在問題重重，且這種模式花費不菲。在該背景下急需一個新的車輛保養(yǎng)方案。中國中車株洲和深圳鐵路公司聯(lián)合開發(fā)了一個軌道交通車輛預測與健康管理系統(tǒng)來降低車輛保養(yǎng)所需的人工費用以及其他費用。借助 PHM 系統(tǒng)，可以把定期保養(yǎng)模式轉(zhuǎn)換為有條件保養(yǎng)模式，這樣就可以延長檢查保養(yǎng)周期，從而延長列車在安全健康狀態(tài)下的運營時間。
趙冬斌是中國科學院自動化研究所研究員、博導，中國科學院大學崗位教授。
本報告專注于深度強化學習算法的應用。將具有「決策」能力的強化學習 (RL: Reinforcement Learning) 和具有「感知」能力的深度學習 (DL: Deep Learning) 相結(jié)合，形成深度強化學習 (DRL: Deep RL) 方法，成為人工智能 (AI: Artificial Intelligence) 的主要方法之一。2013 年，谷歌 DeepMind 團隊提出了一類 DRL 方法，在視頻游戲上的效果接近或超過人類游戲玩家，成果發(fā)表在 2015 年的《Nature》上。2016 年，相繼發(fā)表了所開發(fā)的基于 DRL 的圍棋算法 AlphaGo，以 5:0 戰(zhàn)勝了歐洲圍棋冠軍和超一流圍棋選手李世石，使圍棋 AI 水平達到了一個前所未有的高度。2017 年初，AlphaGo 的升級程序 Master，與 60 名人類頂級圍棋選手比賽獲得不敗的戰(zhàn)績。2017 年 10 月，DeepMind 團隊提出了 AlphaGo Zero，完全不用人類圍棋棋譜而完勝最高水平的 AlphaGo，再次刷新了人們的認識。并進一步形成通用的 Alpha Zero 算法，超過最頂級的國際象棋和日本將棋 AI。DRL 在視頻游戲、棋類博弈、自動駕駛、醫(yī)療等領域的應用日益增多。本報告介紹了強化學習、深度學習和深度強化學習算法，以及在各個領域的典型應用。
劉勇是浙江大學教授、博導，浙江大學求是青年學者。
本報告專注于正則化深度學習方法。近年來，隨著人工智能技術的飛速發(fā)展，深度神經(jīng)網(wǎng)絡技術在圖像分析、語音識別、自然語言理解等難點問題中都取得了十分顯著的應用成果。然而該技術在機器人感知領域的應用相對而言仍然不夠成熟，主要源于深度學習往往需要大量的訓練樣本來避免過擬合、提升泛化能力，從而降低其在測試樣本上的泛化誤差，而機器人環(huán)境感知中涉及的任務與環(huán)境具有多樣化特性，且嚴重依賴于機器人硬件平臺，因而難以針對機器人各感知任務提供大量標注樣本；其次，對于解不唯一的病態(tài)問題，即使提供大量的訓練數(shù)據(jù)，深度學習方法也難以在測試數(shù)據(jù)上提供理想的估計，而機器人感知任務中所涉及的距離估計、模型重構(gòu)等問題就是典型的病態(tài)問題，其輸入中沒有包含對應到唯一輸出的足夠信息。針對上述問題，本報告以提升深度學習泛化能力為目標、以嵌入先驗知識的正則化方法為手段、以機器人環(huán)境感知為應用背景進行了介紹。
總體上看目前劉勇教授研究內(nèi)容共有四項，分別是：
? 隱層正則約束：圖正則自編碼器
? 結(jié)構(gòu)正則約束：語義正則網(wǎng)絡
? 結(jié)構(gòu)正則約束：嵌套殘差網(wǎng)絡
? 輸出正則約束：深度移動立方體網(wǎng)絡
就目前的研究結(jié)果來說，正則化統(tǒng)一框架下深度學習性能有明顯的提升，在一系列機器人環(huán)境感知應用上取得當前領先表現(xiàn)。在接下來的工作中，劉勇教授團隊將專注于無監(jiān)督學習，定性與定量感知任務相結(jié)合，結(jié)合機器人聲學、觸覺等傳感器等內(nèi)容。
游科友是清華大學副教授、博導，國家優(yōu)青，國家青年千人。
本報告專注于分布式優(yōu)化算法等問題，隨著訓練參數(shù)與樣本規(guī)模的的急激增長，深度學習在實際應用系統(tǒng)中顯示出了巨大的應用前景。分布式與并行優(yōu)化是指通過多求解器起來協(xié)作求解的一類優(yōu)化問題，其在大規(guī)模數(shù)值計算、機器學習、資源分配、傳感器網(wǎng)絡等有重要的研究意義和應用價值，并成為了大規(guī)模優(yōu)化與學習中最具挑戰(zhàn)性的問題之一。本報告首先討論了分布式優(yōu)化的幾個典型難題；其次。以魯棒性凸優(yōu)化為例，提出了分布式原-對偶求解算法與分布式 Polyak 算法，并以嚴格證明了算法的有效性。
游科友老師團隊的在本報告中提到的主要內(nèi)容包括：
? 介紹分布式優(yōu)化的關鍵特征
? 他們設計的用來解決魯棒性凸優(yōu)化的分布式算法可以保證概率上最優(yōu)
? 他們設計了一個用于分布式優(yōu)化的分布式異步算法，并可以充分證明其收斂性? 他們設計了一個計算向量中心性的分布式算法，并可充分證明其收斂性
徐昕是國防科技大學教授、博導，國防科技卓越青年人才。
本報告專注于強化學習的優(yōu)化方法。以強化學習 (reinforcement learning) 為代表的自主學習技術對于提升各類機器人系統(tǒng)的優(yōu)化決策與控制性能具有重要意義。在復雜不確定環(huán)境中機器人系統(tǒng)面臨諸多優(yōu)化決策與控制問題。面對這些問題，徐昕教授介紹了自評價學習在控制系統(tǒng)中的應用，自評價學習控制中的特征表示方法，以及滾動優(yōu)化的方法。
以上是雷鋒網(wǎng) AI 科技評論全部報道，中國自動化學會第 5 期智能自動化學科前沿講習班。兩天時間，十位專家為大家?guī)Я耸志视指韶浭愕膱蟾妫瑢ι疃扰c寬度強化學習技術在游戲、機器人控制、參數(shù)優(yōu)化、機器視覺等領域中的成功應用進行了深入介紹。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
