0
斯坦福人工智能實驗室（SAIL）的研究人員最近設計了一種方法，能處理那些會隨時間變化的數(shù)據(jù)和環(huán)境，性能優(yōu)于一些領先的強化學習方法，它被命名為LILAC（Lifelong Latent Actor-Critic）。
這一方法使用了潛在變量模型和最大熵策略，以此利用過去的經驗，在動態(tài)環(huán)境中獲得更好的采樣效率和性能。
他們在一篇關于LILAC的論文中寫道：
“我們觀察到，在具有顯著非平穩(wěn)性的各種連續(xù)控制任務中，與最先進的強化學習方法相比，我們的方法帶來了實質性的改進?！崩纾軌蚋玫剡m應環(huán)境，機器人或自主車輛可以在天氣條件變化較多（比如遇到雨雪環(huán)境）引入時運行這一方法。
作者在該動態(tài)強化學習環(huán)境中進行了四個測試，包括來自metaworld基準測試的Sawyer機器人、OpenAI Gym的Half-Cheetah和2D導航任務。
研究人員發(fā)現(xiàn)，與伯克利AI研究院（BAIR）于2018年推出的SAC（Soft Actor Critical）和加州大學伯克利分校（UC Berkeley）研究人員今年早些時候推出的SLAC（Rastic Potential Actor Critic）等頂級強化學習方法相比，LILAC在所有領域都能獲得更高、更穩(wěn)定的回報。
斯坦福大學的研究人員Annie Xie、James Harrison和Chelsea Finn兩周前在arXiv上發(fā)表了一篇關于LILAC的論文。主要作者Xie也與加州大學伯克利分校教授Sergey Levine合作研究SAC和SLAC。
“與這些方法不同，盡管在每一集中都會經歷環(huán)境的持續(xù)變化，但LILAC卻能推斷出未來環(huán)境的變化，并在訓練過程中穩(wěn)步保持高回報?！?/p>
作者說，LILAC與終身學習和在線學習算法有相似之處。元學習和元強化學習算法也試圖快速適應新的設置。
在最近的其他強化學習新聞中，來自Google Brain、卡內基梅隆大學、匹茲堡大學和加州大學伯克利分校的AI研究人員最近又引入了一種新的域適應方法，即在強化學習環(huán)境中改變代理的獎勵函數(shù)。與其他強化學習環(huán)境一樣，該方法試圖使模擬器中的源域更像真實世界中的目標域。
一篇上周發(fā)布的域適配論文指出，“行為主體會因為轉換而受到懲罰，轉換可以表明行為主體是在與源域還是目標域交互。”“在一系列控制任務上的實驗表明，我們的方法可以利用源域來學習在目標域中運行良好的策略，盡管只觀察到目標域的少數(shù)轉換?！?/p>
研究人員修改了獎勵函數(shù)，使用分類器來區(qū)分源域和目標域的轉換。他們在OpenAI Gym用三個任務來測試他們的方法。
雷鋒網雷鋒網
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
