0
本文為 AI 研習社編譯的技術(shù)博客，原標題 ：
The base of deep reinforcement-learning-Dual Gradient Descent
作者 | Jonathan Hui
翻譯 | 斯蒂芬?二狗子
校對 | 斯蒂芬?二狗子 審核| 莫青悠 整理 | 菠蘿妹
原文鏈接：
https://medium.com/@jonathan_hui/rl-dual-gradient-descent-fac524c1f049
對偶梯度下降是一個優(yōu)化帶約束目標函數(shù)的常用方法。在強化學習中，該方法可以幫助我們做出更好的決策。
該方法的核心思想是把目標函數(shù)轉(zhuǎn)換為可以迭代優(yōu)化拉格朗日對偶函數(shù)。其中拉格朗日函數(shù) ? 和拉格朗日對偶函數(shù) g 定義為：
其中標量 λ 被稱為拉格朗日乘子。
對偶函數(shù) g 是原始優(yōu)化問題的下限，實際上，若 f 是凸函數(shù)，g和f保持強對偶關(guān)系，即g函數(shù)的最大值等價于優(yōu)化問題的最小。只要找到使得g最大的 λ ，我們就解決了原始優(yōu)化問題。
所以，我們隨機指定 λ 為初始值，使用優(yōu)化方法解決這個無約束的g(λ)。
接下來，我們將應(yīng)用梯度上升來更新 λ 以便最大化g。 g的梯度是：
即為
在下面的步驟1中，我們根據(jù)當前的 λ 值找到最小x，然后我們對g進行梯度上升（步驟2和3）。
先最小化帶有原始x變量的拉格朗日?，再用梯度法更新拉格朗日乘子 λ ，不斷交替著進行這兩種計算。通過這樣重復(fù)迭代，λ、x將收斂。
讓我們想象一下這個算法是如何工作的。
Modified from source
設(shè) y = g(x)， z = f(x)。y 和 z 在來自于空間 G ，我們畫出了與y對應(yīng)的z。我們的解是上面的橙色的點： 空間 G上的最小f同時滿足g(x)= 0。下面的橙色線是拉格朗日函數(shù)。它的斜率等于λ，它接觸G的邊界 。
然后我們使用梯度上升來調(diào)整 λ（斜率），以獲得與 g(x)= 0 接觸G的最大值 f(x) 。
Modified from source
這就是對偶梯度上升法的工作原理。（PPT）
讓我們通過一個示例來分析如何求解的。
那么，拉格朗日乘子是什么？我們可以使用不同d值的等高線圖可視化f函數(shù)。g是約束函數(shù)。
其中 λ 是拉格朗日乘子
對偶梯度下降可以使用任何優(yōu)化方法來最小化具有λ值的拉格朗日函數(shù)。在軌跡優(yōu)化問題中，我們一般使用的優(yōu)化方法為iLQR。然后我們應(yīng)用梯度上升來調(diào)整λ。通過重復(fù)迭代可以找到最優(yōu)解。
想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻？
長按鏈接點擊打開或點擊【強化學習基礎(chǔ)：對偶梯度上升】：
https://ai.yanxishe.com/page/TextTranslation/1427
AI研習社每日更新精彩內(nèi)容，觀看更多精彩內(nèi)容：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
等你來譯：
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
