PPO

study

---

PPO (Proximal Policy Optimization) §

• PPO 的目標是解決傳統 Policy Gradient 樣本效率差，以及 TRPO 實作過於複雜的問題
• On-Policy 架構
  • 透過 Importance Sampling 技術，重複使用同一批收集到的資料進行多次更新
  • 提升樣本效率
• Trust Region
  • 利用截斷或懲罰機制，限制新策略 ${\pi }_{\theta }$ 與舊策略 ${\pi }_{{\theta }_{old}}$ 之間的差異
  • 防止更新步幅過大導致策略崩壞
• 兩種主要版本
  • PPO1：基於 KL 散度的懲罰 (Adaptive KL Penalty)
  • PPO2：截斷式目標函數 (Clipped Surrogate Objective)

---

PPO1 基於 KL 散度的懲罰 §

將 KL 散度 (兩個 Policy 的差距) 加入目標函數中作為懲罰項

$$J_{PPO}(\theta )=J^{{\theta }^{\prime }}(\theta )-\beta \cdot KL(\theta ,{\theta }^{\prime })$$

• KL 散度
  • 衡量的是行為上的距離（Output action distribution 的差異），而非參數數值上的距離
• 動態調整 $\beta$ (Adaptive KL)：
  • 若 $KL>K{L}_{max}$：代表差距太大，增加 $\beta$ (懲罰加重)
  • 若 $KL<K{L}_{min}$：代表差距太小 (太保守)，減少 $\beta$ (懲罰減輕)
• 前身 TRPO 是將 KL 設為硬性限制，難以計算，PPO 則設為懲罰項，較易實作
• 但效果未顯著優於 PPO2 的 Clip 版本，較少使用

Kullback-Leibler Divergence §

The KLD is a measure of how much one probability distribution differs from another.

It compares the true distribution (the data $P_X$) with the approximate distribution (the model $Q_X$) by calculating the difference between the cross entropy and the entropy.

$$\begin{array}{rl}{D}_{\text{KL}}(P_x\Vert Q_x)& =H(P_X,Q_X)-H(P_X)\\ & ={\mathbb{E}}_{x\sim {\mathcal{P}}_x}\left[\log \frac{P_x(x)}{Q_x(x)}\right]\\ & =\sum _{x\in \Omega }{P}_x(x)\log \frac{P_x(x)}{Q_x(x)}\end{array}$$

• $D_{\text{KL}}(P_x\Vert Q_x)\ge 0\forall P_x,Q_x$

• $D_{\text{KL}}(P_x\Vert Q_x)=0⟺P_x=Q_x$

Why it is not a distance?

• Not symmetric:

$D_{\text{KL}}(P_x\Vert Q_x)\ne D_{\text{KL}}(Q_x\Vert P_x)$

• Not triangle inequality:

$D_{\text{KL}}(P_x\Vert Q_x)+D_{\text{KL}}(Q_x\Vert R_x)\ngeqq D_{\text{KL}}(P_x\Vert R_x)$

Forward KL: $D_{\text{KL}}(P\parallel Q)$

• Approximates $P$ with $Q$

• Penalizes: $Q$ heavily if it assigns low probability to regions where $P$ has high probability ($\log \frac{P(x)}{Q(x)}$ becomes very large).

• Behavior: Mass-covering, $Q$ can’t be too small in any region where $P$ supports, $Q$ spreads probability mass to cover all regions where $P$ exists.

Reverse KL: $D_{\text{KL}}(Q\parallel P)$

• Approximates $Q$ with $P$

• Penalizes: $Q$ if it assigns high probability to regions where $P$ has low probability ($\log \frac{Q(x)}{P(x)}$ becomes very large).

• Behavior: Mode-seeking, $Q$ focuses on matching a single mode (peak) of $P$, it needs to be small in regions where $P$ is small.

---

Link to original

• KL 散度不是對稱的，以下是 Forward 與 Backward，若希望兩個分佈越接近，KL 值要越小

$$\begin{array}{r}{D}_{\text{KL}}(P_x\Vert Q_x)=\sum _{x\in \Omega }{P}_x(x)\log \frac{P_x(x)}{Q_x(x)}\end{array}$$

Forward 下，$Q$ 不能在任何 $P$ 有值的地方太小，否則 log term 會很大，傾向尋求平均， $Q$ 對於整個 $P$ 完整的覆蓋。

$$\begin{array}{r}{D}_{\text{KL}}(Q_x\Vert P_x)=\sum _{x\in \Omega }{Q}_x(x)\log \frac{Q_x(x)}{P_x(x)}\end{array}$$

Backward 下，$Q$ 不能在任何 $P$ 小的地方太大，否則 log term 會很大，傾向尋求峰值， $Q$ 擬合 $P$ 的某個高機率區。

---

PPO2 截斷式目標函數 §

不計算複雜的 KL 散度，直接用 clip 函數限制比例，是目前較常用的版本

$$L(\theta )=\sum _{(s,a)}\min \left(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }^{\prime }}(a|s)}A,\text{ clip}\left(\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }^{\prime }}(a|s)},1-ϵ,1+ϵ\right)A\right)$$

• $ϵ$：Hyperparameter (如 0.2)，限制更新幅度
• 若 $A>0$ (好動作)：希望增加機率 ${\pi }_{\theta }$，但若比值超過 $1+ϵ$，就截斷不再獎勵避免機率增加過頭導致分佈偏差太大
• 若 $A<0$ (壞動作)：希望減少機率 ${\pi }_{\theta }$，但若比值低於 $1-ϵ$，就截斷不再處罰
• 確保 ${\pi }_{\theta }$ 更新後的行為與 ${\pi }_{{\theta }^{\prime }}$ 保持在一定範圍內 (Trust Region)，既享受 Off-Policy 的效率，又維持訓練的穩定性
• min 的作用：悲觀下界，在原始效益與截斷後效益中永遠選擇較差者
• 當比值越界時，min 強制選取邊界值（常數），使梯度歸零並停止該次更新，防止因單次步幅過大導致策略崩潰，確保模型是透過多次迭代穩健地進步