手写系列——VPG算法或REINFORCE算法

参考：

强化学习入门-CSDN博客

重要性采样与优势函数-CSDN博客

理解 标准版的策略梯度算法(Vanilla Policy Gradient) 

代码参考：

Pytorch实现策略梯度（Policy Gradient）算法玩立火柴（CartPole-v0）小游戏_pytorch 策略梯度-CSDN博客

强化学习笔记（六）策略梯度法（Policy Gradient）及Pytorch实现_策略梯度 pytorch-CSDN博客

【强化学习】策略梯度（Policy Gradient，PG）算法_pg算法-CSDN博客

符合直觉的理论推导：

https://zhuanlan.zhihu.com/p/599897265

不符合直觉的理论推导：

CartPole 强化学习详解2 - Policy Gradient_cartport-CSDN博客

【深度强化学习】(3) Policy Gradients 模型解析，附Pytorch完整代码_policy gradient pytorch-CSDN博客

https://zhuanlan.zhihu.com/p/358700228

理论和编码的调和：

https://zhuanlan.zhihu.com/p/491647161

https://zhuanlan.zhihu.com/p/110881517