Representation + IL: Policy Contrastive Imitation Learning

2025/5/19 3:40:42 来源：https://blog.csdn.net/wdnmdwsmsa/article/details/144436521 浏览: 次关键词：Representation + IL: Policy Contrastive Imitation Learning

ICML 2023
paper
采用对比学习对状态动作联合表征，并基于表征函数实现奖励函数重构

method

对比学习目标函数如下：
在这里插入图片描述
问题：最小化该损失函数，第一项少了一个负号

得到表征函数 $\Phi$ ，通过计算真是样本与专家样本在表征后的余弦相似度，作为奖励函数（表征越相似，奖励越大）：
在这里插入图片描述
实践中，由于 Φ 频繁更新，计算期望值可能会很耗时。因此使用随机专家样本来计算奖励。最后基于DrQ-v2算法训练策略

在这里插入图片描述

基于表征的奖励函数对比GAIL：
在这里插入图片描述

本网仅为发布的内容提供存储空间，不对发表、转载的内容提供任何形式的保证。凡本网注明“来源：XXX网络”的作品，均转载自其它媒体，著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处。

我们尊重并感谢每一位作者，均已注明文章来源和作者。如因作品内容、版权或其它问题，请及时与我们联系，联系邮箱：809451989@qq.com，投稿邮箱：809451989@qq.com