文献阅读分享：强化学习与大语言模型结合的推荐系统LEA

标题	期刊	年份
Reinforcement Learning-based Recommender Systems with Large Language Models for State Reward and Action Modeling	ACM Symposium on Neural Gaze Detection	2024

🌟 研究背景

在信息过载的时代，推荐系统（RS）成为连接用户与相关内容的桥梁。尤其是基于序列的推荐（Sequential Recommendation），在音乐和视频流媒体服务中显得尤为重要。然而，现有的基于强化学习（RL）的推荐方法在利用历史用户-项目互动数据时，面临如何有效模拟用户反馈的挑战。本文提出了一种利用大型语言模型（LLMs）作为环境（LE）的方法，以增强基于RL的推荐系统。

🔍 相关工作

在推荐系统的研究中，已有工作通过门控循环单元（GRU）、卷积神经网络（CNN）和Transformer等模型进行序列推荐。这些模型主要依赖于监督学习，而自监督强化学习（SSRL）则通过训练RL代理来满足用户期望。然而，如何构建一个提供有意义用户反馈的高质量环境，仍是一个未解决的问题。

🚀 方法介绍

本文的核心在于将LLMs作为环境（LE）来模拟用户行为并为RL推荐系统提供反馈。具体方法如下：

1. 状态模型（SM）：通过对比用户-项目标记交互与正负动作，学习有效的状态表示。
2. 奖励模型（RM）：通过奖励提示，基于用户-项目标记交互和特定动作生成奖励分数。
3. 正反馈增强（LEA）：通过提示LE选择潜在的正反馈，增强有限的离线训练数据。

📊 模型图输入输出转变

模型的输入是用户-项目互动序列，输出是针对每个用户的下一个可能互动的项目。状态模型（SM）将用户的历史互动转换为丰富的状态表示，而奖励模型（RM）则根据这些状态和动作预测奖励。LEA方法进一步通过预测正反馈来增强训练数据。

🧪 实验

实验在两个公开数据集上进行：LFM和Industry。通过比较LEA与传统的RL框架（如SNQN和SA2C），我们发现LEA在多个指标上均显示出优越性。特别是，当结合状态和奖励模型时，性能提升最为显著。

🌈 创新点

• LLMs作为环境（LE）：首次将LLMs应用于模拟用户行为和提供反馈，增强RL推荐系统。
• 正反馈增强（LEA）：提出一种新的方法，通过预测正反馈来丰富离线训练数据，提高模型的泛化能力。
• 参数效率：通过适配器和指令提示，实现了对LLMs的高效微调，无需大幅增加计算资源。