小讯AIGC

强化学习（RL）将推荐系统建模为序列决策过程，支持长期效益和非连续指标的优化，是推荐系统领域的主流建模范式之一。然而，传统 RL 推荐系统受困于状态建模难、动作空间大、奖励设计复杂、反馈稀疏延迟及模拟环境失真等瓶颈。近期，大语言模型（LLM）的崛起带来了新机遇。LLM 凭借常识储备、推理能力和语义天赋，不仅能让智能体更懂用户，还能充当高保真的环境模拟器。LLM 与 RL 的结合开启了更加智能、稳健且可信的LLM-RL 协同推荐系统新范式。

针对这一新兴方向，研究团队联合发布了首篇聚焦 LLM-RL 协同推荐的系统性综述。该论文创新性地提出五大主流协同范式，全面总结评估体系框架，深入分析了当前关键挑战与未来发展路径，为该领域的研究者和工程师提供了一份从方法范式到评测体系、从研究现状到创新方向的一站式参考指南。

• 论文标题：Integrating Large Language Models with Reinforcement Learning: A Survey of LLM-RL Synergistic Recommendation
• 论文链接：https://doi.org/10.36227/techrxiv.177155631.17855475/v1

一、 研究背景

1. 演进之路：从「引擎」驱动到「智能」协同

推荐系统的技术演进，经历了从「静态预测」到「动态决策」，再到「认知协同」的阶段性跃迁。其核心逻辑是驱动力从简单匹配机制升级为具备环境适应能力的决策引擎，进一步迈向融合世界知识与推理能力的智能协同体系。

• 早期推荐系统：通常假设用户偏好相对静态，依赖于简单的相似度匹配或评分预测，对动态环境的适应能力有限，就像早期的「人力驱动车辆」面对上坡路段时显得力不从心。
• RL 推荐系统：从静态预测转向动态交互。RL 作为核心决策机制，通过与环境的持续交互实现用户留存等长期效益的优化。就如「发动机」（Engine）为车辆提供持续的核心驱动力，RL 为推荐系统在动态和随机环境中运行提供了规范化的框架。
• LLM-RL 协同推荐系统：RL 提供动态建模框架，LLM 则凭借世界知识、语义理解与推理能力，在 RL pipeline 中扮演关键角色，共同构建起更智能稳健的系统。LLM 的引入，恰如现代汽车集成了「电动机」：它推动系统从纯机械结构向智能化、软件驱动的平台跨越。LLM-RL 协同推荐系统将推荐过程从低维、被动的决策，进化为高维、具备认知能力的深度交互。

2. 核心机遇：LLM 的引入带来了什么变化？

大语言模型的引入并非简单的技术叠加，而是对推荐本质的一次重塑。它凭借强大的认知与推理能力，在表征空间、智能体定位、环境建模与交互范式这四大维度上，为推荐系统带来了前所未有的质变：

• 重塑表征空间：从「稀疏的 ID」到「丰富的语义」。
• 重塑智能体定位：从「固化模型」到「智能动态决策者」。
• 重塑环境建模：从「黑盒模拟」到「高保真仿真」。
• 重塑交互范式：从「单向推送隐式反馈」到「双向共建灵活交互」。

二、 LLM-RL 协同推荐综述解析

1. 五大协同范式：LLM 与 RL 如何协同？

在 LLM-RL 协同驱动的推荐系统中，LLM 以深度融合、广泛参与的方式融入强化学习流程的诸多环节。推荐系统的架构从「智能体-环境」二元范式，演进为由多个 LLM 增强的功能模块共同构成的、更灵活、更富层次的协同框架。

在智能体（Agent）一侧，LLM 可以胜任多重角色：

• LLM as Policy（策略）：担任推荐系统的核心决策模块，根据状态生成推荐动作或排序列表。优化路径包括采用 PPO、GRPO 等 RL 算法的显式奖励优化，或通过 DPO 直接拟合用户偏好的隐式对齐。
• LLM as Reasoner（推理器）：对多样化的输入信息进行综合分析，提炼出高层语义表征或推断用户偏好，并将这些输出传递给策略模块。
• LLM as Representer（表示器）：将原始、稀疏、异构的输入数据转化为蕴含深层意图的高维语义特征，突破传统 ID 化表征的局限。
• LLM as Explainer（解释器）：为推荐结果生成解释，从而增强系统的可信度与可解释性。不仅向用户输出解释，还可以将解释作为中间推理步骤。

在环境（Environment）一侧，LLM 主要扮演：

• LLM as Simulator（模拟器）：生成更丰富的奖励信号与交互反馈，使系统与真实应用场景的对齐更精准，解决真实环境测试成本高、风险大的痛点。部分基于 LLM 的模拟器具备可训练、可优化的能力。通过针对性的微调与迭代，能够在行为真实感、逻辑一致性等维度上实现显著提升。

除以上 5 种主流协同范式，学界与业界仍在探索更多元的路径：

• 在智能体（Agent）一侧，LLM 正从单纯的推荐生成器，进化为智能体的高层控制器：它可以是制定探索路径的策略规划师（Planner），提供专家建议的决策顾问（Adviser），亦或是反思决策偏差的评估反思者（Reflector）。
• 在环境（Environment）一侧，LLM 还扮演着奖励塑形器（Reward Formulator）、状态表征器（Representer）与仿真推理器（Reasoner）等角色。

2. 标准评估协议：如何衡量系统表现？

为了全面、客观地评价 LLM-RL 协同推荐系统的性能，本综述从任务（Task）、数据集（Dataset）、评估策略（Strategy）以及指标（Metric）四个关键维度构建了标准化的评估协议。

任务（Task）

任务形式：

• 序列推荐：基于用户历史行为预测下一个交互物品。
• 交互式推荐：系统与用户之间进行多轮交互，实时响应用户反馈。
• 评分预测：预测用户对物品的显式评分，常用于评估模型的推理能力。
• 对话式推荐：系统通过自然语言与用户进行多轮对话，主动澄清偏好、细化需求。
• 点击率预测：预测用户点击行为。
• 其他领域任务：岗位推荐、医疗推荐、兴趣点推荐、跨域推荐、可解释推荐等。

任务目标：

• 准确性：最基础的目标，旨在最大化推荐物品与用户偏好的匹配度。
• 可解释性：聚焦于生成人类可理解的推荐理由。
• 新颖性：鼓励系统推荐用户未曾接触或意料之外的物品。
• 多样性：要求推荐列表在类别、属性或语义内容上覆盖更广。
• 安全性：安全性在高风险领域尤为重要。
• 无偏性：旨在缓解推荐系统中固有的系统性偏差。

数据集（Dataset）

当前研究使用的数据集呈现「头部集中、长尾分布」的特征：

• 传统推荐数据集：如 Amazon Review、MovieLens 等，因其通用性和可复现性成为绝大多数研究的首选。
• 对话推荐数据集：如 ReDial、OpenDialKG 等，适用于对话式推荐任务，强调多轮语言交互能力。
• 专用领域数据集：如 Foursquare（POI）、BOSS Zhipin（岗位推荐）、MIMIC/eICU（医疗）、COCO（课程推荐）等。

值得注意的是，工业级数据集（如 Taobao、KuaiRec）的使用比例正在上升，表明研究正从学术基准向真实大规模系统迁移。

评估策略（Strategy）

• 离线评估（Offline）：基于静态历史数据进行训练和测试，成本低、可复现，是目前最主流的方式。但受限于历史策略带来的各种偏差，难以真实反映系统在动态环境中的表现。
• 在线评估（Online）：通过 A/B 测试在真实用户环境中验证系统效果，最真实有效，但成本高、风险大，多用于工业界部署验证。
• 仿真评估（Simulation）：利用 LLM 构建用户模拟器，在可控环境中进行策略训练与评估。低成本、可重复、支持长期交互，但可靠性高度依赖于仿真器的真实性。

指标（Metric）

• 推荐导向指标
• 输出型指标：主要为准确性指标，如 NDCG、HR 等排名指标；RMSE、MAE 等评分预测指标；AUC、Logloss 等 CTR 指标。还包括多样性（DivRatio、CV）、公平性（MGU、DGU）、新颖性（Serendipity）等方面的指标。
• 过程型指标：如累计奖励（Reward）、平均交互轮次（Average Turn）等。
• 语言导向指标
• 客观指标：通过将生成的文本与参考文本或真实数据进行对比，来定量评估其质量，如 BLEU、ROUGE 等。
• 主观指标：通过人工评分或「LLM 作为裁判」的方式，评估生成文本的信息量、说服力等维度。

3. 挑战与未来方向

LLM-RL 协同推荐系统带来了范式级的能力跃升，但也暴露出系统性风险与工程瓶颈。

• 算法去偏
• 协同推荐系统面临「LLM 固有偏差」与「RL 累积偏差」的双重压力。
• 未来方向：从传统的单一模块去偏，转向系统级治理。通过建立偏见溯源机制，阻断偏差在推理与决策链条中的自我强化，确保推荐结果的公平性与多样性。
• 隐私与安全
• LLM 在处理用户历史和意图时，强大的语义推理能力可能导致敏感属性（如身份、偏好）被「无意中泄露」或「过度推断」。
• 未来方向：实现「安全对齐」。通过隐私计算与强化学习的结合，让系统在理解用户的同时，具备自动过滤敏感信息的能力，构建更可靠、更具防御性的智能体。
• 计算效率
• LLM 的巨量参数和 RL 的高频交互之间存在天然的效率矛盾，导致「推理延迟高」、「训练成本大」。
• 未来方向：开发更轻量化的协同框架。例如采用参数高效微调（PEFT）、多智能体协作（将复杂任务拆解给多个小模型）以及优化采样策略，以降低计算开销，实现真正可落地的实时推荐。
• 幻觉治理
• LLM 生成的「虚假反馈」或「逻辑不一致」的输出会误导 RL 策略，导致推荐决策偏离轨道。
• 未来方向：引入「过程监督」与「不确定性感知」。通过对思维链的中间步骤进行事实核查，并赋予系统「自知之明」（识别自身知识边界），在检测到高幻觉风险时自动回退至保守策略。

三、 结语

这篇深度综述揭示了推荐系统从「自动化」向「智能化」跨越的清晰路径。在「双动力」时代，强化学习提供稳定的决策框架，大模型注入更强的认知能力。推荐系统正从效率工具走向智能伙伴，变得更加有温度，也更加有深度。

本文作者来自中国科学技术大学、快手科技、中国人民大学、浙江大学、山东大学、香港科技大学。第一作者高梦瑶，中国科学技术大学 LDS 实验室研究生，研究方向为 LLM 推荐系统；通讯作者高崇铭，中国科学技术大学 LDS 实验室博士后研究员；通讯作者蔡庆芃，快手商业化算法部客户机制中心负责人。