个性化推荐系统能够提供给用户个性化对象或服务,在减轻信息过载问题方面发挥着至关重要的作用。然而,一个好的推荐系统不仅仅是推荐给用户符合其心意的对象,还要能够挖掘用户的兴趣,因此了解真实场景下影响用户选择的真实原因是非常必要的。在真实场景下,影响用户选择的真实原因是用户的心理动机,根据心理学中对动机的阐述,其主要包括内在动机和外在动机两部分。其中,内在动机是指建立在个体内在想法的基础上的,外在动机是来自于个体外在的影响。然而,在当前推荐模型中,用户的历史选择信息和用户与对象的辅助信息相结合的合理性及优势来源于对内在动机的间接刻画。而当前方法上缺乏对外在动机的刻画,以及对两种动机的联合建模。为了实现对双重动机的联合建模,我们选用了深度学习与强化学习结合的方式。首先我们使用深度学习模型即堆叠多层降噪编码机Stacked Denoising Auto-Encoder(SDAE)模型来利用用户的历史选择信息和用户与对象的辅助信息同时建模用户和对象并得到初步的用户和对象的潜在特征表示,并利用了贝叶斯概率矩阵分解(BPMF)对用户与对象的潜在特征表示进行了优化。在用户和对象的潜在特征表示的基础上,我们提出了基于Q-learning(Off-policy)方法对用户的两种心理动机进行建模,并将心理动机中的效价表现在推荐系统中的奖惩机制。在具体建模中,我们主要有两方面的改进和贡献:(1)基于深度学习模型与BPMF模型的融合,将用户的历史选择信息和用户与对象的辅助信息的融合使得用户和对象的潜在特征表示更加有效并且缓解了数据稀疏和冷启动问题,而且减轻了由深度学习模型参数众多引起的过拟合,提高了模型的准确率。(2)基于Q-learning(Off-policy)的两种心理动机的融合进一步的缓解了冷启动问题,并且使得推荐性能显著提高。为了检验我们提出模型的有效性,我们在两个开源电影数据集上进行实验,并用两个评价指标进行测试,实验表现很好。