随着互联网的发展人们对于个性化的推荐的准确度的要求更高,互联网的用户对于网上观看电影的需求也是越来越旺盛,电影网站的电影的数量也在持续的增长,现在的网站的电影数量是海量的,个性化的电影推荐系统的精确度对于一个电影网站来说也越来越重要,可以使得用户在该网站的停留时间更加长久,也使得用户在该网站获得自己感兴趣的电影。由于在个性化的电影推荐的领域,电影数据的稀疏性以及用户需要很久的时间才可能会更新数据,这样的数据对于采用神经网络进行在线的电影推荐会导致推荐的结果不准确。本文提出了一种全新的电影推荐框架叫做CF-DQN推荐框架,它是基于协同过滤算法的改进的强化学习的电影推荐框架,用于实时的电影推荐。解决的是电影推荐领域中由于电影推荐的数据的稀疏度很高以及兼顾到推荐的准确性和电影类型的多样性的原因采用混合算法来进行电影的推荐。本文基于用户的协同过滤算法是最早流行的协同过滤算法之一,具有完整的数据集和高精度的算法,然而传统的推荐算法仅考虑了用户的性质而忽略了用户的关系,因此本文中提出了三度信任的关系模型,用来增加用户数据之间的联系,同时由于电影数据的稀疏性很强,需要膨胀用户的数据来提高神经网络训练的效率。由于用户对选择看的电影的类型会因为时间的变化而发生变化,本文提出了对电影评分的时间进行加权,这样使得推荐结果更加的准确。本文采用强化学习的框架对电影数据进行马尔科夫决策过程建模,采用deep Q-learning（DQN）算法作为动作值函数的近似计算,对于实现电影推荐的多样性的目的本文采用的是强化学习框架中的-Greedy随机策略作为最后的推荐结果,来防止出现信息茧的结果。但是在利用DQN网络推荐的过程中也是会存在一定的滞后性,因为在训练神经网络的时候需要的是在一定的步长下才会训练参数,所以这个过程中采用的是改进协同过滤算法的实时推荐部分,两个实时的部分进行同时推荐,这样使得推荐结果更加多样化和实时结果更加的贴切于实际,解决了协同过滤算法使得用户陷入信息茧的弊端。本文用的数据集来自于Movie Lens,在进行了常规的top K的电影推荐的实验后表明基于改进后的协同过滤算法的强化学习的框架在能保证推荐结果准确率的基础上,整体多样性相比于传统的方法协同过滤算法和机器学习的算法等一些混合方法和单纯使用强化学习中的DQN神经网络等都有所提升。