马尔可夫决策过程在无线缓存网络中的应用

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:fantasy1998
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线通信技术的发展,无线传输速率越来越快。人们对无线数据传输的需求也日益增长。与此同时,以内容为中心的数据(视频、音频等)逐渐成为无线数据传输的主流。无线缓存技术就是把这些以内容为中心的数据储存在网络边缘的缓存节点中,从而提高网络的整体性能。本文研究了在缓存节点(存储空间受限)的帮助下,单个蜂窝网络中下行文件传输的调度。具体来说,用户随机地向基站提出文件访问的请求。当文件访问请求到达的时候,基站将该文件多播到发出请求的用户和一些选定的缓存节点。当下一次访问相同文件的用户落在这些缓存节点的覆盖范围内的时候,缓存节点可以代替基站承接文件传输任务。在上述文件有限的生命周期内,由于缓存节点的储存空间受限,文件的放置(到缓存节点)和文件的传输(到用户)需要联合优化。在文件的生命周期中,基站对每次多播传输资源的分配(多播功率和传输符号数量)被建模成一个具有随机阶段数量的动态规划(Dynamic Programming)问题。此类问题无法用现有方法解决,因此,通过将原始问题转换为具有固定阶段数的等效马尔可夫决策过程(Markov Decision Process),本文开发了一种渐近最优的框架来解决该问题。由于动态规划问题常常遇到“维度爆炸”(Curse of Dimensionality)问题,本文提出了一种新颖的近似方法来解决“维度爆炸”问题。具体来说,本文首先设计了一个灵活的框架来降低计算值函数所需要的阶段数,然后用线性近似的方法来近似值函数。其中,本文推导了近似值函数(Approximate Value Function)的解析表达式,而且还推导出准确值函数和近似值函数之间误差的解析上界。基于近似值函数的表达式,本文给出了一种低复杂度的在线资源分配算法。最后,由于近似值函数取决于一些系统参数的统计信息(用户的地理分布、文件的受欢迎程度等)。当这些统计数据未知的时候,本文提出了一种强化学习算法来学习这些参数,从而帮助基站更好地分配传输资源。通过数值仿真表明,与一些基准方案相比,本文所提出的基于近似值函数的低复杂度算法可以显著降低基站的平均传输成本。
其他文献
液晶材料目前广泛的应用于液晶显示器(Liquid Crystal Display,LCD),但是随着显示技术的发展,LCD显示由于其结构带来的缺点,其市场份额慢慢的被有机发光二极管(Organic Light
中小企业作为我国最具活力的微观个体,其对GDP以及税收就业等的贡献已经占据中国经济的半壁江山。但中小企业蓬勃发展的背后不容忽视的问题是中小企业经常在金融市场上遭受金
定量表征单位面积纸张的质量,是最重要的纸张质量评价指标之一。高速印刷机的广泛使用及纸和纸板低定量化的发展趋势,对纸张纤维的匀度分布(主要反映在定量分布上)提出了更加
鬼成像是不同于传统成像的一种新兴成像技术,它凭借系统结构简单、高分辨率、抗干扰性强等优势,受到了广泛的关注。该技术将获取的光强信息进行二阶关联运算,从而重构待测物
光动力疗法作为一种治疗癌症的新方法,越来越受到人们的重视。近年来,酞菁化合物,尤其是多胺类酞菁化合物以其天然的肿瘤靶向功能受到光动力疗法研究者的广泛关注。本论文针
微电子技术被广泛应用于工业生产和国防军事领域,印刷电子作为其中一项重要技术正在逐步取代传统的制造技术。印刷电子与传统制造技术相比,具有方法简单,成本低,绿色环保等优
本文比较了UV汞灯光源和UV-LED光源不同的光谱特性,并用这两种光源对A公司生产的UV印铁光油进行固化测试和性能测试;UV-LED光谱分布是狭窄的单一波峰,并且随着距离变大,光强
近年来,人工智能普及和发展的速度就像飞驰的列车,越来越多研究生物大分子关系的科研人员也乘上了这趟列车。因为相对传统生物医学实验而言,这可以极大地节省研究成本和精力
作为计算机视觉和自然语言处理的交叉领域,图像描述生成近年来一直是一个活跃的研究课题,它的研究有助于多模态社交媒体从非结构化图像数据向结构化文本数据的翻译。传统的研
火成岩是构成地壳的主要岩石之一,蕴藏着重要的矿藏。因此,分析它的矿物组分有着重要意义。然而,传统的岩石矿物分析法步骤繁琐、操作复杂、耗时长、效率低。本文提出在CT成