【摘 要】
:
最近几年,伴随着移动互联网的迅猛发展,互联网已经融入到了我们的日常生活当中,让我们的生活变得越来越便利。然而,随着互联网产生的数据量呈现出爆炸式的增长,我们需要花费
论文部分内容阅读
最近几年,伴随着移动互联网的迅猛发展,互联网已经融入到了我们的日常生活当中,让我们的生活变得越来越便利。然而,随着互联网产生的数据量呈现出爆炸式的增长,我们需要花费越来越多的精力去获取想要的信息。互联网服务提供商们通过搜索引擎,推荐系统等工具为我们从这些海量数据中为挖掘我们最想要的信息。而这些工具的关键是如何基于大数据找到用户想要看到的信息。根据用户意图对信息排序便是重要的解决方法。传统的按照相关度排序和按照重要性排序只能针对少数的简单特征,而无法挖掘复杂信息情况下特征间的关联性。排序学习能够充分发现表征复杂信息的众多特征之间的关联性。本文深入研究排序学习,并通过实验对比发现lambdaMart的建模方式能更准确挖掘排序场景的模式,并且拥有更高的训练效率。针对机器学习方法中的过拟合问题进行了深入研究。同时深入研究分布式系统,实验对比发现基于spark的boosted决策树模型训练效率更高。通过基于spark分布式计算的方式能更高效的训练lambdaMart模型,更快地更新模型,更准确及时的挖掘数据的变化规律。本论文还提出实现特征值压缩的bin算法。基于lambdaMart模型的建模特点,结合spark框架提出特征分布式寻优,和分布式lambda值计算。并提出部分特征采样和特征惩罚因子,在不降低模型训练效率情况下更有效防止过拟合。最后设计并实现算法,实验验证模型解决排序问题的有效性和效率。该研究对解决大数据场景下的排序问题具有重要意义。
其他文献
在移动互联网迅速发展的今天,分析移动用户行为和提高网络服务质量成为移动互联网研究的热点。针对移动互联网用户的数据特点,研究用户的移动性对提高移动互联网网络服务质量
子空间辨识算法作为一种模型辨识方法具有数值计算鲁棒性好、适用于多输入多输出系统、参数化过程简单等优点,因此自上世纪90年代研究发展以来便受到过程辨识及控制领域的极
信息物理融合系统,是一种在传感器网络,计算机控制系统,复杂网络等技术基础上发展起来的新型系统。CPS的作用是在对物理世界全面感知基础上实现的全面控制。它是一种全新的研
随着能源互联网建设的不断推进,电网对电力与信息通信技术的融合提出了更高的要求。电力通信网作为电网调度自动化、电网运营市场化和电网管理信息化的基础,是保证电网安全稳定运行的重要角色。电力需求响应技术作为供电侧与用户侧互动、实现电力系统供需平衡、新能源消纳的新方式,需要以电力通信网作为支撑。电力通信网的网络风险、传输机制、业务重要度和优先级等因素都会对电力需求响应业务的传输和路由产生显著影响。本文针对
随着移动互联网飞速发展,浏览器已经逐渐成为桌面端和移动端的通用平台。通过简单适配就能支持桌面端和移动端多平台,已经成为各种互联网服务的发展方向。同时,服务的类型也
近年来,智能交通系统的应用越来越广泛。车型分类系统是智能交通系统应用领域的重要分支。随着计算机视觉和图像处理等技术的发展,监控场景下的车型分类系统越来越受到关注和
基于内容的图像检索技术一直是一个热门研究方向,在如今互联网络图片及视频资源呈现爆炸式增长的大背景下,CBIR技术能够帮助人们更快更准确地获取到自己想要的信息。深度学习
目的:二十一世纪第二个十年,我国已经进入到人口老龄化的高速发展期,老龄化问题日益突出,老年人的健康问题日益受到社会重视。在此过程中,伴随受到重视的有:如何控制相关的慢性疾病、如何控制和降低慢性病的发生率。如何改善老年人健康状况,这些都已成为国家和社会关注的重要问题。引导人民群众的科学身体活动已成为各国提高公民生活质量的措施之一。本研究以计划行为理论为基础,选取长沙市老年人作为调查对象,对其发放调查
随着用户数量急剧增加,服务类型和需求日趋多样,通信技术取得了长足进步,移动通信经历了 2G,3G,4G技术的跨越式发展。为了保证信号互不干扰,彼此独立,不同制式划分了不同频段
物流作为当今快速发展的产业,是经济领域的黑大陆,在国民与国家经济发展中的作用越来越大。但是在物流产业当今高速繁荣发展的同时,也暴露出了许多非常糟糕的问题,在这些问题