基于半监督学习的分布式在线流量识别研究

来源 :济南大学 | 被引量 : 5次 | 上传用户:weipan51
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的不断发展,网络规模逐渐增大并涌现出各种新的网络应用(如P2P、IPTV等)。这些新型流量的急速增长一方面造成严重的带宽负担,加剧网络的拥塞状况;另一方面恶意流量也频繁出现在互联网上,不仅加快带宽的消耗而且对网络安全也提出很大的挑战。网络应用的增加,导致网络速率不断增长,网络节点处的网络管理设备面临越来越大的压力。如何通过有效的技术手段实时识别和监测流量,从而管理和控制各种恶意流量,提供合理的带宽资源和服务,成为当前网络管理面临的重要难题之一。网络流量分类正是解决上述难题的基础,尤其是基于半监督学习的分类方法,不仅能够利用少量标签数据促进分类系统的性能,而且具有发现新的模式的功能成为当前流量分类领域研究的热点。鉴于网络流量本身天然的地域性、时域性,本文将分布式的理念和技术引入在线流量分类中,将分类任务分散到不同的节点上,由中心节点管理并协调各个子节点分类并提供对子节点分类结果的验证。首先,本文针对大多数基于有监督机器学习的分类器过度依赖于有标签数据问题,提出了基于k均值算法的半监督聚类算法Semi-kmeans进行流量分类的研究。该算法使用具有准确应用类型的流量样本作为初始聚类中心,不仅能够有效的识别应用类型,而且具有发现新型网络应用的功能。其次,由于互联网应用行为的实时、多变、易逝等特征,使得对网络流量的在线识别方法更具研究意义。本文研究的在线网络流量分类模型,专门针对网络流量的实时分类而设计。采用离线训练和在线分类相互配合的方法进行实时分类,从而提高分类效率。并且结合本文研究的半监督聚类方法,对在线分类的结果进行实时验证,从而及时更新在线分类器,保证其对网络环境的适应性。最后,本文针对当前流量分类领域,高速网络流量分类相对较难的问题,进行分布式在线识别方法的研究。该方法在对半监督学习方法和在线网络流量分类方法的研究基础上,结合分布式入侵检测系统的思想,把对网络流量的实时识别分散在各个节点,着重于在线识别方法之间的协作能力。
其他文献
基于模板的机器翻译TBMT(Template-based machine translation)是从基于实例的翻译方法发展而来,利用双语翻译模板来实现从源语言到目标语言的自动翻译过程。它可以看作基于规
随着电子技术,物联网,云计算的发展和普及,无线传感器网络成为了当今研究的重点领域。它广泛地应用于医疗,军事,环保,生活等方方面面,而无线传感器网络的定位算法又是进一步研究传感
在21世纪这个网络信息时代,计算机网络技术的发展给新一代的网络(Next Generation Network,NGN)带来了新的发展,NGN以软件换技术为其核心技术,融合多种异构网络,构建一种可为
生物信息学研究生物数据的分析处理方法。生物信息学的发展过程是分子生物学与计算机技术、数学、信息学和工程领域不断交叉与融合的过程。分子生物学在分子层面关注生命活动
基于视频序列图像的目标分类识别,是实现智能监控的重要内容。它通过运动目标检测提取研究对象,并且对检索出来的运动对象进行特征提取与描述,分析出物体本身所具备的特征,以进行
随着高性能计算的发展和互联网的普及,数字内容(视频、图像等)通过各种方式更加容易地被篡改和分发。因此,为了保护已注册的数字图像免于非法使用,图像拷贝检测在版权保护中显得
随着工业体制改革的深化和国民经济的发展,对电能质量的要求越来越高电力负荷是保证电能质量的一个基本工具特别是对未来一天或几天的短期负荷预测显得特别重要。电力负荷预测是电力系统规划和研究的组要组成部分,也是电力系统经济运行的基础,其对电力系统和规划都极其重要。目前,关于电力负荷预测的方法不断涌现,但单一的模型应用一般只能局限在一定范围内,精度性较低。研究一种通用性好且预测精度较高的电力负荷预测模型对电
聚类分析是挖掘数据中潜在结构的重要工具之一,它被广泛应用在模式识别、生物科学、社会科学、心理学和数据挖掘等领域中。在网络结构分析、无线传感器网络和生物信息处理等领
近年来,随着经济的快速发展和车辆的日益增加,道路交通状况的日益严重。为了改善交通控制的问题,基于视频的智能交通监控系统已逐渐成为当前研究的重点和热点问题。基于视频的交