带层次式网络结构的复杂业务系统组织结构发现算法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:ahua501
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据、云计算、人工智能技术的飞速发展,互联网数据中心(Internet Data Center,IDC)的规模也随之爆炸式增长,作为数据中心安全运行保障的运维管理就显得至关重要。早期的手工运维在业务快速增长、人力成本高的时代难以维系,自动化运维取代人去执行简单重复的工作,提高了运维效率,但随着业务服务复杂多样,基于规则指导的自动化运维日显不足,系统复杂度不断升级、系统架构不断演化,现有的技术使运维部门很难准确、迅速地把控系统架构与系统变更,无法自动感知系统实际变更导致的配置管理数据库(Configuration Management Database,CMDB)中的数据失效问题。然而数据中心每时每刻产生大量的服务器日志数据,如果可以基于这些数据有效地分析出业务系统的组织结构,实现业务系统架构自动化梳理,就能改变传统手工运维的不足,提高运维效率和系统架构图信息时效性。本文基于数据中心采集到的服务器日志数据进行分析,服务器在业务驱动下相互之间会建立TCP连接进行通信协作,因此TCP网络可以反映服务器之间的业务功能逻辑关系。通常业务系统中的服务器以集群的形式对外提供功能服务,并且不同服务器集群在业务处理流程中存在先后顺序之别,因此,复杂业务系统的组织结构是一种带有层次式的网络结构。所以本文将这种带层次式网络结构的复杂业务系统组织结构发现问题分解成服务器集群发现与服务器集群层次发现两个子问题,提出一种基于服务器日志数据的集群发现和层次发现的方法(Cluster Discovery and Hierarchy Discovery,CD-HD)。CD-HD方法基于大数据平台采集的服务器日志数据,首先利用服务器属性和已知的部分服务器的类别标签信息,进行基于服务器属性判断服务器是否属于相同类别的迭代分类器训练,分类器用于判断所有没有类别标签信息的服务器间关系;然后在服务器TCP网络上,计算服务器通信行为模式的相似性,结合分类器对服务器间关系的判断,构建服务器相似度网络,在该相似度网络上,借助社区发现的方法进行服务器集群发现。最后根据业务流确定服务器集群在业务系统中的功能层次,从而实现复杂业务系统组织结构发现。在来自某大型数据中心的真实服务器日志数据集上进行实验,实验结果表明,本文所提出的方法能够有效解决运维领域的复杂业务系统组织结构只能依靠手工绘制的痛点,实现业务系统架构自动化梳理。
其他文献
人脸图像的识别一直都是计算机视觉和图像识别等领域的重要构成,也是深度学习和大数据的最广泛应用。卷积神经网络作为一种与深度学习技术结合的带有前向反馈的新型神经网络
本文采用指数函数拟合光纤基模端面衍射场光束参量与光纤基本参数的关系,分别得到了各个光束参量与光纤归一化频率V和光纤芯层半径α关系的解析表达式。把曲线拟合得到的基于V
俄罗斯天然气工业在储量、生产端以及市场组织结构等方面都具有其独特的产业特色。一方面,天然气行业为国民经济体系的运转提供了能源保障、投资支持,天然气的大量出口贸易也为政府财政收入以及外汇收入提供了主要份额。另一方面,由于天然气在环境影响、燃烧效率等方面的优良特性,天然气的利用率也将越来越大。这一趋势将进一步增强俄罗斯天然气工业的重要性,包括对俄罗斯本国经济发展、能源战略以及国际地位等都具有不可替代的
光学相干层析成像技术(Optical Coherence Tomography,OCT)是一种非接触、无损伤的新型光学成像诊断技术,能实现对散射组织内部结构的快速、实时的高分辨率光学成像检测。谱域光学相干层析成像技术(Spectral domain OCT,SDOCT)基于迈克尔逊干涉仪与光谱仪系统的结合,是频域光学相干层析成像技术(Frequency domain OCT,FD-OCT)重要的分
镖局是明末至清代武装押运商品、现银等重要物资和钱财的组织,其起源于明代、兴盛于清末。习武者可通过进镖局成镖师,利用其自身武技转化为劳动力资本而获取安身立命之道。镖局业务开展包括“亮镖、走镖、走会、护院、坐店”等,以“走镖”居多,而走镖路线分为陆路、水路两种,由此镖师与劫匪通常会发生车战、马战、水战、船战等多种作战形式。镖师在不走镖时需要到镖局的练武场练习、交流武艺。由此,镖局形成了其内部武艺的师徒