基于网格的工业数据传输性能优化

被引量 : 1次 | 上传用户:zkx713583
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网格计算的高速发展,大规模实时工业数据分析在工业生产过程中起到了举足轻重的作用,通过实时监控分析工业数据,能够极大的指导生产,提高生产力。然而在实时工业数据分析领域主要还存在几大问题:第一,实时数据生成的速度非常快,占用大量的系统存储空间,如何在不丢失数据特征的情况下尽量减小存储压力是一个急需解决的问题。第二,在大规模的实时数据的传输及处理过程中,会在采集器与中心服务器间形成千上万的并发数据连接,此时服务器的稳定性、高效性至关重要。第三,传统的TCP协议参数已经不能适应当前的高速网络,如何优化协议使得网络传输的吞吐量更大。在本文中我们分别从数据压缩、网格服务器性能以及网络传输性能三个方面进行阐述我们网格计算相关的优化成果。本文主要完成了以下工作:(1)工业数据实时性要求较高,会随着时间形成一条曲线。工业产生的实时数据量非常大,不可以通过缓存大量数据后再分析整个数据的走向特性选择对应的压缩方案,整个压缩算法的处理过程必须具有高压缩比和低资源消耗。本文提出了针对工业实时数据压缩的曲线面积映射压缩法。根据测试结果,算法压缩比是传统SDT压缩法的2.16倍。(2)在数据网格环境中,服务器的性能一直是整体网格性能的关键要素之一。在本文中我们分析了网格服务器常见的性能瓶颈并在我们的网格环境中引入了用户空间I/O调度、零拷贝、事件驱动架构技术来提高网格服务器的性能。在大量小文件读取的情况下引入用户空间I/O调度能够节省近50%的磁盘I/O时间。通过零拷贝,网格服务器可以减少CPU在大量内核与用户空间切换之间引起的消耗,节省63%无用的上下文切换。事件驱动架构可以减少30%的CPU利用率并且达到线程驱动的最佳吞吐量。通过结合上面提到的这三种优化方法应用到我们的网格服务器中,新的解决方案可以在只消耗传统解决方案所占用CPU使用率的70%的情况下,系统饱和吞吐量比传统方案提高30%。(3)网络流量测试表明,当前网络95%的数据流为TCP流,其它的为UDP或其它形式的数据流,因此TCP协议传输性能成为了制约整个网络数据传输性能的关键。通过分析TCP协议及其多个变种,纵向比较它们的拥塞控制算法,着重讨论了影响TCP协议性能的网络因素以及在不同网络环境下TCP协议的网络性能表现。实现了当前网络传输常见场景下广泛采用的相关TCP优化方案,并提出根据神经网络来预测丢包在保持链路公平的前提下来提高TCP吞吐量的方案,通过网络模拟实验显示,预测的一级命中率最高可以达到74%。
其他文献
时间与空间共同构成了文学叙事的两个维度,两者和谐统一,不可分割。在以往的文学叙事研究中,论者多从时间的视角进行解读,而空间视角却在有意无意之中被忽视。地域空间、生活
<正> 朱自清先生曾说过:“现代中国诗人须首推徐志摩和郭沫若。”郭沫若对“五四”新文化运动的贡献,以及在诗文、戏剧、史学、考古等方面所取得的成就,早有定评,自不待言。
目的:为临床癫痫患者丙戊酸钠的合理用药提供参考。方法:采用荧光偏振免疫法对143例癫痫患者服用丙戊酸钠进行血药浓度监测,并对结果及疗效进行分析总结。结果:222例次监测结
2011年6月,美国著名的直销新闻网(DSN)发布了2010年全球直销企业100强榜单,并列出了相关100强公司在2010年的详细数据。DSN在发布该榜单时表示,榜单中的大部分数据来自公司的
信息化建设是近年来高校学生公寓管理模式转变的重大尝试,本文旨在说明目前我国高校公寓管理的现状,同时结合调查问卷的结果阐述了高校公寓信息化管理的必要性,以及了解大学
近年来,我国社会经济和信息技术的发展速度在不断加快,在社会趋势的推动之下移动通信网络得到飞速发展,人们的日常学习、生活、工作乃至娱乐方式等都发生了翻天覆地的变化。
与其他发达国家相比,我国融资租赁业的发展存在着较大差距,其中税收政策是影响融资租赁业快速发展的关键因素之一。近期我国颁布的增值税改革政策从一定程度上制约了融资租赁
政策议程可以区分为政府议程和公众议程,二者的互动与结合将促进决策的科学化和民主化。但由于信息资源的封闭与不对称、政治制度的封闭性、特殊利益集团的影响、公众政治参
鉴于混合浆料抄纸的形势发展需要,谈了阔叶浆料的优点及缺点