气象数据网格中大量小文件传输优化

来源 :南京信息工程大学 | 被引量 : 2次 | 上传用户:jasn114
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
气象数据网格作为国家气象信息中心的核心项目,观测资料在传输、共享和综合服务方面水平还较低,不足以满足我国精细化预报、短临预报和数值预报等预报业务对数据在时效性、多样性和完整性等方面的需求。本文以国家气象数据网格为应用背景,对其中的数据传输服务进行优化,以满足大量数据实时共享需求。本文重点以网络传输协议和文件压缩技术为主,以分布式缓存技术为辅,深入研究了数据传输的优化方法,给出了一套可行的优化方案。具体内容及成果如下:(1)综述了数据传输优化方法的国内外研究现状。本文从网络传输协议、文件压缩技术和分布式缓存技术三点出发,深入开展研究工作,在阅读了大量文献的基础上,总结了现有优化方法的优缺点。其中,重点分析了已有GridFTP协议优化算法、LZW和BZIP2等压缩算法以及分布式缓存技术。(2)提出了自适应数据压缩算法。首先,对LZO压缩算法进行了深入分析,给出了其压缩原理、特点、优势和使用方法;其次,对气象文件进行了实验分析和公式归纳,设定了气象文件属于大量小文件的依据;然后,分析了实时网络状况的获取方法,设定了网络状况波动的处理方式,从而量化实时网络波动规律;最后,设计了基于实时网络状况自适应调整压缩等级的算法,并给出了算法流程图、实验结果和分析。(3)设计了自适应传输参数调优算法。首先,本章分析了GridFTP协议,对其特点、应用领域、服务组件等内容进行了阐述;其次,完成了两组实验,验证了TCP缓冲区大小和自适应TCP并发连接数在不同的网络环境中都有其最优值,说明了GridFTP协议传输参数的重要性;然后,基于上述分析,针对实时网络状况,分别设计了自适应调整TCP缓冲区大小和TCP并发连接数的算法,并通过实验加以验证和总结:最后,融合了上述几个自适应算法的内容,完成了自适应算法整合后的实验工作,分析了实验结果。(4)给出了基于改进缓存替换算法的分布式缓存实现。首先,分析了EHCache和Terracotta的特点和实现方式;然后,设计了基于本文特定应用的改进缓存替换算法OUR;之后,基于开源的EHCache和Terracotta项目,以及所设计的替换算法,完成了粗粒度的分布式缓存设计;最后,通过实验验证了经过调整的分布式缓存框架的可用性。
其他文献
2007年7月29日到30日发生在豫西地区的暴雨在豫西地区造成重大伤亡和财产损失,且具有降水时段集中、致洪以及典型的中尺度特征,实际工作中对此次暴雨的预报预测也不十分成功,有许多需要认真分析总结的地方,通过对此次暴雨过程的分析可以为今后提高豫西山区暴雨的预报准确率和及时性提供参考。本文首先利用常规观测资料和NCEP再分析资料对2007年7月29~30日发生才豫西地区的暴雨天气过程进行分析,确定此次
采用NCEP/NCAR和ERA40再分析月平均资料,揭示夏季对流层中低层索马里越赤道气流(简称SMJ)垂直结构主要呈现出全区一致、上下反相两种分布型(“A”型和“B”型),细分为一致增强型(“A+”型)、一致减弱型(“A-”型)、上弱下强型(“B+”型)和上强下弱型(“B-”型)。在此基础上定义的两个SMJ垂直结构指数VS1和VS2分别能很好地表征SMJ“A”型和“B”型的垂直结构。利用结构指数进
利用美国冰雪资料中心提供的1979—2007年全球月平均积雪水当量格点资料、NCEP/NCAR的逐月再分析资料以及中国743站的逐日气温资料,分析了东北夏季低温和欧亚大陆融雪的气候特点,并在此基础上进一步探讨欧亚中高纬春季融雪异常分布与中国东北夏季温度的关系及其可能的物理机制。主要结论如下:(1)在全球变暖的背景下,东北全区温度表现为显著的上升趋势,年际变率大,气候不稳定性强。(2)近30年来,欧
本文利用2011年6月~8月在黄山地区不同高度观测得到的雨滴谱资料,分析了黄山地区的雨滴谱特征,并选取一次大范围长时间降水过程对不同高度上降水微物理量及雨滴谱分布特征进行分析,讨论了其中的差异及可能物理机制。主要结论如下:黄山地区在6月梅雨季节降水较多,各降水过程强度、持续时间差别很大,积层混合云和层状云的持续时间最长,积云的持续时间最短,积云的平均雨强最大,局地较强云系和积云降水中心位置的雨强要
为了提高太阳辐射模拟和预报效果,本文利用2010年1、4、7、10月ECMWF和NCEP再分析资料和WRF-SES2辐射模式系统模拟了北京市观象台站和北京上甸子区域大气本底站的总辐射、散射辐射和直接辐射,并与观测值进行对比,重点分析了模式初始场云量差异对辐射模拟的影响。对NCEP和ECMWF两种再分析资料的太阳辐射模拟效果对比分析,并评估了WRF常用辐射参数化组合方案对太阳辐射模拟效果的影响。初步
目前卫星导风主要通过追踪红外图像上的云以及水汽图像上的水汽纹理分别获得云和水汽的运动矢量。对于红外图像上不能被识别为云而难以进行导风计算的区域(本文表述为“晴空区”),只有由水汽导风提供的中高层风场。由于红外云图“晴空区”亮温除包含地表温度信息外,还包含了大气中水汽、气溶胶等微弱信号。因此,本文围绕利用分裂窗差值图像计算晴空区风场,从理论公式推导、参数敏感性分析与模拟图像实验、导风系统设计、实例分
初夏在华北冷涡影响下华北平原易出现局地、对流性降水天气过程,此类局地性暴雨天气多以单次、多站点的短时暴雨为主,部分区域伴有冰雹和短时大风等灾害性天气。本研究利用NCAR/NCEP再分析场、北京和天津的多普勒天气雷达产品等资料以2007年7月9日一次天气过程为例,研究华北冷涡强对流天气过程典型的形势场和物理量特征:受华北冷涡东移影响,华北平原近地面“暖舌”区域之上有高层冷空气叠加,可出现前倾槽型式,
本文利用美国环境预报中心和国家大气研究中心(NCEP/NCAR)逐日再分析资料及由吉林省气象局科研所提供的东北冷涡日历表,对1951/1952—2008/2009年58年冬季北太平洋风暴轴的时空演变进行了比较分析,在此基础上,讨论了冬季东北冷涡对北太平洋风暴轴的影响及其可能物理机制,以及几种典型的与东亚大气环流密切相关的大气遥相关型在冷涡影响风暴轴的过程中所起的作用。研究发现:(1)在东北冷涡对北
在中华民族历史价值的传播过程中,我们更要对那些具有时代意义历史事件进行探索研究,充分发挥出历史时代价值的意义,通过历史的时代价值,传播积极的思想观念,让人们铭记历史,充分挖掘时代价值,不断地延续历史脉络,实现民族坚定自信的发展,让历史时代价值得以传承,提高"历史解释"素养。一、传承时代记忆,铭记时代价值(一)历史记忆,时代延续历史的文化发展过程需要被人们所熟悉,被人们所记忆。中华民族是一个历
期刊
西北太平洋地区是一个多时间尺度环流共存的区域,这些不同时间尺度的环流会影响台风的生成、发展和移动,为了理解他们与台风之间的相互作用,从观测资料中分离出台风环流是十分重要的。本文将基于NCEP提供的FNL资料及JTWC台风最佳路径资料集,利用空间分离法、Lanczos时间滤波法和多尺度子空间变换滤波法及其组合方法对台风环流进行分离,并对其分离效果进行比较。通过对理想场、实际观测场以及台风活动对月平均