仿真模型数据高通量共享与并发访问

来源 :北京理工大学 | 被引量 : 0次 | 上传用户:zbblyd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
根据高性能计算和高通量计算的概念,结合当前复杂仿真系统的应用特点,给出了高通量仿真的定义。高通量仿真指的是利用大量的计算资源,在较长的时间内,以较高的运算效率完成大规模仿真任务的计算机仿真过程。高通量仿真与以往的仿真系统相比有较大的不同。高通量仿真系统应用范围更广,不再是针对特定的领域。而且高通量仿真中,涉及了知识背景各异的用户,不同的用户的关注层面差别巨大。仿真过程对于用户来说,需要并发运行大量耦合性弱的仿真作业,而且系统在执行这些仿真作业时往往需要实例化大量复用的仿真模型,处理和分析海量的数据。总的来说,高通量仿真具有:异构、高吞吐、高并发、高可靠性等特点。高通量仿真过程中可能存在对于I/O的频繁访问,而且仿真过程一般运行在异构的、动态的分布式系统中,那么I/O的访问效率可能会成为仿真效率高低的关键因素。在仿真过程中,如果分布式文件系统的读写效率较低,那么在整个仿真过程中,可能会将大量的时间消耗在I/O访问过程中,因此,需要有一种方法来改善分布式文件系统的读写速率,并且在读写速率提升的同时,还要保证其高可靠性,这是本文研究的最根本所在。仿真过程中,对于I/O的访问,一定会涉及到模型的进程对于I/O的访问,本文首先会构建一个高通量仿真支撑平台,在此平台中,上层封装了仿真推进引擎,仿真推进过程是一个多进程推进的过程,在多进程协同运行的过程中,必须有一个避免死锁的方法,本文利用空消息算法来有效避免死锁的发生,系统的下层就是实际的物理存储,如果想提升物理介质的存储速度,更换物理存储是最直接的方式,在本系统中,使用了内存作为文件系统,但是由于内存的易失性,单纯使用内存可靠性难以保证,而通过利用Alluxio可以有效避免内存的缺陷。本文所构建的高通量仿真支撑平台优点如下:(1)可以满足高通量仿真过程中,模型进程对于I/O的高并发访问。(2)在本文所设计的高通量仿真支撑平台时,抛弃了传统的基于HDFS的分布式文件系统,而选择采用基于内存的分布式文件系统,由于内存介质的读写速率远远高于磁盘,所以在面对高并发访问时,其效率会比传统的基于磁盘的分布式文件系统高很多。(3)高通量仿真支撑平台的底层存储采用分层结构,上层为内存,下层为HDD,这样做既保证了I/O访问的效率,又保证了分布式文件系统对于数据的存储量。本文实现了一个仿真支撑平台,此平台是面向高通量仿真而设计的,结合高通量仿真过程中高并发、高吞吐量的实际情况,系统实现时对分布式文件系统进行优化,最终解决仿真过程中频繁对I/O访问所带来的瓶颈问题,提升仿真的效率。本系统用C++编程实现了仿真推进引擎和避免死锁的空消息算法,然后用Java语言实现了对文件系统的访问,通过代理将两者相结合实现了仿真过程中对于分布式文件系统的高并发访问。本文中实现的高通量仿真支撑平台可以有效的改善访问I/O带来的瓶颈,和传统的大数据仿真相比,会有更高的效率。
其他文献
随着移动通信的普及,GSM系统已经成为最成熟的移动通信系统,全球绝大多数移动运营商都采用了这种系统。如何充分利用现有的网络资源,提升网络质量是一个有着巨大经济效益和关
随着互联网的飞速发展,网络已经成为人们获取信息、学习交流、休闲娱乐的重要平台。面对不断扩大的网络规模与网民数量,IPv4在设计之初思想上的局限性及地址匮乏等问题不断突
高压输电线路是电网运输电能的重要桥梁,又是故障的高发区域,快速和准确地找到故障位置需要故障测距装置的辅助,以便及时恢复供电,保证电力系统的可靠稳定运行。对于故障行波
黄曲霉毒素可由多种曲霉属真菌产生,主要为黄曲霉和寄生曲霉。黄曲霉毒素,尤其是黄曲霉毒素B1(AFB1),是包括人类,鸟类,猪,鱼类和啮齿类动物等许多动物的强力致毒物质。肝脏是
旋毛虫病是由旋毛形线虫引起的一种呈全球性分布的人兽共患食源性寄生虫病,可感染人及150多种动物,通过生食或半生食感染旋毛虫的肉品而感染,严重时可导致死亡。旋毛虫的生活
随着空间信息技术的快速发展,网络通信的安全性问题日益得到重视。其中,空间信息网(Space Information Networks,SIN)作为国家重点建设的大型网络基础设施,在促进经济社会快
随着通信技术的飞速发展和用户需求的提高,特别是移动多媒体和高速数据业务的迅速发展,迫切需要一种新的网络以提供更宽的工作频带、支持更加灵活的多种类业务(高速率数据、
随着通信技术的飞速发展和用户需求的提高,特别是移动多媒体和高速数据业务的迅速发展,迫切需要一种新的网络以提供更宽的工作频带、支持更加灵活的多种类业务(高速率数据、
肺癌是世界上最常见的恶性肿瘤,在恶性肿瘤相关死亡原因中排名第一,其中非小细胞肺癌(NSCLC)占所有肺癌病例的80%-90%。近年来全球肺癌的发病率和死亡率呈逐年上升趋势,尤其
我国上市公司存在股权集中现象,导致我国上市公司普遍具有实际控制人,实际控制人具有积极参与公司监督管理来提升公司绩效的动机,同时,也具有通过关联交易等隧道挖掘渠道侵害