基于海量数据的存储与实时事件发现系统的设计与实现

被引量 : 4次 | 上传用户:sidagongsi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着航运业朝着规模化、系统化发展,数字化管理成为发展的必然趋势。为用户提供高效精确的数据服务,就成为航运平台的主要目标之一。然而国内目前在航运数字化领域研究落后于国际先进水平,对AIS数据的使用也多处于提供原始数据查询的层次。在这种情况下亟须开发出一种能够实时发现AIS数据背后隐藏的事件的系统,然后通过海运平台将这些事件信息发送给关注这些事件的用户。海量数据即是大量,或超大量的数据。由于大小是一个相对的概念,所以海量数据的定义也是随着存储数据的硬件性能,设备处理数据的计算速度,以及构建在之上的软件的性能的变化而变化的。本文研究的AIS数据就是一种海量数据,由于数据量的特殊性,对这种数据的存储和读写服务的提供方面,使用传统的关系数据库暴露出多方面的问题。因此,本文基于netCDF数据格式对构建AIS数据的存储底层做了有益的尝试。1.首先研究了海量数据存储。基于目前常用的开源数据库MySQL o包括MySQL的主流存储引擎的研究,并对在海量数据条件下MySQL的读写性能进行了测试。2.研究了netCDF数据格式。深入研究了netCDF数据格式的物理存储模型,结合AIS数据,提出了使用netCDF格式进行AIS数据存储的两种方案。3.根据对netCDF数据格式的研究,基于unidata C API构建了用于存储AIS数据的函数库。4.设计并实现了基于netCDF函数库的AIS实时数据存储系统。5.研究AIS数据,构建可以从AIS数据中计算的船舶航行事件模型。最后基于这些事件模型,设计并实现了事件发现引擎,并运用到了实际的项目中。
其他文献
《2006年海事劳工公约》有望于2012年生效,该公约的生效将对全球海事界产生深远的影响。公约对船员基本权利的全面保护为国际海事界普遍认同,甚至有人称之为海员的“权利法案
银莱汤是导师谷晓红教授治疗小儿外感的经验方,该方从肺胃同治理论着手,在临床上对小儿咳嗽、反复呼吸道感染、肺炎等肺系疾病的治疗取得良好的效果。本研究在成功复制食积模
经济全球化的发展使会计标准的差异成为贸易、资本流通的阻碍,但是不同国家在会计标准上的差异也在一定程度上影响资本的流动。相关的国际组织也在推动会计趋同方面做出非常
目的:本研究旨在通过观测经独活寄生汤灌服的兔腰椎间盘突出症模型体内的肿瘤坏死因子含量变化,研究独活寄生汤对腰椎间盘突出症患者体内肿瘤坏死因子的影响,明确独活寄生汤是
针对普通地膜残膜导致农田土壤污染现象,进行了生物降解地膜、光氧降解地膜、普通地膜覆盖及露地栽培烟草的田间对比试验,研究了地膜的降解性能及对烟株生长和烤后烟叶化学成
哺乳动物精子质量的评估,对于人工授精技术和体外受精技术的应用具有重要意义。目前,可用于反映精子质量的指标和评估方法有:精子活力、精子活率、顶体膜完整性检测、顶体状态与
报纸文娱报道的地位不容忽视近年来报纸文娱报道的“壮大”主要表现在:一、文娱报道在报纸中所占体量越来越多。报纸(指综合性报纸,而非专业类报)的文娱报道,过去是配角,版位往往安
梯度折射率材料(Gradient-Index,GRIN)是一种新型的光学材料,在光纤通讯系统及微型光学系统等领域具有重要的应用价值。它们可具有简单的几何形状,主要依靠介质折射率的非均匀性
为进一步加强高致病性禽流感防控工作,规范疫情处置程序和措施,农业部根据《中华人民共和国动物防疫法》、《国家突发重大动物疫情应急预案》和《全国高致病性禽流感应急预案
近年来,由各级教育主管部门主办的技能大赛,对职业院校的教改和人才培养起到了一定的推进作用。但技能大赛公平性面临考验,商业化和功利化问题抬头明显,如不及时加以调整,将