基于Hadoop的石油大数据平台设计

来源 :信息技术 | 被引量 : 0次 | 上传用户:tyzhaoxiqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经过实际检测和相关性能检测,最终的结果显示在石油生产运行之中.实践证明,利用这一技术设计,切实可行.
其他文献
位于汾河岸畔的丁村民居建筑群古朴雅致,作为现存较久远的北方民居,它无疑是研究我国北方民宅布局和建筑文化的重要实例.本文试图以襄汾丁村明清民居建筑群为例,通过对其建筑选址、整体布局、等级观及细部设计中分析,试图了解中国传统文化在襄汾丁村民居中的具体表现.
福建南平茶洋窑是宋代和元代特别重要的窑口,出产了很多精品瓷器,各类瓷器都有着特别显著的收藏价值和深远意义,对于后世有着特别重要的影响.因此,有必要对其进行全面深入的分析和研究,确保更多人对其有充分的了解和认知,进而对其进行更有效地传承和弘扬,使其价值得到充分体现.基于此,本文重点分析福建南平茶洋窑的几件精品瓷器,希望对于南平地区的传统文化,能够起到更加良好的传承弘扬的作用.
城市化建设的进程越来越快,加上我国经济结构的转变和调整建筑工程产业在未来的发展过程中又面临了全新的转型问题,要想更加符合社会的发展趋势,建筑工程产业就必须针对工程施工管理工作采取一系列的创新和升级举措,从而推进我国建筑工程产业的整体迈进和发展.本文,清晰的阐述建筑工程施工管理中精细化管理的概念、含义以及重要性,并且深入的表明了当下建筑工程施工管理中存在的问题,并针对这些问题提升有效的精细化管理优化策略.
建盏文化在宋朝时期的涌现和兴起,能够对时代经济、视觉艺术及其工艺发展态势等进行充分彰显,建盏文化发展也得到高度重视,促进了宋代大部分窑口的快速发展.但是在社会快速发展,以及饮茶方式改变的背景下,建盏及其文化也逐步淡出了民众生活,直到近期的建窑文化重拾,和对建盏制作工艺的进一步探索,才会进一步促进了建盏的再度涌现与发展,并且在现代茶文化快速发展的条件下,建盏也得到广大民众的进一步了解和关注,所以也就有必要对建盏品牌文化的影响和使用进行探讨.
分布式电源功率输出的随机性和间歇性及其并入电网的位置,会影响配网供电能力的可靠性.文中对此展开研究,首先建立了分布式电源、风电以及光伏发电三种数学模型,同时研究了负荷和系统可靠性指标概率分布特征,然后提出了一种将网络等值与拟蒙特卡罗联合法用于配电系统可靠性的定量评估,最后结合改进的IEEE-RBTS Bus6的F4馈线进行验证,集中阐述了系统在有无分布式电源以及距离远近时,负荷和系统可靠性的变化情况,同时与蒙特卡罗算法进行对比分析,文中所提算法的可靠性更高,证明所提算法的优越性.
随着我国建筑业不断进步,涌现出许多新的建筑形式和施工技术.其中,近年来最为引人注目的是装配式建筑,它具有许多其他建筑技术所没有的优点.如总建设时间短,具有很强的环保特性.基于此,本文对装配式建筑项目管理的影响因素及对策进行了深入分析,希望对相关工作者有所帮助.
当前的云平台数据存储方案忽略了数据的重复性,易产生大量冗余数据,为优化数据存储性能,基于PaaS云平台设计数据存储方案并实现应用.分区删减云平台冗余数据,计算各分区剩余数据权重因子,基于权重因子设计PaaS云平台数据存储顺序,动态生成数据存储方案,将Proxmox VE的虚拟环境模拟系统作为虚拟节点,通过底层服务器实现对资源的统一调配与应用.实验表明:该方案的平均存储耗时分别优于其他三种方案1.225s、0.066s、0.001s,且数据占用空间较小.
针对在航海视景帧流速较大、计算量增加时,会使虚拟场景中人机交互响应时间长,导致航海视景系统实时碰撞检测技术耗时长、准确率低的问题,设计一种基于MFC的航海视景系统实时碰撞检测技术.引入Sobel边缘算子精准提取发生畸变的边缘像素,得到单像素级别的图像边缘,建立基于MFC的航海视景系统框架,通过纹理映射消减航海视景复杂度,最后使用八叉树剖分技术完成实时碰撞检测.实验结果表明,在帧流速小于20帧/秒时响应时间无差别,随着帧流速的增加,设计的检测技术响应时间明显小于传统技术,且实时碰撞检测准确率较高.
为满足能源数据监测和综合分析领域的业务需要,提出面向智慧能源的供需平衡数据可视化挖掘方法.构造数据迁移与分类视图,确定每个供需平衡数据点位置坐标,并采用正交投影可视化技术将数据挖掘算法核心结构展示在视图中(支持用户对其进行相应调整);引入数据挖掘算法,提取数据可视化挖掘结果参数,实现面向智慧能源供需平衡数据的可视化挖掘.实验结果显示:智慧能源供需数据可视化挖掘结果综合评分数值范围为64.70~82.04分,充分说明该方法具备较好的可视化挖掘性能,可应用在多维典型用能场景中.
为了提高数据挖掘准确性和效率,文中提出了基于决策树算法的信息系统数据挖掘方法.以C4.5决策树算法计算属性的信息增益率和属性值的信息熵为基础,提出基于余弦相似度改进的C4.5决策树算法,若任意两个属性值的信息熵之差在阈值范围内,通过计算其余弦相似度合并在阈值范围内的属性值,并重新计算合并后属性的信息增益率,实现信息系统数据挖掘.实验结果显示:所提方法对不同数据集的分类精度均高于95%,数据挖掘效率高.