基于大数据平台的港口数据仓库搭建与运用

来源 :特区经济 | 被引量 : 0次 | 上传用户:jiangjuexin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络时代,信息技术已被广泛应用在港口的各个方面。这些技术在一定程度上促进了港口的智能化管理,实现了港口资源的优化配置。然而,随着大数据时代的到来,港口的数据信息将以指数的形式爆炸增长,这样海量的数据对港口的信息化管理提出了新的挑战。本文为港口设计了一套集数据传输、数据清洗、数据存储、数据可视化为一体的数据仓库。利用最新的数据传输技术Flume与Fakfa传输数据,并根据Apache基金会下的Hadoop分布式架构框架对数据进行存储,最后采用Hive的框架对采集的数据进行分析和总结。试图通过搭建港口数据仓库,进一步完善港口的信息化管理建设。
其他文献
随着国民经济的不断发展和科学技术的不断创新,我国视觉传达设计行业发展水平得到了质的提升。插画的合理应用是现代视觉传达设计工作的重中之重,是一项不可或缺的内容,其本身具有多种表现技法和风格,能够赋予视觉传达设计更为丰富的艺术魅力。通过阐释插画艺术在视觉传达设计中的应用特点,分析插画在视觉传达设计中的实践应用。
火灾是一种危害性极大的燃烧现象。火灾不但对人类社会的生产生活造成了严重损失,还时刻威胁着广大人民群众的生命和财产安全。VR英文全称为Virtual Reality,中文名为虚拟现实,也就是虚拟和现实相互结合的意思。VR技术融合多种学科,利用计算机生成仿真环境,用户可以用自然的方式体验此虚拟世界。为了筑牢安全意识,有效地预防火灾,消除火灾隐患,减少火灾带来的危害,积极推动每个人掌握消防知识,正确地使
本文在介绍建筑装饰用不燃级金属复合板国内外发展得到基础上,关注了不燃芯材的控制要求及对复合板物理力学性能的影响,为生产商和消费者科学使用该产品提供了有益借鉴。
本文主要探析电力企业资金管理和财务风险存在的问题、电力企业财务管理中资金管理的重要意义、电力企业财务管理中做好资金管理的主要措施,具体措施包括提高财务管理人员的业务素质、提高资金管理在财务管理中的地位、科学合理地规避资金管理中的风险、实施以防为主和集中管理资金的策略。电力企业领导者和财务管理人员应该根据企业实际情况,合理选择和运用相关资金管理措施。
马铃薯不仅环境适应能力强,在寒冷的冬季也能种植,而且营养价值高,食用口感极佳,在国民饮食清单上占有相当大的比例。然而,在马铃薯种植过程中极易受病虫害的影响,导致其产量和品质降低,因此,有必要加强对马铃薯病虫害的识别与防治。本文简要介绍常见的马铃薯病虫害,并提出具有针对性的防治策略,以供参考。
视觉传达作为一种流行艺术,其核心作用在于精准性传输相关信息,时刻跟随当下社会主趋文化更新发展,从客观层面充分展示社会发展中人们自身审美情趣。在视觉传达艺术实际设计过程中,文字、图形作为最基础元素,具有关键性作用,只有结合艺术设计理念,合理化使用图形及文字,方可确保艺术设计整体成效。在信息不断更新的时代背景下,如何跟随时代发展潮流,高效化应用文字、图形元素,为视觉传达艺术增添活力,是现今艺术设计人员
期刊
我国原发性支气管肺癌中医药治疗的现状与展望山东中医学院附属医院(250011)唐由君山东省中医药研究所(250014)张素芹关键词原发性支气管肺癌;中医药疗法;综述原发性支气管肺癌(以下简称肺癌)是临床常见的恶性肿瘤之一,尤其在我国各大城市,发病率已...
伴随着现代信息的发展,大数据、互联网等在金融业的融合越来越深入,与银行相结合的金融创新也为人们的生活提供了诸多便利。但新事物的发展并不总是一蹴而就的,需要在实践中不断修正调整,"互联网+银行"通过服务方式的升级与极大的便利性,促使传统银行服务模式也出现了变化,银行开始通过互联网为客户提供服务,其用户覆盖面不断增加,加强对银行监管现实必要性不容忽视。但就互联网金融背景下银行监管现状来看,其监管缺乏有
一、金融供给侧结构性改革金融供给侧结构性改革的主要内容包括以下四点:首先,需要打造出以市场为导向的新型经营理念,逐步完善商业银行的考核与评价机制,从企业的角度入手来丰富服务模式。其次,应当尽快落实稳健中性的货币政策,为金融供给侧结构性改革工作创造出良好的货币环境。再其次,需要尽快完善现有的金融机构体系,面向中小企业提供金融服务,
期刊
论文首先介绍了数据仓库的基本概念,作为基于Hadoop的数据仓库工具,Hive将结构化的数据文件映射为一张数据表,通过类SQL查询功能的HiveQL语言可以对数据表进行查询操作,本质是将HiveQL语句转换为MapReduce任务进行并行计算,而不用在进行编程实现查询功能。其次,对Hive数据仓库与结构化数据库系统的不同进行了对比以及转换为MapRedue的过程。最后,进行实践操作,表明数据仓库工