【摘 要】
:
随着人类社会从以控制为出发点的IT时代迈向以激活生产力为目的DT(data technology)时代,越来越多的企业意识到数据背后的巨大价值,纷纷投入大量的资金和人才推动大数据基础
论文部分内容阅读
随着人类社会从以控制为出发点的IT时代迈向以激活生产力为目的DT(data technology)时代,越来越多的企业意识到数据背后的巨大价值,纷纷投入大量的资金和人才推动大数据基础设施的建设。本项目是某机电企业委托华中科技大学计算机学院研发的一个系统,它需要完成针对海量监控数据的采集、传输、存储、索引和检索等任务。本文以此为基础抽象出各模块需要解决的一般性问题,构建出了一个适用于传统制造业的大数据管理系统模型。本文首先介绍了与系统设计相关的理论基础和关键技术,包括非阻塞通信、负载均衡技术、ZooKeeper和HBase等。然后对系统进行了需求分析,明确了系统的设计目标和需要实现的功能,从整体上介绍了系统架构及业务流程并按功能模块对系统进行了划分,主要包括GPRS模块、服务端数据接收模块、服务端数据解析模块、软负载中心模块、数据存储模块和数据查询模块。接着,介绍了各模块的实现方案,使用非阻塞IO实现数据传输模块、使用ZooKeeper构建负载均衡模块、使用分布式数据库HBase构建数据存储和查询模块。最后,完成了系统测试相关工作。本文所设计的系统功能齐全、性能优异、部署方便、使用简捷,达到了企业对海量数据的管理需求。
其他文献
软件的生命周期,包括需求获取,需求分析,设计,实现,测试,发布和维护等·系列软件开发活动。软件过程模型是过程的一种抽象表现形式,它从理论的角度对过程的各个方面进行描述。在软件
可满足性问题(Satisfiability problem问题,简称SAT问题)是第一个被证明的NPC(Non-deterministic Polynomial Complete)问题,它是计算复杂性理论的奠基石,是计算机科学与人工
随着计算机技术和网络的飞速发展,数据库的应用十分广泛,深入到各个领域,越来越多的企事业单位、科研机构等将自己的数据库连接到Internet上,但随之而来产生了数据的安全问题。各
在数据集成环境中,一致性查询应答技术是一项管理非一致性数据的有效技术,它能在保持源数据不变的条件下,查询到要求的一致性查询结果CQA(consistent query answer)。目前CQA的
随着互联网的迅速发展,在线图片的数量呈现爆炸性的增长,尤其在最近移动互联网端的迅猛发展,图片作为其信息呈现的载体逐渐火爆。随着大量图片资源的涌现,在大规模的图像规模
随着医疗技术和嵌入式技术的发展与进步,家庭健康监护系统的使用逐渐普及。家庭健康监护系统是缓解目前老年人对有限的公共健康服务基础设施依赖,并为其提供更为长期有效的监护
为了保证网络资源的安全可控,网络接入控制已经成为当前主要的安全环节。其中,采用网络身份鉴别协议EAP同PKI技术相结合,成为了集通用、安全、高性价比于一身的做法。目前业
本文以基于控制流图的数据流分析技术为基础,研究C/C++程序中指针引用的合法性检查。首先分析指针非法引用的各种表现形式和产生原因,构建具体的检查规则;然后以控制流图为数据
随着网络技术的快速发展,包含有文本与图像等数据的多模态文档大规模地出现在人们的日常生活中。在信息的世界中,这些不同模态的数据资源可以无形地提升感觉器官接受知识的能力
随着社交网络图片分享应用的流行,社交网络服务提供商存储和传输大量图片数据的挑战更加艰难。为了有效的提升数据传输性能,服务提供商一般部署分布式缓存来解决问题。影响分