【摘 要】
：
随着近年来互联网的高速发展和普及,本人所在的企业积累的数据量呈指数型增长,对于大数据分析技术的依赖性也越来越强。搭建大数据任务调度平台,为企业进行海量数据的提取、分析、落地及查询等工作提供一体化的解决方案,降低数据的管理成本,聚集数据、提供创建更完整的数据画像的基础条件,为企业深度挖掘数据中的潜在价值提供基础条件成为了该企业的刚需。一个完备的大数据任务调度平台,不仅需要该平台有强大的数据计算能力,
论文部分内容阅读
随着近年来互联网的高速发展和普及,本人所在的企业积累的数据量呈指数型增长,对于大数据分析技术的依赖性也越来越强。搭建大数据任务调度平台,为企业进行海量数据的提取、分析、落地及查询等工作提供一体化的解决方案,降低数据的管理成本,聚集数据、提供创建更完整的数据画像的基础条件,为企业深度挖掘数据中的潜在价值提供基础条件成为了该企业的刚需。一个完备的大数据任务调度平台,不仅需要该平台有强大的数据计算能力,还需要它有较完备的任务调度、任务监控、数据后处理能力。论文旨在基于Kubernetes容器集群管理技术,自研实现一套大数据批处理任务的任务发布及任务调度平台,以为该企业对于数据处理平台的需求提供一套响应方案。本文的主要工作有:（1）设计并实现数据批处理任务的发布及任务调度平台本文在业务分层的基础上完成了该平台对于任务发布、任务调度与处理、任务运行监控、产出数据落地与交付等功能的设计与开发。平台架构的分层设计使得各功能模块相互脱耦、可插拔、易于维护。（2）设计并实现Presto表管理与表分区注册自动化管理方案基于分析该企业现有的Presto表管理与表分区注册方式存在的大量人力投入的弊端与痛点,本文提出了一种新的使用HTTP请求发送表分区注册请求,以减少在该过程中人工干预所带来的资源消耗的思想,并在此基础之上提出了设计一套自动化表管理与表分区注册子模块的解决方案,将其嵌入到该任务调度平台中。
其他文献
随着移动通信的不断发展,海量信息的传输,新兴的通信技术对高复杂度计算资源和低延迟约束的要求越来越高,计算密集型和时间敏感型应用的需求也日益苛刻。特别是在应急通信场景下,通信系统内小区宏基站的计算资源不足以支撑突发情况下激增的通信需求。同时移动终端设备本身计算资源和能耗也受到很大限制,仅仅依靠本地服务器很难在有限的时间内完成任务,恢复通信质量。边缘计算技术是5G移动通信的核心技术之一,通过部署边缘计
随着5G网络以及移动端设备的逐渐普及,人们对于移动数据流量的需求不断増加。对于网络运营商而言,提供不受阻碍、无处不在的高质量服务意义重大。如何建立准确的长周期预测基站小区网络流量的模型,以指导运营商扩容基站小区无线设备将是一个挑战。然而,基站小区网络流量的突发性和不确定性,所以基站小区网络流量具有非线性和非平稳性特点,这对于网络流量的长期预测是一个难题。同时基站小区流量预测也表现出一定的灵活性,以
手机屏幕作为手机的重要组成部分,成为了人机交互的主要窗口。但是由于生产过程中的诸多不确定因素,不可避免的会有存在瑕疵的屏幕被生产出来,所以对于屏幕质量的检测是不可或缺的。当前手机屏幕检测的主要方式是人工检测和传统机器视觉检测。人工检测的方式主观性比较强、易疲劳,不能很好地保证高效性和准确性;传统的机器视觉检测方法则存在特征提取能力差,兼容性低且普遍存在耗时较高的问题。针对以上问题,本文提出了以孪生
近年来,Web应用场景日趋丰富,应用功能也越来越复杂,许多网站都导入大型JavaScript库,以加快开发效率、增强用户体验。然而,许多JavaScript库在页面加载期间仅被部分利用,却被全部打包进捆绑包中。冗余的JavaScript代码增加了页面的权重,从而增加了下载、解析和编译JavaScript资源的时间。因此,优化JavaScript资源的有效负载以提高Web性能非常重要。而现有的模块化
随着频率标准的日新月异,高稳定度的频率传输技术广泛应用于空间观测、定位导航、移动通信等领域,已成为当下研究的热点。近年来,光纤通信飞速发展,由于光纤信道具有抗干扰能力强、稳定度高等特点,基于光纤的频率传输技术与基于卫星链路的传统同步方式相比优势明显,具有十分重大的研究价值。在光纤频率传输系统中,发送端通过光载射频方式将高稳时基信号传递到远端,同时接收端需要检测经过链路传输的光信号,提取出所需射频信
近年来,随着经济与科技的不断发展,城市化建设速度越来越快,导致地面土地资源不断减少,地上空间建设费用上升,因此许多国家开始进行地下物流仓储中心的建设用来应对上述问题。在地下物流仓储中心工作过程中,对于叉车、集装箱等设备的位置信息获取至关重要,因此选择适合的设备定位技术十分有必要。通过研究现有的定位技术,WLAN定位在地下应用场景中的缺陷较小,且不存在架设成本及地形限制的影响,但在地下物流仓储中心环
相比于普通的低密度奇偶校验（LDPC）码,空间耦合LDPC码凭借着码字在空间上互相耦合的特殊结构,有着优秀的译码性能以及较低的译码复杂度。然而,在空间耦合LDPC码的两种传统译码方式中,要么存储资源需求过大,要么不适于并行计算。因此,本文以低存储量与并行计算为目标,对空间耦合LDPC码的译码方式进行研究,并且给出基于不同译码方式的译码器的现场可编程逻辑门阵列（FPGA）实现。第一,针对传统译码方式
物联网（Internetof Things）应用作为5G系统里的一个重要的应用场景,随着时代的发展将迎来近百亿的设备接入量增长、数据流量的爆炸式增长以及不断出现的新应用场景。但是由于物联网业务的空间地理区域复杂多样,因此卫星物联网（Satellite Internet of Things）作为6G网络的一个重要应用场景被提出服务于难以建立可靠的地面回程链路的位置区域。为了弥补卫星通信网络长时延、链
安全服务是维护软件安全和保护业务数据的重要组件,保障软件安全无论是在传统环境还是在云环境下都至关重要。随着云服务的广泛应用,安全问题频繁出现,但是传统安全服务并不适用于云环境。因此在云环境下如何部署、使用和管理安全服务逐渐成为了业内关注和探索的主题。本次课题针对云安全服务的部署、使用和管理问题,对国内外的软件定义安全（SDS,Software Defined Security）方案进行了对比分析。
网络技术的飞速发展与网络基础设施的广泛部署促进了社会数字化转型发展,海量数据的计算、传输和存储也推动了大型数据中心的建设与智能化升级转型。流量调度作为一种有效利用网络资源的技术,能够优化网络性能并帮助网络快速适应业务变革。而传统的数据中心架构以及流量调度方式已不能满足低延迟连接、高质量传输的需求。因此,本文主要研究了数据中心场景下基于软件定义网络架构的动态流智能调度机制。具体论文工作与研究内容如下