流式处理相关论文
近些年来,随着网络业务的数据量、规模的日益增大,服务业务架构也经历了一系列的变迁,从集中式框架模式,到MVC框架模式,到SOA模式,......
网络流量还原是网络安全分析的基础。本文针对以下两个问题：一是DNS 易被攻击者利用协议的相关特点，构造绕过传统协议还原方法的数据......
TDProcess流式处理核心需求：基于消息的流式处理，分布式(方便线性扩展，应对数据的爆炸那曾长计算)，实时(数据消费计算延时毫秒级)。特......
如何智能化、敏捷化的开展内容分发网络(C D N,C o n t en t Delivery Network)质量监测分析优化,是陕西移动当前面临的重要挑战。......
受到流式媒体处理技术的启发,该文试图从一个新的角度提出基于网络的海量三维地形数据的流式处理方案,使之能够达到实时交互的性能......
本文针对文件系统备份过程有一组算法或模块要对目录树进行迭代或递归处理，如果算法按照树结构递归，则会导致内存消耗过大，会直接......
随着用户对数据安全和数据有效利用的要求不断提高，备份系统对数据的处理已经不再是简单的数据拷贝，而是存在大量种类繁多、功能各异......
在金融数据分析、股票交易、网络安全等领域,产生了以“海量”,“高速”为特征的流式数据,这些数据流持续不断地到达且速度无法估......
随着移动设备的不断普及,海量的移动通信数据被采集。这些数据中包含了大量的时间、空间等信息,利用这些信息可以对公安部门的重大......
近年来,信息化建设蓬勃发展,但各应用信息庞杂、种类繁多,数据在各机构间难以流通,迫切需要更加规范、透明、高效的符合信息化大数......
DSP(Demand Side Platform)即需求方平台,在互联网广告中有着重要的作用,它通过对接若干个广告交易平台,让广告主合理精准的投放广......
通过梳理证券公司典型实时数据应用场景,归纳了实时大数据系统ETL、数据展示、算法模型等技术需求,提出了组件选型与架构设计方案,......
大数据时代环境下,火电厂超大规模的数据量以及较高的数据处理时效性要求都对我们能否有效地利用数据进行分析提出了挑战,传统的数......
本文引入交通云的概念,将交通数据和对其进行的计算都集中于“云”中,设计并开发了基于Hadoop的交通云数据处理平台，以Hbase分布式......
录井技术广泛应用于石油勘探与开发中,但随着油田信息化的建设,存在数据采集与多源应用分析的瓶颈.本文运用Apache Flink大数据集......
原位传感器是智慧城市建设的重要数据来源,其在城市资源协调、灾害预警、动态监测分析等领域发挥决定性作用.当前传感器观测接入方......
讨论网络化过程中应该重点关注的几个问题:网络环境中学籍管理模式的改变,部门之间的数据共享,学籍数据的安全性问题,由单纯的成绩......
分析了水电设备状态监测数据的特点,研究数据接入、处理、存储技术,提出以Hadoop作为基础架构,综合运行消息队列、流式处理、内存......
文件系统备份过程中需要对目录树进行进代或递归处理，主要包括：①将被备份的目录树同步到备份服务器中去作为备份索引：②在数据实际备......
分布式图计算是目前处理大图数据的主流技术，但是存在诸多无法避免的问题，比如分布式计算的负载均衡和分布式实现的调试和优化仍然非......
近年来,随着传感器测量技术、通信技术和计算机技术等在智能电网中的广泛使用,相量测量单元、电能采集、数据采集与监控等系统产生......
在大数据时代的背景下,网络安全得到了前所未有的重视,但是网络安全问题依然十分严重,主要体现为:一方面,网络攻击的种类呈现多样......
当前,教育数据分布分散、异构多样、结构复杂的特点给数据资源的共享带来巨大挑战。针对异构教育数据的交换共享问题,文章在综述国......
随着国内外大数据时代的到来,实时数据处理平台越来越受到人们的关注,从2014年起,Flink作为技术平台为更好地分析数据提供了一个新......
大数据已经成为一种重要的信息和知识来源。但是,处理这种大规模的数据有很大的困难,因此衍生出了许多基于大数据的技术平台来进行......
流式数据处理中,数据倾斜等原因易导致计算节点的负载不均衡,降低系统处理能力。传统的负载均衡方法,比如算子分配、算子迁移和负......
<正>作为一种常用的描述事物之间复杂关联关系的普适结构,图结构被广泛用于表示万维网、社交网络、蛋白质交互网络、化学分子结构......
高维数据的处理,一直都是数据挖掘领域中的难点。传统的数据挖掘方法在计算过程中往往需要用到数据中的所有的特征值,在处理特征维......
近年来,无人驾驶技术作为未来城市交通的最佳解决方案受到了大众的瞩目。作为一个复杂的系统,无人驾驶车辆使用了多样的传感器对周......
大数据时代,移动互联网、云计算、物联网及分布式计算与分布式数据库等大数据技术得到显著的发展,并不断被应用到社会的各个方面.......
网络流量还原是网络安全分析的基础,文章针对大数据网络环境下对于海量数据实时响应的需求,提出一种基于Storm流式处理框架的面向......
随着移动互联网的飞速发展,电信运营商每天由网络产生的日志数量也呈几何级数增长,如何处理海量数据日志一直是非常热门的研究课题......
以ApacheStorm为代表的分布式流式数据处理系统能够在复杂大数据处理环境中提供低延迟的处理,因此受到了学术界和工业界的普遍关注......
