【摘 要】
：
随着大数据现代化的逐步推进以及各类大数据处理技术的快速发展,各种类型的数据量已呈指数级增长。与此同时,分布式文件处理技术也是日新月异,公众对处理系统的硬件和平台环
【基金项目】
：
深圳市海外高层次人才团队专项资金(1111070043613110).
论文部分内容阅读
随着大数据现代化的逐步推进以及各类大数据处理技术的快速发展,各种类型的数据量已呈指数级增长。与此同时,分布式文件处理技术也是日新月异,公众对处理系统的硬件和平台环境的要求也越来越高。因此,提出基于云芯一号硬件加速卡的分布式系统设计,在传统的X86架构上进行硬件扩充和优化,并采用Hadoop分布式文件系统对大量数据进行处理。通过不同平台环境的实验结果对比,得出无论是在纯文件压缩上还是HDFS平台中文件的写入读取速度上,提出的系统都远远优于传统压缩方式,为后续工作带了更好的创新方向和架构支撑。
其他文献
为了解决高空悬挂式相机拍摄航拍图像中的拉索对图片产生的影响,提出一种拉索提取方法。该方法首先分别用Canny算子和小波变换处理图像,然后用小波变换提取的垂直方向的高频分量与Canny算子得到的边缘图像做交集,对得到的交集图像经形态学膨胀处理后,叠加到Canny检测得到的边缘图上;在此基础上,通过形态学腐蚀滤除复杂的图像环境中的大量背景图案,保留直线方向的特征,再在概率霍夫直线检测的基础上,利用聚类
为了使物联网网关连接多个串口设备且能够并行处理来自串口的数据,设计了一个支持多路串口设备连接、在线配置串口参数的物联网网关。网关部署在Raspberry Pi开源硬件平台。
为了降低电脑平缝机控制系统的成本,提高控制系统性能,提出无光耦隔离驱动方式、分块独立供电模式和采集模块高速光耦隔离防护措施,利用SVPWM矢量控制策略与PI调节器,并加入
苏州市数字化城市管理监督指挥模式因市区两级机制体制的建立而采用两级监督两级指挥模式,即市区两级平台各自相对独立地进行流转同时又互相共享数据,因而不可避免地涉及技术
2017年9月15日,无锡讯——由教育部高等学校计算机类专业教学指导委员会主办,全球领先模拟和嵌入式处理半导体厂商德州仪器(TI)(NASDAQ:TXN)协办的"2017 TI杯全国大学生物联网设计竞赛"(以下简称"竞赛")决赛日前于无锡完美收官。TI杯全国大学生物联网设计竞赛迄今已成功举办四届,旨在以学科竞赛推动专业建设,以物联网行业项目和创新产品激发高校学生的创造力和创业活力,推动创新创业教育
在异构移动自组织网络中,为满足多样的用户需求,提高网络容量,节点往往配备了多种信道。传统的广播机制（如洪泛、基于节点的连通支配集和信道向量等）往往采用基于节点的转发方
近年来,众包技术受到产、学界广泛关注。采用众包模式,某些机构可以在获得用户同意后,使用用户的行为模式数据、空间位置数据、主动提交数据等进行分析,或者将任务通过众包平
基于块状数据结构和分布式去中心化逻辑,定义并发布区块链标准框架模型。此模型定义标准数据接口,可扩展的结构化和格式化表达式,及由低至高的数据区块层、网络层、平台框架
针对道路中急转弯处因盲区会车的信息采集、信息反馈、信息处理失误而引发交通事故的问题,设计了新型实用的急转弯会车提示预警系统。以TI MSP430MCU和CC1101低功耗多通道无
为了实现PWM逆变电路开路故障的诊断及定位,提出了基于小波变换和神经网络的开路故障诊断方法。该方法利用小波变换从输出电流中提取故障特征向量,并将故障特征向量输入建立