基于内容的图像分布式处理平台的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:calvin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着传统互联网的发展和移动互联网的兴起,许多像微博、社交网络这样的内容提供商发展迅速。在互联网上,每天都有海量的文本、图像、视频数据需要处理,尤其对于图像数据,PB级别已经在互联网上出现,而单台服务器的有限处理能力和不易扩展性常常成为整个系统的瓶颈。如何利用现有资源,建立一个高性能的图像分布式处理平台,使其能够提供处理海量图像的各类服务,成为市场的迫切需求。针对该问题,本文将介绍一个图像分布式处理平台,提供面向海量图像数据的整套分布式存储、计算和检索服务。平台主要功能包括基于内容的分布式图像特征提取和查询,具有良好的系统扩展性和容错性。在图像特征提取方面,本文主要研究了基于内容的图像特征提取与匹配,采用SIFT特征来描述一幅图像,并在此基础上利用局部敏感(LSH)哈希进行索引构建,把相似的图像数据放入同一个桶中,进一步加快检索速度;在分布式计算方面,实现了一套基于Hadoop的面向图像的分布式计算方案,高效完成对图像的分布式特征提取和特征匹配;在分布式存储和检索方面,建立基于HBase的可容纳上亿行、上百列的大表,实现海量数据的存储服务,同时设计分布式索引,满足对图像的快速分布式查询。实验表明,针对海量图像数据,图像分布式处理平台具有更高效的图像计算能力,在存储和检索方面也体现出了更高的性能,避免了单机服务器处理速度慢,扩展性不高的缺点。
其他文献
随着多媒体和网络的飞速发展,数字视频的数量急剧增加。怎样通过计算机对这些大量的视频进行自动理解,提取出其语义信息,从而方便用户进行高效率的查询和检索,是当前急需解决的问
大数据时代存储系统在众多实际应用中扮演越来越重要的角色,其读写性能的好坏直接影响上层应用的性能。目前,分布式文件系统都是利用扩展性支持不断攀升的性能需求,但规模扩大易
随着计算机网络的发展,计算环境中层出不穷的安全威胁使信息安全成为一个迫切需要解决的问题,可信计算使从根本上解决计算安全问题成为可能。TCG(Trusted Computing Group)规范指
软件即服务(SaaS, Software as a Service)和云计算的一种重要思想就将各种资源服务化,单实例多租户技术是其中的一项重要技术,它通过整合资源来为成百上千的不同租户提供服
由于交流感应电机调速控制技术的快速发展及其自身优点,交流感应电动机调速驱动系统已经广泛应用于各个领域,因此进一步完善和提高感应电机变频调速性能、降低系统复杂程度等具有非常广泛的实际应用价值。随着电力电子技术、微电子技术和现代数字控制理论的不断发展,通过高性能微处理器和先进软件算法实现高性能的磁场矢量控制算法,可使普通交流感应电机的控制性能接近直流电机调速系统。本文针对交流感应电动机矢量控制算法展开
真实对象的三维重建,是计算机虚拟现实领域重要的研究内容之一,其中三维形状重建和三维纹理重建是真实对象三维重建中的两大核心内容。三维扫描、模型配准、模型匹配等技术的
在资源日益紧缺、人力成本、空间使用成本日益攀升的今天,虚拟化已逐步迎来全面的复兴,并在当前数据中心中得到了广泛地使用。虚拟机平台,将服务器的资源通过抽象和虚拟化进行整
随着互联网技术和信息技术的不断发展,存储系统中的数据量不断增长并呈海量形式发展。传统的依赖本地服务器的存储已经无法满足日益增长的存储需求,因此大规模的基于分布式存储
近年来,视频监控系统在公共场所监控、智能交通、森林防火、水利监测、公安刑侦系统等领域得到越来越广泛的应用。随着电子技术、计算机网络和通信技术的发展,市场对视频监控产
随着计算机软硬件技术的发展,数字图像应用越来越广泛。然而,在图像采集、处理、传输和呈现的过程中,都可能引入各种失真。主观方法和传统客观方法由于自身的局限性,不能达到应用