大规模图片存储与索引系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:talltiger
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数码产品的普及,家庭图片类型繁多,且其总量呈爆炸式增长,超出普通用户的管理能力,由此产生了‘为大规模图片文件设计高效存储与检索系统’的应用需求,针对此,设计并实现了一种大规模图片存储管理与检索原型系统。该系统采取C/S基础架构,具备数据上传功能和语义扩展特性,并采取了高效检索机制和优化技术。具体地,数据上传采用高效可靠的文件传输协议(FTP)将用户图片文件传输到服务器上存储;在客户端完成图片语义扩展,并以扩展属性的方式进行定义和保存;在服务器内存中,实现基于分层索引结构的键-值对数据库。对于键值对插入操作,首先通过第一层的Bloom Filter建立检索集,然后对键进行哈希处理获得第二层平衡二叉查找树(AVL树)的地址,最后在AVL树中进行插入操作;对于查询操作,通过第一层的Bloom Filter对查询条件进行过滤,然后对查询条件进行哈希处理获得第二层AVL树的地址,最后在AVL树中进行查询操作。服务器内存键值对数据库的增删改查操作接口通过远程调用的方式提供给客户端。最后,采用往日志文件中进行追加写操作和快照相结合的方式,将内存索引信息同步至磁盘日志文件中,保障了内存索引信息的可靠性。实验结果表明,基于键值对的内存分层索引结构每秒钟可写入48600左右个键值对,可读出377800左右个键值对。以一个拥有140000个文件的目录为例,通过Linux文件系统自带find命令,平均查询时间约为0.5秒。假设每个文件有10个属性,对1400000个键值对建立内存索引结构需耗费30.78秒,其后,通过内存索引结构进行查询的时间约为30微秒,查询性能能提升三个数量级。
其他文献
【摘要】农村初中教学存在很多的弊端与不正确教学方式,需要教师共同努力来改变现状,需要老师的督促才会有所作为;尚有十多个学生属于不思 进取型,积极性和主动性极差,他们或偏向其他科目,不理语文,或根本对学习毫无兴趣,需要老师再三教育才能勉强完成作业。  【关键词】能力 组织能力  由于地域因素、城乡因素、发展因素,长期以来教育投入的不公平,使“城市教育像欧洲,农村教育像非洲”。这种现象制约着农村教育的
现代企业的质量管理不仅仅是一个针对产品(或服务)质量形成过程的技术管理,而且是一个全方位的立体管理,既有产品(或服务)形成过程的技术问题,也有形成过程的要素问题,还有过程主体—
随着新课程改革的不断深入,农村中学英语教师的教学方法和教学观念也在随之不断地转变。虽然农村中学英语教师在实施新课程教学取得一定的成效,课堂的教学模式也有很大的改观,但是由于农村学生素质差异较大以及农村中学教学资源相对缺乏等因素的影响,都不同程度制约农村中学英语教学的课堂效率,因此,如何提高农村中学英语课堂教学的有效性成为提高课堂教学质量的关键。  一、当前农村英语教学的现状  1.大部分老师还是沿
克伦特罗作为β-兴奋剂药物作用于肾上腺素受体,主要用于治疗人类和动物疾病.如把克伦特罗添加到生物饲料中行喂养动物时,可以减缓蛋白质的分解速率,提高脂肪糖原等的分解速
分析影响预应力孔道压浆质量的原因,介绍压浆质量检测技术,并结合压浆密实度检测技术的实际应用情况,总结分析直接测量与无损检测技术的特点和存在的问题。另外,对孔道压浆质
运用考虑非期望产出的超效率SBM-Undesirable模型,在全要素用水效率测度框架下,对"十二五"期间化肥污染排放约束下的广西种植业用水效率进行测度。在此基础上运用探索性空间数