基于ElasticSearch的分布式搜索引擎的设计与实现

来源 :北京交通大学 | 被引量 : 19次 | 上传用户:taozijian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今大数据时代的背景下,随着各行各业信息化的快速发展,各个垂直领域的信息数据呈爆炸式增长。无论是在工作还是生活中,人们已经习惯依赖互联网来获取有效信息,然而海量的数据容易造成信息过载的情况,如何快速并且高效的获取对用户有用的信息已经成为搜索引擎面临的主要问题。针对传统搜索引擎的业务扩展性差以及搜索效率与性能差等问题,本文提出了一种基于ElasticSearch的分布式搜索引擎,在提高检索效率和检索精度的基础上,对用户历史搜索记录进行分析与利用,让搜索引擎能更加智能、更加友好的与用户进行交互。在深入分析系统需求的基础上,主要把系统分为离线数据处理过程和实时搜索显示过程。离线数据处理过程主要包括数据预处理、数据存储、索引更新、扩充词库等问题;实时搜索显示过程主要包括搜索词纠错、搜索词提示、搜索结果排序并显示等问题。本文搜索引擎的设计与实现过程中主要使用到的相关技术包括ElasticSearch框架、文本分词技术、消息队列、新词发现算法、排序算法、N-Gram语言模型以及最短编辑距离算法等。其中,本文采用N-Gram语言统计模型与最短编辑距离算法实现搜索词纠错功能;采用BM25算法对搜索结果进行排序,使得搜索结果更加符合用户的实际需求;采用的是基于统计的新词发现算法来实现词库的扩充,定期通过分析用户的行为日志来进行新词发现,从而可以提高分词的准确度。通过多方面的测试与分析,验证了本系统的实用性、有效性以及实时性。通过对词库的扩充提高了分词的准确度,通过对搜索结果的重排序,返回给用户更满意的结果,改善了用户的体验,提高了付费视频点击率及成交额。目前,本系统已经通过了测试并交付用户使用,得到了用户的积极反馈,搜索引擎系统并未出现重大异常现象。本文在视频领域设计并实现了一个基于ElasticSearch的分布式搜索引擎。首先,本文阐述了项目的研究背景及意义,并分析了搜索引擎的国内外研究现状,然后,本文介绍了系统的实现过程中涉及到的技术,其次,本文阐述了系统的功能性与非功能性需求、概要设计、详细设计与实现,最后对系统进行了测试与性能分析。
其他文献
以177家污染企业为样本,运用结构方程模型探讨企业绿色行为是为了追逐经济利益还是响应市场激励型政策的结果。实证结果显示:企业采取绿色行为是响应市场规制政策和追求竞争
百合新娘影楼是杭城较为著名的影楼之一。由著名摄影家董雪义老师主持,以拍摄新娘套装为主题。作为时尚的婚纱摄影名店,我们的设计着重于空间形态的重塑和色彩的搭配,提炼其商业
期刊
船舶上的机械设备在正常使用过程中,会出现不可避免的折损和损坏现象。只要机械设备运行,必定会发生这样那样的磨损,部分情况下会造成无法挽回的后果。因此应该及时维护、保
在对发电厂、变电站进行接地设计或改造时,需要确定接地装置的接地电阻、跨步电压、设备接触电压等目标值,如果接地电阻目标值确定过大,系统将不能有效地释放短路电流,引起发
大米蛋白的氨基酸组成合理,生物效价高,致敏性低,是一种优质的谷物蛋白。通过蛋白酶水解开发抗氧化活性肽能够在保留大米蛋白营养特性的基础上改善其溶解性差的缺陷,具有良好
一直以来,经济学界对经济发展和收入不平等之间的关系保持着长期的浓厚兴趣,但迄今尚无定论。大量地理论和实证研究表明:经济的发展和收入的增长并不必然带来收入差距的缩小。中
中国西部电影的形成和发展与少数民族题材有着密切联系,十七年时期、八十年代及后期的少数民族题材的电影创作与实践,为今后中国新西部电影的发展奠定了坚实的基础。西部地区
中国钢铁工业在年钢产量达到3亿吨后,在铁矿石需求方面,由于国内铁矿石品味低,广而不富,钢铁企业对进口铁矿石的依存度越来越高。而现有的进口铁矿石物流管理方法和工具,由于
聚碳酸酯(PC)是一种综合性能优良的非晶型热塑性树脂,具有优异的电绝缘性、延伸性、透明性、尺寸稳定性、高抗冲击强度及耐化学腐蚀性,较高的耐热性和耐寒性;还具有自熄、易增强
<正>劳埃德·琼斯(Lloyd Jones,1955─),这个名字对大多数中国读者来说还是陌生的,但在国际文坛上,这位新西兰作家近年来携着新作频频进入人们的视野。2007年更是凭借《匹普