【摘 要】
:
随着近年来我国教育水平的提高和国家及各教育机构对人才培养的重视,教育相关的数据量逐年增加。在关于教育信息的申报和评审类系统中,需要对申报的关键信息进行重复检查,以保证
论文部分内容阅读
随着近年来我国教育水平的提高和国家及各教育机构对人才培养的重视,教育相关的数据量逐年增加。在关于教育信息的申报和评审类系统中,需要对申报的关键信息进行重复检查,以保证评审结果的客观性和公平性。根据实际评估系统使用过程中的用户反馈,随着数据量的增加,通过传统的单一重复检查方式对这些数据进行检查已经无法满足用户对于检查精度和效率的要求,从而影响了评估工作的效率。 本文针对教育信息评估系统中的重复检查模块为研究基础,针对随着清单表数据不断增加而引起的两个问题,提出了针对组合信息的重复检查方法,针对同一张清单表中的多个关键字段分别利用不同相似度检查算法进行检查,来提高检查结果的精度,降低后期人工处理检查结果的难度,同时采用将重复检查方法并行化的方式来提高检查效率。 本文提出了组合信息的重复检查模型,利用Hadoop平台下的MapReduce框架实现重复检查的并行化,分析了将Hadoop平台下的组合信息的检查方法应用到现有评估系统中的步骤和可能存在的问题。实验结果表明当数据量增大时,Hadoop平台下的并行的重复检查方法比单线程的重复检查方法在效率上具有明显的优势,也验证了Hadoop平台应用于已有系统的可行性。 在保证检查结果精确性的前提下,本文提出了一种针对组合信息的通用的重复检查方法,利用分布式计算实现了提高重复检查环节准确性和效率的解决方案,提高了重复检查环节的可扩展性,并通过实验对比验证了Hadoop平台应用于重复检查环节的可能性,最后通过分析将重复检查环节迁移到Hadoop平台上的步骤进一步验证了将Hadoop平台应用于现有评估系统中的可能性。
其他文献
随着互联网的普及和发展以及国内“全民阅读”浪潮的兴起,在线图书交流平台正在被越来越多的人关注和使用,用户在其上方便地记录自己的阅读感受并发表相关的评论文章。在线图书
近年来,本体已经成为人工智能、知识表示、语义Web、数据集成及语义互操作等研究领域的热门课题,随着本体应用的增多,如何解决异构本体的集成已成为一个相当棘手的问题,当前
无线传感器网络是由部署在监测区域内大量能量有限的传感器节点组成。组成无线传感器网络的传感器节点协同工作,从监测区域内感知数据,并将数据传输到网关节点。无线传感器网
金属输送设备由于流体冲蚀、腐蚀作用的长期积累会造成内壁损伤,损伤严重情况下,如不及时发现会导致容器输送液体外流浪费。如果输送的液体为石油等易燃、易爆液体,不仅有可
组播技术可以节省大量的网络通信资源,提高通信效率。多源组播要求组播组中每个结点都可以作为组播源发送消息,并且对组播组中的结点进行度约束。应用层组播可以在不需网络层
本文中主要研究平面型Mushroom-like型PV-PBG结构的特性,分析了表面波带隙和反射相位带隙的形成原因,总结了Mushroom-like型PV-PBG结构的等效电路模型和LRCC模型,提出了把CLR
不可否认服务(Non-Repudiation Service)是开放系统互联参考模型安全体系结构标准ISO/IEC 7498-2中描述的五种安全服务之一。它保证了网上事务办理的可追踪性及公平性,是电子
软件测试对确保软件质量有着极其重要的作用,但是手工的测试工作是非常繁琐和低效率的,因此测试的自动化就越来越成为重点。软件测试自动化主要包含了:(1)测试用例的自动生成;(
近年来,随着数据的飞速增长,以DAS、NAS、SAN为代表的存储网络系统成为大多信息系统的数据存储中心。随着存储系统的网络化趋势,存储系统逐渐成为恶意攻击者的重要目标,攻击
随着互联网的发展和人们生活水平的提高,电子商务成为了一种时尚和潮流,随之也产生了不少以商品为中心的推荐系统,这类推荐系统利用用户的浏览(购买)记录来给用户其可能想了解或购