【摘 要】
：
随着大数据热潮的不断升温,以及互联网技术的飞速发展,大量纷繁复杂的网络信息数据呈指数级增长。为了更加快速有效地获取有效信息,人们对搜索引擎也愈发依赖。而面对日益庞大的海量数据,传统的搜索引擎算法已不再能满足用户的需求。有别于此,智能问答系统则更加贴合用户的使用习惯,用户只需输入自然语言问句,便可以得到系统返回的相关答案信息,这使得用户获取信息的时间成本大幅降低。尽管问答系统发展较早,但随着近年来自
论文部分内容阅读
随着大数据热潮的不断升温,以及互联网技术的飞速发展,大量纷繁复杂的网络信息数据呈指数级增长。为了更加快速有效地获取有效信息,人们对搜索引擎也愈发依赖。而面对日益庞大的海量数据,传统的搜索引擎算法已不再能满足用户的需求。有别于此,智能问答系统则更加贴合用户的使用习惯,用户只需输入自然语言问句,便可以得到系统返回的相关答案信息,这使得用户获取信息的时间成本大幅降低。尽管问答系统发展较早,但随着近年来自然语言处理领域各种预训练语言模型层出不穷,问答系统又成为该领域研究的一大热点。而伴随着算法、数据、算力这三大因素的不断发展,模型越来越大、参数越来越多这一问题也逐渐显现,这也使得模型训练成本更高,训练效率更低。基于此,本文从问答系统及语言模型的特点出发,以提高训练效率和准确率为目标,对基于预训练模型的问答技术进行了研究,提出了剪枝与蒸馏相融合的模型压缩方法,旨在缩短训练时间,提高训练效率。本文的主要研究内容有以下几点:1)设计了一个基于ALBERT的一阶剪枝模型AP-BERT,通过实验探究了不同参数的调整策略以及对模型性能的进一步优化。2)引入知识蒸馏概念,设计了APD-BERT-Bi与APD-BERT-C两个模型。通过实验可知,两个模型与不进行蒸馏的初始模型相比,提升效果都非常明显。虽然性能表现上不如AP-BERT,但训练时间大幅降低。权衡之下,这种牺牲是完全可取的。
其他文献
公众对继续教育的理解就是提升学历和文凭的途径,虽然在思想上既接纳文化的不断创新,也认同全球文化你中有我、我中有你,但对知识更新、补充、拓展和能力提高总是不能全面接受,理由是受教育的时间不对、教育方式不对、知识内容不对,这些都是许多人面对继续教育中各种各样的思虑。在当下国际化的时代,经济、金融、传媒、人才、资源都趋向全球化,这些的关键基础是人才和能力、技能和知识的延展性、更替性,这也是在全球化时代,
伴随着我国社会转型进程的加快,智慧社区建设成为社会治理的重要内容,采用智慧化理念建设和运维未来社区是发展的大势所趋。开展智慧情境下的未来社区智慧教学一体化教学研究,显然有利于社区教育水平的提升。我国目前在这方面的教学建设研究还比较薄弱,立足智慧教育理念的运用,建议从智慧教学环境建设、智慧教学模式库、高素质师资队伍、专业课程体系建设等方面采取措施,不断推进智慧教育的一体化未来社区智慧教学建设。
本文首次基于市场基础、市场规模、市场环境3个维度共8项指标构建了我国省级层面数据要素市场化发展指数,为了解各省份数据要素市场化发展现状提供参考。测算结果显示,我国数据要素市场化配置程度整体较低,制约因素较为突出;东南沿海省份数据要素市场化配置程度相对较高,中部、东北、西北和西南等省份数据要素市场化水平发展明显滞后,数据要素红利无法得到充分释放。数字经济时代,各省份要积极制定高标准的数据要素市场培育
在新时代背景下,大学生返乡就业能够激发农村各项事业的创新活力并缓解大学生群体的就业压力,推动农村经济长远发展。乡村振兴战略实施至今,大学生返乡就业工作出现许多问题,大学生陷入就业困境。高校正在尝试通过强化继续教育等措施提升学生在人才市场中的竞争力,引导大学生走出返乡就业困境。简述新时代大学生返乡就业的意义及影响大学生返乡就业的因素,并结合实际探究新时代大学生返乡就业面临的困境,从继续教育角度提出引
单侧双通道脊柱内镜技术（UBE）是近期兴起的微创技术,该技术通过在患者一侧建立两个通道,一处置入高倍率内窥镜提供视野,另一处通道则置入传统器械进行手术操作。该技术巧妙的结合了传统开放手术和显微内镜手术的优点,为治疗脊柱疾病提供了新的思路,但随着该技术在国内外的开展和在各种脊柱疾病中的广泛应用,一些困难与问题也逐渐显露出来。文章主要针对单侧双通道内镜技术在临床应用中发生脊髓硬膜外血肿、椎旁肌肉损伤、
随着时代的发展,幼儿教育越来越受到社会的重视。幼儿时期的学习,是学生初步接触到教师引导下的学习,幼儿教师是学生在学前学习构建的引路人。该阶段教师的专业化程度,对幼儿知识水平和品德素养的塑造有着重要的作用。园本教研是以本幼儿园所面临的保育和教育实际问题为研究对象、幼儿教师为研究主体的教学研究活动,目的是提高对幼儿的教育水平。通过园本教研,能够提高教专业知识,保证教师的教育质量。另一方面,通过园本教研
多方安全计算、联邦学习、数据沙箱等安全技术将在政务、医疗、金融和工业等领域应用,数据要素市场主体将趋于多元,分工将更加精细。今天我想和大家分享国家工业信息安全发展研究中心的研究成果。我们致力于大数据产业、数据要素市场等领域相关理论的研究和实践探索,取得了一些阶段性成果,可以分为六部分。
我国工业发展已经进入新阶段，现行工业用地出让政策的缺陷逐渐显现，工业用地利用效率低、耕地保护形势严峻、生态文明建设需求等都迫切需要改革与完善工业用地政策。文章以内蒙古自治区中西部地区为例，通过调研与案例研究发现，该区域工业用地出让中存在出让方式单一、审批程序复杂、审批时间长、出让年期过长、依赖新增建设用地、批后监管不足等问题，对此提出改革完善对策：（1）简化工业用地审批程序，缩短审批时间；（2）积
近年来，泥水盾构在越江跨海隧道中被广泛应用，隧道开挖面“泥浆-土水”相互平衡作用是工程安全的关键。盾构泥浆能否成膜、动态掘进泥膜是否存在、动态泥膜如何发挥支护作用等问题受到广泛关注，理清这些问题是保障开挖面稳定的基础。对此，本文基于多相流理论提出了泥浆“渗滤-成膜-生长”瞬态力学模型，探明了泥浆的流体特性和地层的水力传导性质的时空变化规律，揭示了盾构停机静态成膜和掘进动态成膜机制，并通过静、动态成
在铝塑复合板中使用阻燃芯材，能够有效提高铝塑复合板的阻燃性能。目前，阻燃芯材在铝塑复合板中应用越来越广泛。介绍了铝塑复合板燃烧性能的分级体系，分析了提高铝塑复合板芯材阻燃性能的方法，综述了常见的铝塑复合板阻燃型芯材的种类，同时对铝塑复合板中阻燃型芯材的研究进行了展望。