【摘 要】
：
基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码
【基金项目】
：
国家自然科学基金（No.61871260）
论文部分内容阅读
基于递归神经网络的序列到序列的模型在文本摘要生成任务中取得了非常好的效果,但这类模型大多存在生成文本重复、曝光偏差等问题。针对重复问题,提出一种由存储注意力和解码自注意力构成的混合注意力,通过存储历史注意力和增加对历史生成单词的注意力来克服该问题;使用强化学习作为一种新的训练方式来解决曝光偏差问题,同时修正损失函数。在CNN/Daily Mail数据集对模型进行测试,以ROUGE为评价指标,结果证明了混合注意力对重复问题有较大的改善,借助强化学习可以消除曝光偏差,整合后的模型在测试集上超越先进算法。
其他文献
眼下，新型冠状病毒感染的肺炎疫情牵动人心，也揪痛人心。大年初一，习近平总书记在中央政治局常委会上指出：必须把人民群众生命安全和身体健康放在第一位，把疫情防控工作作为当前最
党的十九届四中全会系统描绘了中国特色社会主义制度的“图谱”，系统回答了在我国国家制度和国家治理体系上应该“坚持和巩固什么、完善和发展什么”这个重大政治问题，具有极为
这是一次全面系统的思想洗礼——省纪委省监委全体党员干部全身心投入到主题教育中,深入学习贯彻习近平新时代中国特色社会主义思想,在一次次触及灵魂的自我检视、忠诚淬火中
近年来泉州一些实力雄厚的民营企业通过多种方式积极参与金融活动，体现了民间融资规范发展的良好势头，在此背景下，泉州金融综改方案适时提出"推动民间投资多元化"。$$ 民间融
棉花是世界上极其重要的油料作物和纤维作物。在整个生长周期中,棉花会遭受各种各样昆虫的为害,严重影响棉花的品质和产量。在棉花和昆虫长期的博弈中,棉花形成了复杂的防御
《中共中央关于坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化若干重大问题的决定》全面总结了我国国家制度和国家治理体系13个方面的显著优势，其中包括
今年1月13日起施行的《中国共产党政法工作条例》（以下简称《条例》）系建党以来关于政法工作的第一部党内法规，是党的十八大以来政法工作取得历史性成就、发生历史性变革的经验
试验研究了不同剂量（0.025%、0.05%、0.1%、0.15%、0.2%）的丁酸钠对兔离体回肠运动性能（张力和频率）的影响,并探讨其对肠道平滑肌收缩的影响机制。结果表明,丁酸钠对兔离体回肠的
目的建立RAG2/IL2RG双基因缺陷的CRG小鼠杂交群体。方法将RAG2基因缺陷小鼠与IL2RG基因缺陷小鼠分别进行繁殖,选取RAG2基因缺陷雄鼠RAG2(-/-)与IL2RG基因缺陷雌鼠IL2RG(-/-)
选择处于全球变化中国东北样带东部典型生态系统的长白山阔叶红松林作为研究区,采用动态气室-CO2红外分析法测定了森林生态系统不同退化阶段的土壤呼吸作用.结果表明:在生长