基于深度神经网络的纪录片标注与检索研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:luzhiqing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着教育技术的发展,多媒体教学越来越多地被应用到中小学课堂中。科学纪录片一直都是受中小学教师所青睐的教育素材。它不仅可以帮助教师教授课本上的概念,还能给同学们留下深刻的印象,有助于提高同学们的学习兴趣。但在备课时,除了教科书配套的光盘外,教师很难找到其它的高清视频资料。这种备课需要的视频资料有两个要求:1.时间短,约为3-5分钟;2.包含教科书中出现的知识点。科学纪录片是一种被忽略的高清视频资料库。它之所以被忽略,是因为其时间长(大约45-90分钟)、同一部片子中包含多个不同的主题、纪录片语义与教材描述不一致等问题,导致教师很难从中快速的找出所需内容。针对以上问题,本文对如何在分割视频的同时更好地填补字幕文件与教科书之间的语义鸿沟,进而帮助教师在大量科学纪录片中迅速找到可用于教学的简短素材等问题进行了研究,设计了 ASTROS模型。ASTROS包含三个主要组成部分:1.知识图谱提取;2.纪录片字幕标注;3.重排序。为了备课教学的严谨,模型依赖的知识框架必须完全取自教材。因此知识图谱提取模块从教科书与教师用书中提取知识图谱,并为不同级别的概念分配不同的权重,为接下来的工作奠定基础。字幕标注模块使用深度神经网络LSTM,标注分类纪录片中的字幕,同时关联到知识图谱。重排序模块将根据不同的需求对检索中的多个匹配项进行重新排序。本文的创新之处在于:(1)通过深度神经网络标注字幕,将字幕语句关联到知识图谱,实现纪录片与教科书之间的语义关联,神经网络分类的准确率达到96%;(2)改进Lucene重排序算法,在查找分词匹配项的原理上加入上位词关联规则,使与检索关键字语义相关的匹配项得以出现在检索结果中,同时更加适用于教育类短文本搜索,搜索结果的nDCG得分均值达到0.89;(3)通过分割字幕的形式分割纪录片,便于教师快速获得知识点在纪录片中的实例。综上所述,文本提出的ASTROS模型依据教科书的内容建立知识图谱,根据知识图谱里的节点作为标签,建立深度神经网络将字幕语句逐条分类。改进的重排序算法使检索结果中可以出现与关键字有上位词关联的匹配项。实验初步结果表明,它可以提升教师的备课效率。
其他文献
随着我国城镇化进程和汽车工业飞速发展,越来越多的建筑垃圾和废旧轮胎亟需得到妥善处理,以免占用耕地、污染环境。建筑垃圾和废旧轮胎的资源化利用问题受到社会越来越广泛的
改革开放三十多年以来,我国经济取得了巨大的成功,伴随着经济增长奇迹的礼赞,产能过剩问题如影随形。目前,产能过剩对我国经济发展的负影响变得更为突出,产能过剩的特征也越
现在许多基于深度学习的人脸识别算法已经在现实生活中得到了广泛的应用,但是这些人脸识别的算法大多数需要待识别的人脸具有比较正面的姿态,如果人脸的姿态比较歪或者是整个
沥青混合料中集料的重量占据了沥青混合料总重量大约90%,决定了沥青混合料大部分的路用性能,其中集料的棱角特性对该混合料的物理特性影响最为显著,与沥青混合料的其他很多性
环境危机事件衍变的新问题不断挑战国家的传统治理秩序时,在新闻传播领域诞生了环境传播新兴领域,而具备该领域学科定位优势的“环境危机传播与管理”研究取向不仅是环境意义
单像素成像应用了压缩感知(Compressed Sensing,CS)理论,可以通过一个点探测器实现二维成像。单像素成像具高灵敏度的优势,因此被广泛应用于生物医学检测、航天遥感、三维成
多标记学习是机器学习领域的一个重要研究方向,其学习对象可同时与多个标记相关联。与单标记学习相比,多标记学习的输出空间呈指数级膨胀,导致学习任务变得异常困难,因而利用
逢山开路,遇水架桥,这是桥梁功能最初的表述。交通是经济的命脉,桥梁是交通的咽喉。随着国家对基础建设投资的增加,截至2016年底,我国已建成80.53万座桥梁,但是,在桥梁发挥着
深度学习近年来发展迅速,应用广泛,并且取得了许多显著的成果。在这种背景下,从事深度学习研究的研究人员也越来越多,但是大部分研究人员面临调优模型困难的问题。模型的调优
山药(Dioscorea opposita Thunb),作为一种药食同源的传统“滋补品”,因富含黏蛋白、多糖等活性物质,具有益气、养肺、延缓细胞衰老等滋补养生作用,被誉为“神仙之食”。贵州