小规模数据集下的半监督学习研究与应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:zhuobin0904
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在实际应用中,训练智能模型所需要的标注数据往往具有很高的获取代价,而另一方面,现实场景中的无标注数据又可以轻而易举地获得。因此,仅使用少量标注数据并同时利用未标注数据的半监督学习具有重大的实际意义。相较于需要足量规模训练数据、侧重于处理复杂数据形式的深度学习半监督方法,小规模数据集下的半监督学习方法凭借其训练速度快、标注需求量低、适用范围广的特点,在现实诸多领域具有应用价值。例如许多在线试题平台的评测题库具有基于章节或知识点的初步划分,但随着其近些年如火如荼地发展,许多章节下的题目数量已然达到成百上千规模,臃肿的题库逐渐令选题的老师与做题的学生焦头烂额,急需进一步细分以提升平台用户的使用体验。而在本文的另一个应用,物联网下的智慧农业领域中,由于系统采集的数据维度较低、易于模型分析,使用小规模数据集下的半监督学习方法可以凭借更少的人力标注数据就地训练模型,取代目前普遍的直接调用专家资源库的智慧决策模式,做到因地制宜。针对半监督场景下标注数据不足的特性,本文通过调整训练集构建、对无标注数据进行样本判别以及融入主动学习策略的措施,对训练数据集进行动态优化,使其更好地用以机器学习的模型训练,并以此取得更好的半监督学习性能。与此同时,本文还将方法实际应用于在线教育以及智慧农业领域,进行了实验与测试。本文的主要贡献有:1)基于小规模数据场景下的标注训练数据以及无标注数据集,提出了一种基于动态训练集构建的半监督训练方法DDC,利用无标注数据信息对训练数据集进行优化,提升半监督学习性能;2)针对无标注数据样本的分类情况,在DDC的基础上,提出了一种引入样本判别机制的半监督训练方法SD-DDC,并将其应用于智慧农业领域,实现了智能灌溉技术因地制宜的智慧决策;3)针对在线教育领域的交互优势,在SD-DDC的基础上,提出了一种结合主动学习策略的半监督训练方法ASD-DDC,并将其应用于在线教育领域,实现了在少量的专家人力参与下,在线试题评测平台题库的题目子类自动划分流程。
其他文献
随着近年来基础设施建设持续发展,大型桥梁、交通等建设工程项目日益增多,工程安全逐渐受到项目组指挥部的重视。特种设备作为大型工程项目常用的施工设备,具有体积大、危险性大和破坏性大的特点。为保障工程安全,特种设备安全管理就显得尤为重要。因此,如何改进大型工程项目的特种设备安全管理是一个值得深入研究的问题。T沿海大桥工程项目特种设备数量多种类多,人员和设备经常流动,原有的安全管理难以满足该工程项目的安全
中国产业园区的发展途经了改革开放40余年的历程,从2016年至2020年间,国家级经开区的生产总值占国内生产总值均超过10%,产业园区已经成为我国经济发展的主力军。A产业园区是以发展装备制造业和数字经济产业为主的国家级产业园区,目前产业园区新增工业厂房的主要来源之一即为园区政府投资类为生产制造型企业定制代建厂房。定制代建厂房的诸多优势促使该模式得到了广泛的应用,但是由于定制代建模式参与方众多、代建
学位
水下结构物由于受浪流冲刷和水生物侵蚀而容易在表面产生损伤,需要进行定期检测和维护,为了提高检修效率,常用水下机器人替代潜水员进行相关作业。目前可使用遥控无人潜水器或水下爬壁机器人进行操作,但都各有局限性,前者面临在动态浪流环境下长时间悬停稳定的控制问题,后者面临越障困难的问题。为了解决上述困境,论文提出一种双模作业水下机器人的新思路,使机器人同时具备游动和爬壁能力,在水下结构物工作点附近切换姿态后
学位
学位
学位
伴随着中国人口老龄化现象的持续加剧,中青年人口占比持续下降,过去单纯依靠子女亲属的家庭养老变得难以维系,而居家养老在推行的过程中引起了广泛的关注与重视,这种新兴的养老模式将家庭养老与机构养老相互结合,因此具备更加显著的优势。这种养老模式既保留了老年人在家中居住的生活方式,又依托社区,由专业机构上门提供多样化养老服务,并由政府通过法律法规手段和财政手段主导协调。但目前我国居家养老整体处在初级阶段,发
学位
随着新能源电动车技术的日渐成熟与完善,电动汽车无疑将在历史的舞台上焕发迷人的魅力。新能源汽车产业的瓶颈主要是动力电池技术和电池包生产工艺创新,各大主机厂都在极力推进动力电池技术及电池包的规模化生产。由于A公司的电池包产品与国内的主流产品差异很大,缺乏懂相应制造过程的工程技术人员和管理人员,加上工厂项目周期紧,员工都是紧急招聘过来,培训周期短,管理较为混乱,从而造成了产品质量投诉频繁,质量成本和客户