基于主动学习的中文文本分类研究与应用

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:star51324
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文文本分类在日渐完善的网络信息管理与网络平台建设方面都发挥着重要的作用。国内的信息发布和交流平台主要依靠中文文本进行信息的传递,随着用户的增多,涌现的文本数量也快速增长。平台上服务于用户的个性推荐、垃圾信息过滤等功能的实现主要依托于文本分类技术,然而在网络信息传播过程中,总会出现新鲜类别文本的数量呈爆炸性增长的情况,由于无法在短时间内针对新类别文本进行大量样本标注,会出现文本分类效果不佳的问题,导致与之相关的功能也受到影响。因此,高实时性要求的场景下快速准确的文本分类能力,对于保障网络平台功能的正常运作具有重要意义。基于此背景,本文对基于主动学习的中文文本分类问题进行了研究,能够在保证文本分类器性能的前提下,减少标注样本的使用。本文的主要工作有:1、提出一种面向主动学习文本分类的主题段向量(Topic Paragraph Vector,TPV)表示模型,基于主题模型对文本数据进行主题提取,将文本的主题向量融入段向量(Paragraph Vector,Paragraph2vec)的训练过程中,使得文本的向量表示中包含全局的主题语义,为后续主动学习中文文本分类模型提供数据来源,降低了的分类模型中特征提取的运算压力。2、提出一种密集度感知的不确定性加权(Measuring Samples Density and Information Entropy Weighting,MSD-IEW)主动学习中文文本分类模型,为了使初始样本集中的样本具有代表性,引入MSD算法选取初始样本集。考虑到样本对分类器的价值不同,提出IEW算法对样本进行加权训练,完成中文文本的分类。在保证文本分类器性能的同时,减少了标注样本的使用量。3、本文结合TPV文本表示模型和MSD-IEW主动学习模型,设计并实现了基于主动学习的中文文本分类系统。分析了系统需求,设计了系统总体框架,详细介绍并展示了各个模块的结构组成、实现方式以及工作机理,并对系统进行了测试。结果表明基于主动学习的中文文本分类系统能够在减少样本标注的同时,有效地对中文文本进行分类。
其他文献
随着电影产业的不断发展,我们可以观看到越来越多的电影,通过电影评论来了解电影信息成为首要方式,同时电影评论对票房的影响与日俱增。但是着眼当前,电影交流平台仍普遍存在着一些弊端:第一,电影爱好者缺乏客观、公正的交流平台;第二,电影评论中存在非法影评;第三,网站电影信息存在片面化、时效性差问题,用户错过最新信息的概率越来越高,影响用户体验。综上三点所述,为该高校学生建立一个客观、公正、健康的电影交流平
生物安全已成为一个威胁人类生存和发展的重大问题。保障生物安全对于保障国家总体安全具有重要的战略意义,对于保障大国粮食安全更是至关重要。一个多世纪以来,世界范围内发生了一系列生物安全事件,给农业粮食产业带来了重大灾难。我国作为一个农业粮食大国,具备多种优势条件,但是保障"大国粮安"仍然面临重大挑战。尤其是农业粮食生态系统在多种干扰压力下严重退化,大量外来有害生物入侵,农业粮食生产面临的生物安全风险尚
钢铁工业是能耗的大户,世界各国均十分重视钢铁冶炼的节能工作。目前在上海宝钢已应用的余热回收装置有干熄焦、高炉炉顶余压发电、烧结矿和均热炉等。这些装置主要是回收高温余热,但对低温余热尚未充分利用,随着工业发展和节能工作的深入,对中低温余热回收已列入重要的地位。
期刊
借古典诗词《雨霖铃》和现代诗歌《致橡树》的教学案例,探讨诗歌教学在课堂生态建设的实践策略:寻求生态发展的教学目标、确保课堂教学的动态平衡,建立和谐共生的师生关系、形成人文生态的教学情境,引导标新立异的教材解读、发散主动创造的学习思维,创设自由开放的课堂情境、注重教学过程的交流互动,变革传统单一的教学方式、实现现代多元的优化组合,完善系统多样的评价体系、提高学生的综合素养。
习近平总书记在中央民族工作会议上强调"要从加强民族交流,促进民族团结的高度,推动建立各民族互相‘嵌入式’的社会结构和社区环境"。这既体现了总书记对民族团结的重视,又为如何促进民族团结指明了具体道路。民族交往交流交融需要多民族互嵌式社区作为载体来营造各民族共居共学、共事共乐的社会条件,促进各民族在居住空间、心理、文化认知等方面全方位互嵌,形成你中有我、我中有你的格局。宁夏多民族互嵌式社区的建设应以推
[db:内容简介]
[db:内容简介]
一、产业链招商内涵、特征及其优势所在1.产业链招商内涵。经济全球化的不断深入发展,产业链一词越来越映入我们的眼帘。所谓产业链简而言之就是以一个产品为核心,或以某一个点为中心,根据这个中心产品来选出与之生产的其上下环节相关环节所需要的东西。例如以生产产品为例,某个主导产品与生产其原料和其他辅助原料、生产器械和零部件,完工之后的包装出售环节等,与之相配套的相关生产服务等。
期刊
一春天切切实实地在这儿了。那么春天是在哪一刻到来的呢?或许是第一朵木棉花开的那一刻。那天,我到20公里外的海边看水鸟。过了东里桥闸,有一段路要沿着义丰溪走,那棵高大的木棉就矗立在溪边。刚上海堤便遇到一小群叉尾太阳鸟,闹腾着在堤侧的灌木丛和矮树间穿行。一只雌鸟落到我身侧低矮的合欢丛上,歪着好奇的小脑袋打量我。我定住身体,对它那一瞬的好奇回赠我满是欢欣的眼神。它像是接收到我的欢欣,而后扑动双翅腾
期刊