基于主题模型的复杂短文本话题检测方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:nofeeling189
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络科学技术的快速发展,使得社交媒体平台中产生了大量的复杂短文本数据,与传统的新闻数据相比,其具有海量、高维、更新速度快、语义信息少、噪声高、文本质量低等复杂特性,基于多次扫描和迭代产生聚类结果的传统聚类算法已不能满足社交媒体实时信息挖掘的需求,如何快速、准确挖掘社交媒体短文本数据中隐含的话题,是当前自然语言处理、计算语言学的关键性问题。本文针对短文本语义稀疏的问题,通过词共现的方式提取了短文本更深层次的语义关联信息,在现有研究的基础上,进行了社交媒体短文本在线聚类算法的研究。同时针对现有在线聚类算法聚类粒度细、聚类结果主题分散的问题,提出了一种基于短文本的话题检测方法,通过社交媒体事件在文本和主题上的关联性,实现了事件之间的聚类,将事件融合为话题。本文具体的研究内容如下:(1)提出了一种基于词共现的语义增强短文本在线聚类算法。本文所提出的短文本在线聚类算法是基于狄利克雷过程多项式混合模型的,不需要事先人工指定聚类的主题数目,而是由模型在聚类过程中自行推导计算。针对短文本语义稀疏的问题,本文以短文本为共现窗口,提取了短文本之间的词共现关系,以此丰富短文本的语义信息。针对聚类过程中主题中心变化的问题,本文在聚类过程中根据短文本与已存在类簇的相似性,选取待融合类簇集合,最后进行类簇的融合。通过对比实验表明,本文所提出的聚类算法具有更好的聚类性能。(2)提出了一种基于短文本的社交媒体话题检测方法。针对现有社交媒体短文本在线聚类算法聚类粒度细、聚类结果主题分散的问题,本文提出了一种社交媒体话题检测方法,该方法包含三个阶段:文本预处理阶段对社交媒体短文本进行预处理操作;在线聚类阶段对短文本进行在线聚类,以小型类簇的方式识别社交媒体短文本流中的事件,生成社交媒体事件集合,同时构建事件主题关联网络;话题检测阶段根据在线聚类阶段生成的事件集合和事件主题关联网络,计算事件之间的相似度,构建事件相似网络,最后采用标签传播算法对事件相似网络进行社团划分,生成社交媒体话题集合。实验表明,通过本文所提出的方法得到的话题集合更加符合真实的文本数据主题分布,聚类结果更加紧凑。
其他文献
JD汽车零部件制造公司是一家汽车制动泵的生产制造型企业,主要以出口贸易业务为主,销往北美汽车售后市场,在业界颇有名声。近40年来,公司稳扎稳打,潜心经营。即使如此小心翼翼,当下却也面临着很大的风险:公司的主营业务产品鼓式制动泵逐渐被盘式制动所替代,曾经的明星产品现在已成为夕阳产品;国际政治环境复杂多变,随时可能给JD汽车零部件制造公司带来致命的一击;JD汽车零部件制造公司的管理理念也较陈旧,年轻管
学位
近年来,随着各种带宽密集型应用的日益普及,核心通信网络流量急剧增加,使得当前相干光传输系统面临着带宽的挑战,而波分复用(Wavelength Division Multiplexed,WDM)技术通过多个波长复用可以实现传输容量的提升,已经成为大容量光纤传输系统的主要技术手段。但是,高速长距离传输光纤的克尔非线性效应限制了现代WDM光通信系统容量,传统的数字信号处理(Digital Signal
学位
文章以中国省级数据为基础,采用空间基尼系数、泰尔指数考察了中国文化多样性区域差异现状,进而构建以城镇化为门槛变量的面板门槛效应模型分析了中国文化多样性对创新创业绩效的影响。研究发现:(1)分维度文化多样性的区域差异呈现“民族文化多样性>方言文化多样性>外来文化多样性”的基本特征。(2)基于基尼系数的结构分解表明,相比方言文化多样性和外来文化多样性,民族文化多样性区域差异对总差异的贡献占主导地位,而
期刊
OFDM-PON由于具有资源分配灵活、频谱效率高、抗光纤色散能力强等优点,被认为是突破“最后一公里”瓶颈的最佳方案。但随着用户数量地不断增长,OLT和ONU之间存在大量、频繁的业务交互,OFDM-PON中的下行广播通信数据容易受到非法ONU的恶意窃听和攻击。而混沌由于带宽大、随机性高、对初始值敏感等特点,成为一种保障物理层数据安全传输的有效方法。本文以OFDM-PON为研究对象,提出了基于混沌的物
学位
本文以方言多样性作为地域文化的载体,基于2017年中国流动人口动态监测调查数据,实证考察方言多样性对流动人口永久迁移意愿的影响。结果显示,流入地的方言多样性越高,流动人口的永久迁移意愿越低。这种影响对受教育程度较低、工作稳定性不高、主动流动以及跨省或者跨方言区流动的群体更加明显。如果流入地包容性较好,制度较完善,方言多样性对流动人口落户意愿的阻碍作用会被削弱。在考虑内生性问题并进行一系列稳健性检验
期刊
随着经济的发展,信用在市场经济健康运行的前提和基础作用越发凸显,交易环境变得越发复杂,传统信用观念开始受到冲击。人们在市场活动中的行为越发的难以被监管,社会上逐渐出现了众多的信用问题,因此亟需加强建设社会信用体系建设,来实现政府的宏观调控,促进市场的健康稳定发展,基于此,征信服务逐渐成为政府采购第三方服务机构和信用体系建设考核不可或缺的一环,因此拥有广阔的市场。HG公司是一家专业从事征信技术研发及
学位
长期以来,商业银行柜面业务服务占据银行业务中的重要位置,随着时代的进步和业务的发展,柜面业务内、外部欺诈事件层出不穷,给柜面业务风险管理带来了极大的挑战。2018年以来,我国金融监管不断升级,处罚违规操作的力度持续增强,罚单数量和罚单金额持续创历史新高,以2021年第二季度为例,罚金超过1000万元人民币的罚单共有7张,其中最主要的处罚原由便是操作风险违规案件。Y农商银行原来是YC农村合作银行和Y
学位
户籍制度改革和城镇化建设推动了我国劳动力大规模跨区域流动,使得不同的文化基因随着人口流动而扩散,不同文化背景的人群互相交流融合,塑造了富有多样性的地域文化环境。以外来人口来源地的多样性衡量各地区文化多样性,将人口普查数据与经济普查数据相结合,构建了2000年和2010年两期面板数据,研究了文化多样性对城市创业活力的影响。结果表明:(1)文化多样性能显著提升地区创业活力;(2)只有外来人口社会融合度
期刊
随着我国经济水平的提高,教育行业需求逐年增加,时代的不断演变也使得教育行业的业务从传统线下趋向于线下与线上相结合的多元化方向发展。线上教育机构在短时间内迅速发展,竞争也日益激烈,普遍面临用户转化率不高的问题。以往对线上教育营销的研究大都从总体角度泛泛讨论,但教育行业是动态变化的,如果从用户角度实现针对性营销鲜有人研究。本研究以Z在线考研培训平台为对象,以用户关系生命周期理论为框架,探索上述为题。本
学位
激光混沌,这种确定性系统中存在的复杂现象,自被发现以来,就受到学术界广泛关注。随着保密通信、随机数发生器、激光混沌雷达、以及近年来提出的光计算和光子决策等相关应用的快速发展,以外腔半导体激光器(ECSL)为典型代表的传统混沌激光源弊端渐显,难以适应相关应用日益复杂化的需求。论文以并行双路激光混沌信号的产生与决策应用研究为题,重点研究了基于自反馈相位调制(SFPM)结合并行滤波的双路宽带复杂低相关混
学位