随着网络科技的快速发展,网络媒体在人们的生活中扮演着越来越重要的角色,互联网已经成为庞大的公共信息分享平台。网民通过贴吧,微博,论坛等发表自己的意见和看法,其中不乏存在一些负面的、消极的评论,这些消极的评论可能会给高校乃至整个社会带来极大的负面影响和不稳定性。利用高校网络舆情实时分析系统能够对高校的相关舆情进行有效的分析与预警,以便高校制定相关的措施引导舆论的正确走向,及时的阻止错误言论的传播,对维护高校乃至整个社会的稳定具有重要的现实意义。此前已有不少学者对高校网络舆情监管进行了研究与探索,但相关研究多侧重于理论和机制分析,缺乏实际的分析手段和实证研究,难以有效支撑高校在各种突发舆情下的实际要求。本文利用大数据手段整合了数据采集、处理、分析以及可视化等技术,提出了基于Spark的高校网络舆情实时分析方法并进行技术实现,对中国三所高校在突发疫情防控中的网络舆情进行实时监测分析与预警,主要研究内容如下:(1)针对实际文本分类工程应用中传统计算模式的缺陷,基于Spark MLlib对增量贝叶斯算法进行改进,通过样本增量的方法对无标签数据进行拟合与筛选,以此来扩充训练样本的容量,而后使用新训练样本重新计算每一个类别的条件概率,通过多次迭代逐步提高有标签样本少的情况下的分类准确率。(2)综合调研现有舆情分析框架及系统的优缺点,针对大数据背景下高校网络舆情的实时管控进行建模,设计并实现了基于Spark的高校网络舆情实时分析框架,使用改进的分布式增量贝叶斯分类算法,提高实时计算的效率,减少计算时间。(3)分析对比了目前已有的分布式学习框架,根据应用背景设计并实现了基于Spark的网络舆情实时分析系统,完成了网络舆情数据的采集、预处理、舆情分析、可视化、搜索以及预警等功能。本文利用大数据技术,在分布式机器学习框架上实现了分布式增量朴素贝叶斯算法,设计并实现了基于Spark的网络舆情实时分析系统,对高校网络舆情的实时获取与分析方面进行了重点研究,为高校网络舆情的分析和研判提供重要依据。