随着互联网与HTML技术的发展,网络新闻成为新闻传播的主要方式,而网页中的导航栏、广告、备案信息等冗余信息却影响了人们对新闻内容的获取。为了让用户可以获得纯净的新闻内容,就需要对网页内容进行信息抽取,即从包含冗余信息的网页中将主要新闻信息如新闻标题,内容等抽取出来。为了实现这一目标,本文设计了一个Web新闻抽取系统,可以从网页中抽取新闻的主要信息并对抽取的新闻进行分类然后存储在数据库中。对于从新闻网页提取内容的问题,本文在已有的基于统计信息的抽取算法基础上设计了一种基于标签路径和关键词特征的抽取算法。该算法主要有三个关键点,一是根据标签路径进行网页分块,实现内容节点的融合,融合后可以减少计算量;二是依据关键词计算主题相关度,新闻内容总是和其标题具有相关性,通过主题相关度可以过滤掉一些噪声节点;三是将图片替换为其上下文的文本然后对图片也计算重要度,该方法并不限定于图片,这里使用的是一种等效替代的思想,音频,视频等无法直接度量重要度的内容都可以采用这种转换为文本的方式去计算重要度。算法的最后通过对每个网页块都计算特征值后,使用支持向量机分类算法去对所有网页块分类,用以识别出所有内容块。基于上述思路,本文设计实现了Web新闻抽取系统。该系统共有八个模块,分别为下载,预处理,特征值计算,节点分类,新闻分类,存储,代理池,日志模块。代理池模块实现了代理的实时获取和管理,并为爬虫提供可用代理;日志模块实现一个可配置的日志组件,记录系统运行状况;下载模块负责网页源文档下载和链接提取;预处理模块对源文档进行节点融合和部分噪声的过滤;特征值计算模块对节点计算其特征值;节点分类模块通过节点特征值对节点进行内容和噪声分类;新闻分类部分实现了对抽取出的新闻进行分类的功能;存储部分将具有类别信息的新闻存入Redis数据库中。系统运行过程中,每次都会记录噪声块的属性,在处理下个新闻网页时就可以先根据记录的属性信息过滤一部分节点。随着系统处理的新闻越来越,对新闻内容的提取准确率也会越来越高。最后,对整个系统进行测试,测试结果显示系统可以稳定运行。