行业网站分类方法研究与应用

被引量 : 0次 | 上传用户:cyscwbr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文章主要讨论自学习行业网站分类方法研究中的一些关键技术,并在此基础上设计和实现了一个行业网站分类系统进行。通过对特定行业“种子”网站的链接结构进行分析,系统将有选择的从互联网抓取网页,对当前的行业网站集合进行扩展;同时,通过分析行业网站的层次结构,获取最能代表网站主题的那部分页面,关键词模型的构建和网站主题的识别都将基于这部分页面,通过将这部分页面和现有的关键词模型进行匹配度分析来确定一个网站是否应该被加入当前行业网站集合中,重复这个过程,最终达到对行业网站进行分类的目的。 论文工作主要包括以下三方面的内容: (1)网站主题关键词模型 关键词模型首先来自于对“种子网站”的分析,随着网站群体的扩展,可以对模型进行动态的调整。适合采用的关键词模型技术包括向量空间模型和概率检索模型等。无论采用哪种模型,都将包含多个信息项,比如:词频、引用数、语义关联性等。 (2)专业网站有用链接分布情况研究 对于行业网站分类系统而言,能否尽可能多地发现属于该行业的网站对于行业网站分类结果的完整性有着决定性的影响,而这,又是由分类系统能否尽可能多的提取出指向同行业其他网站的链接的能力决定的,在本文中,我们称这种指向同一个行业其他网站的链接为有用链接。作者通过对医药类行业网站的有用链接分布情况进行研究、实验,发现了专业网站内有用链接分布的一般规律,利用这个规律,能够提高系统的效率和有用链接的发现能力。 (3)最能代表网站主题的网页确定算法 相对于现有的网站识别、分类系统,本系统在进行主题判断时,是以网站为单位。同时,对网站主题的判断不是简单的对该网站所有网页的主题进行计算后累加,而是通过对最能代表网站主题的那部分网页进行主题计算,以计算结果作为网站主题的判断结果,从而提高主题判断效率;但是,随之而来的问题是在一个网站中,如何确定哪些网页最能代表该网站主题,这是论文的一个主要研究内容。 实验结果表明论文的工作是相当有成效的,尤其是网站主题的概念以及有用链接分布情况的研究,具有很强的创新性和实用价值。
其他文献
桥梁是交通运输中的关键工程,及时掌握桥梁结构的技术状况是保证交通畅通、减少损失的重要手段。现阶段识别桥梁承载能力的静载试验方法成本高、时间长,而动力试验方法理论上
作者认为将多媒体技术应用于小学写字教学中,可以通过直观形象的动画演示,以及对图片和声音的特殊处理,去有效地指导学生进行写字训练,大幅提高写字教学质量。作者利用多媒体
本文结合工程实例,采用VB设计上位机的外挂界面和数据库管理平台;后台数据库软件采用ACCESS 2003;上位机与PLC之间采用ROCKWELL的RSLink作为OPC协议。本设计中将ACCESS 2003
<正> 暴发性肝衰竭(以下简称暴肝)起病很急,转化迅速,预后极坏。一些学者报导:如Luckc总结296例,全部死亡。Trey综合284例,病死率为82.4%。1981年HT Psacharop-oulos等报导其
<正>举国体制是指以国家利益为最高目标,动员和调配全国有关的力量,包括精神意志和物质资源,攻克某一项世界尖端领域或国家级特别重大项目的工作体系和运行机制。在体育中,就
<正>2006年11月24日至2007年1月24日,在中国国家博物馆展出的《宋韵——四川窖藏文物精品展》中,跻身于精美绝伦的宋代龙泉、湖田影青等顶级宋瓷之中的一只标注为"清溪窑黄褐
简述了柳州市近年来主要推广应用的绿色植保技术及取得的进展,分析绿色植保技术发展的制约因素,并对如何发展绿色植保技术提出了加强政府扶持力度、加强绿色农产品监管、加大
正常的精子发生依赖于生精细胞的分裂分化和生精细胞凋亡之间的平衡,其背后是错综复杂的基因-蛋白调控网络。寻找并掌握这些基因/蛋白的功能,将能更深入地阐明精子发生的分子调
本文从我国目前的交通安全现状入手,分析了现代社会发展中交通管理、车辆保险、汽车维修三者之间的密切联系和它们对信息的迫切需求,在此基础上以系统工程原理为指导,结合北
在二十世纪的美国文坛,舍伍德·安德森以其独特的创作手法,简洁的语言风格占据着特殊的重要地位。1919年出版的《小城畸人》不仅是为安德森赢得崇高荣誉的代表作,而且也是“