基于视频元数据的网络视频爬取平台的研究与实现

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:chenhonghongshi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅猛发展以及网络带宽逐年的扩容,使人们在网络上能做的事情不仅仅是文字信息,还有观看消耗大量带宽的视频数据,这些变化使在线收看视频甚至是高清视频成为现实,这是一件很有历史性突破的事情,因为随着互联网技术的各方面发展,网络视频开始逐渐渗透了传统电视这一天然地位,人们通过网络视频来观看视频,已经成为一个重要的选择。随着越来越多的用户的目光聚焦于互联网信息,互联网信息中的视频信息已经成为用户关注的非常重要的一部分。因此,想要了解用户喜爱何种网络视频,特别是对做网络视频的互联网企业,对网络视频信息进行快速收集是很重要的。在网络中,人们可以观看的视频,有很多的选择,人们在获取视频信息时,如何很快的获取到,这是一个非常重要的学术课题。针对上述问题,本文主要设计了一个基于视频元数据的爬取平台,用于获取全国各大视频网站的信息。本文的主要工作内容包括:一:本课题采用基于视频元数据的方式,设计出了一个网络视频爬取平台,通过对相关视频的元数据信息进行分析,从而制定出爬取网络视频数据的配置文件,爬取程序根据相应的配置文件对网络视频数据进行解析,返回粗糙的视频数据集,然后通过对解析之后的视频数据根据一定的规则进行清洗,之后通过视频数据的类型,进一步使爬虫爬取的网络视频数据分解开来,最后对所有的已处理数据进行入库操作,最终目的是实现对视频元数据信息的树枝型的持久化操作。二:为了保障网络视频爬取平台中信息的安全性以及可靠性,网络视频爬取平台通过构建一个基于角色的访问控制权限管理模型策略,对平台的安全性通过多个不同的层次进行分析,最终提出平台的安全策略,使平台不仅有很好的数据的机密性能而且平台的安全可控性能也得到了很好的保证。针对平台建设中用户密码等重要数据的安全问题,采用MD5算法对重要数据进行加密保证数据存储的安全,采用RSA加密算法保证数据传输的安全。
其他文献
此研究课题的目的是为了在嵌入式领域做一些理论上的探索和实际应用.整个课题基于源代码公开的嵌入式实时操作系统μC/os-Ⅱ.在分析了μC/os-Ⅱ以后,作者结合当今嵌入式系统
制造工艺的持续发展,为芯片提供了指数级增长的可用晶体管,单个芯片上甚至可以容纳数10亿个晶体管,因而处理器能耗和热密度逼近其物理极限,成为限制处理器性能提升的主要瓶颈。如
在移动通信技术飞速发展的今天.能提供多媒体业务一直是移动通信系统的重要目标之一,而实时多媒体业务是对系统要求最高的一种服务.它涉及到移动通信系统的方方面面,对网络以
该文阐述了软件复用在产品系列化过程中的作用和实现,具体介绍了软件复用在网站建设中的意义与实现方案:采用InQuality框架,从网站体系结构,界面,函数,代码,迭代渐进过程和业
XML正在成为在WorldWideWeb上表示和交换数据标准。XML最初的目的是为了增强对在Internet上传递的文档的解释和操作的远程应用能力。从数据库的观点来看,XML文档中包含大量的
"新疆油田公司网络安全机制的研究与建立"主要是从新疆油田公司网络的实际应用出发,根据建立的风险评估的模型,通过对公司下属十几个单位信息应用情况的调研情况进行风险分析
通过对BOSS系统计费、结算、帐务处理子系统整体功能分析,得出各个环节数据处理独立的,并发的线性顺序工作流表示.在基本遵照工作流概念的基础上,作业调度系统的多个工作流引
该文先简述了GIS技术的概念和发展趋势,并结合计算机软件技术的发展潮流,探讨了组件技术在GIS系统中的应用,并对ESRI ArcGIS产品中的组件技术进行了分析,探讨了ESRI ArcGIS在
本文首先通过分析和比较,说明采用Lotus Domino群件系统作为办公自动化系统开发平台的可靠性和优越性,以及开发Domino应用程序的设计方式和管理理念,并在此基础上详细地论述
已有的时序数据挖掘方法主要关注于时序数据在取值和时间两维上的总体信息,其知识生成过程主要是基于总体的、最显著的、全局的序列变化形式。但是对于很多数据挖掘问题,在取值