目前网络上涌现了海量的视频数据,其中存在大量非法信息的问题,本文针对这一情况提出了多媒体信息处理系统的背景和总体设计方案。该系统分为疑似非法视频的发现和分析两大部分,目的是为了从大量视频源中发现疑似非法视频的关键帧。然后对其进行分析和比较,确定其内容的特性,以便对确定的非法视频给予预警、截获链接源或上报相关部门等一系列后续处理。系统发现部分通过搜索技术对介绍性网页进行快速查找来发现非法文本信息,确定非法视频流链接。该部分采用分类网页新词抽取方法和信息熵的方法抽取网络中的高频词语作为关键字集合,并进行自主学习。将这些关键字作为非法视频流介绍性网页的特征,利用特征选择算法,利用搜索引擎进行查询并根据查询结果改进特征的权值,从而自动搜寻到最合适的关键字。分析部分是本文的重点内容,采用了流媒体中相对音频文件来说更容易获取、存储和处理的视频文件进行处理。通过分析影像是否含有非法台标来判断该链接是否合法;在未发现违法台标的情况下,采用目前最具有直接性和可行性的字幕检测方式,通过字幕信息分析其内容,再对该内容进行跟踪处理,从而进一步实现非法流媒体的诊断工作。系统分析部分的实现主要依靠以下两个算法,一是对图像或图标的匹配。首先对图像进行预处理,采用OTUS阈值分割法,平均梯度算法提取轮廓,二次阈值处理,Hilditch细化骨架边缘四个步骤得到有效预处理图像。然后,采用一种新的特征点选取算法,该算法结合图像骨架线条端点和图像的分块重心进行特征点选定。最后,采用设立坐标系和多重循环匹配法匹配两幅图像。二是对图像中的字幕部分进行检测和提取。对连通区域的确定采用了在传统膨胀图像的基础上进行分块处理的方法,使得到的连通区域可以覆盖全部的字幕区域,且文字之间基本不存在空隙。同时改进字幕约束条件的制定规则,使之适应字幕的提取。最后搭建实验平台对所提出的算法进行验证。实验结果表明其准确性和高效性。