论文部分内容阅读
2014年以来网络信息安全成为当今社会的热门话题。网络信息安全不仅包括网络信息的保密性、完整性和真实可靠性方面,还包括对网络中充斥着的大量垃圾信息的监管和预防。目前以汉语为对象的垃圾信息过滤以及文本监测技术已经非常成熟,但是以藏文文本为对象的检测技术还有待发展。随着藏文编码国际标准和国家标准的发布和普及,藏文分词技术的日益完善和提高,基于藏文国际编码标准和藏文分词技术的各类应用需求不断呈现出来。网络信息安全对维护国家利益,维护社会稳定,推动信息技术发展有着重要意义。遏制垃圾信息的传播,以及对出现垃圾信息的及时预警是网络信息安全不可或缺的一部分。一个实时监测预警系统能起到维护网络环境和谐、快速反应敏感信息、协助网管人员及时处理突发情况等作用。本文提出了基于HTTP协议面向藏文文本的实时监测系统的整体构架,并根据此架构实现了一个藏文文本实时监测系统。文中主要通过研究基于HTTP的数据还原技术,实时抓取网络中传输的基于HTTP协议的数据包,并对数据包进行排序、拆分重组、数据解压,从而实现实时还原HTTP数据内容;通过研究多语言环境中藏文文本抽取方法,根据还原文本数据的编码方式,采取对应的藏文文本抽措施,实现抽取藏文文本的功能;通过研究有限自动机(DFA)算法和哈希表查找算法,利用有限自动机的思想,结合哈希表查找算法的特性,提出一个高效的关键词查找算法,实现实时预警关键词的功能。本文首次提出并实现将藏文分词技术应用到藏文文本实时监测系统中。藏文分词技术的应用,有利于提高实时预警系统的准确率,也使系统逻辑更加简单。同时本文提出了一个结合了DFA思想和哈希表查找算法的多层动态哈希表关键词查找算法,通过DFA思想将词语分解成多个字节,并分别对这些字节建立哈希表树,从而减少每层哈希表的数据含量,进而尽可能的避免哈希表中冲突的发生。最后经测试,本文提出的基于HTTP协议的藏文文本实时监测系统,具有良好的实时性,和预警准确性。