随着因特网的不断普及,流数据处理逐渐受到人们的关注。相对于传统的静态数据,流数据具有高度的流动性,对实时更新的要求较高。本文面向网络信息内容分析这一背景,针对流数据处理中的流文本表示问题,考察了现有的文本表示方法,提出并实现了基于后缀树模型(STM)的流文本表示方法。该表示方法具有以下特点:利用后缀树模型动态增删的特性,支持对流文本表示进行实时更新,直接对后续操作结果产生影响;利用后缀树模型快速匹配的特性,可以实时获得表示流文本的向量,不需要进行分词以及特征提取等复杂计算;采用不定长匹配,得到合适的语言粒度,能够较好地反映文本特征;利用了上下文的位置信息,可以为后续操作提供更多的信息量;由于不需要进行分词和特征提取,该表示方法与具体语种无关。在此基础上,本文将基于后缀树的文本表示方法结合分类算法,以SpamAssassin邮件过滤平台为依托,实现了一个垃圾邮件过滤系统。该过滤系统采用通用后缀树模型(GSTM)表示训练集中的邮件,对于到达的新邮件,利用邮件内容的上下文位置信息,进行文本位置的不定长多元统计,从而获得新邮件与不同训练集的相似程度,确定邮件所属类别。理论分析和实验表明:将长度为N的新邮件加入训练集,训练时间为O(N),满足了训练集的动态变化;对长度为N的新邮件进行过滤,过滤时间为O(N);在相同语料上,该系统的准确率和召回率均达到或超过了其他基于空间向量模型的邮件过滤方法;完全独立于语种,适用于多语种邮件同时存在的情况。通过理论分析和实验验证,本文所提出的基于后缀树模型的流文本表示方法具有有效性和实用性,有助于流数据处理问题的进一步研究。