随着互联网技术的飞速发展，网络安全变得日益重要和复杂。入侵检测系统(IDS)是一种主动的网络安全防御措施，能有效地弥补防火墙的不足，是继防火墙后的第二道安全防线。 论文主要针对入侵检测系统中的数据收集，探讨了多源异构数据的收集、整理和辨别的方法，设计并实现了一个入侵检测系统。 本文分析了多种来源的、不同结构的数据，将其总结成登录信息、事件信息和网络数据包信息三种类型，并为每种类型的数据设计了固定的格式；为了与将来可能出现的新型数据兼容，采用了配置文件与模式字符串相结合的方法，设计并实现了数据格式标准化算法；由于收集到的数据中存在冗余的信息和对入侵检测影响不大的信息，本文分别讨论了冗余数据辨别规则和安全数据辨别规则，并建立起数据过滤规则库；数据收集系统采用分布式设计，收集器以黑盒形式提供，对新的数据源只需设计一个新的模式字符串，即可得到过滤后的、具有标准格式的数据，各收集器间独立工作；在收集点即对数据进行过滤，只向分析中心报告可疑数据，以减少传输和存储的数据量，降低对网络性能的影响。 IDS数据收集系统是在Linux下利用C语言编写完成的，对Linux的系统日志、Apache日志、网络数据包进行收集并加以过滤，过滤后的数据传给分析中心，存入MySQL数据库中。 内蒙古人学硕士学位论文 目前的入侵检测研究主要集中在分析哪些数据能揭露入侵行为，本文从减少数据量的角度对数据进行分析，过滤掉冗余的和安全的数据，只上报可疑的数据，降低了网络传输量。冗余规则有:1.某一用户退出时间与下一次登录时间间隔小于一分钟，这两条登录记录并为一条;2.从主机登录的用户登录记录有两条，只保留一条;3.Messages中的登录信息，略去。4.单位时间内源IP:端口一>目的IP:端口的相同协议的包，合并为一条记录，保留时间范围和包的数目。安全规则有:1.root用户的所有活动记录;2.指定用户的特定活动;3.reboot事件;4.系统内核的活动。IDS数据收集系统从数据源获得数据后，首先把数据转换成标准格式，然后按照过滤规则进行检测，如果满足某一条规则，则把此条数据删除或将其与相关的数据融合。本文实现的算法虽然以Limix为平台，但也适用于其他操作系统。C语言的可移植性决定了实现的数据收集系统可在多种操作系统上运行。