互联网的高速发展,网络带宽的提高已跟不上用户数量的增长。目前,不断的Web服务需求导致现有网络带宽与用户体验要求产生矛盾。因此,研发高性能、高扩展的集群Web缓存系统不但能降低运营商运营费用,还能提高用户体验。“高速网络中集群Web缓存系统”是中国科学院声学研究所高性能网络实验室在研“P2P流量缓存系统PPCache”的一个子项目,它部署在互联网主要节点上来进行应用层协议分析和流量控制。目前,它已被国内20多个省市运营商正式投入使用。本论文的开始,先分析了当前国内外集群Web缓存系统的应用价值和研究现状;通过阐述Web缓存系统的理论基础,对涉及Web缓存系统相关的HTTP协议做了详细的讨论;然后,针对集群Web缓存系统在高速网络中报文捕获和集群负载均衡中的相关技术做了细致分析和比较;本论文其余章节对集群Web缓存系统中的报文捕获模块、负载均衡模块、连接分析模块的基本功能和开发设计做了具体分析。实验证明:集群Web缓存系统已基本达到预期的扩展性和I/O性能。本论文所做的工作主要集中在以下七点:1).提出一种透明的、前端和后端松散耦合的、高性能的、适合在高速网络中部署的集群Web缓存系统架构。2).面向模式的软件体系结构,通过组件方式添加HTTP协议模块来扩充原有P2P流量缓存系统功能。3).基于零拷贝技术在高速网络中进行HTTP报文捕获,通过传输层会话过滤来降低应用层过滤工作量。4).基于文件特征值的负载均衡算法对集群Web缓存系统进行负载均衡调度。5).采取提取文件特征值技术对集群Web缓存系统进行Web内容合并。6).基于异步事件驱动的高性能Web服务器开发模式。7).采用Hash技术、内存池和线程池技术,以提高对磁盘文件的搜索和传输效率。