论文部分内容阅读
随着计算机技术的飞速发展，各领域存储系统中的数据存储量迅猛上升，而其中的冗余数据也呈不断增加趋势。以往的研究表明，某些存储系统中的冗余数据已达60％，其存储管理成本较高。处理冗余数据已成为目前存储系统研究的热点。为此，提出了一种基于Simhash的中文文本去重方案。该方案采用数据块作为粒度对重复数据进行去重处理，主要是将中文文本中的“。？!”等特殊字符作为分割点，对数据进行相应的分块处理，并以Simhash作为唯一标识，通过海明距离（HammingDistance）来判断其相似性并以此为依据进行数据去重。