在图像和视频的内容分析和对象识别领域，以SIFT特征为代表的局部特征提取方法在最近几年得到了成熟和广泛的应用。从图像或视频关键帧中提取局部特征组成特征集合，通过匹配局部特征集合可以判别图像或视频数据之间的相似性。局部特征集合往往具有高维和多量的特性，传统的针对高维数据点的索引技术不能满足高维数据集合快速匹配的需求。本文针对高维数据集合具有的高维、多量特性而带来的查询效率问题，提出了层次化的高维数据集合索引框架以及查询算法，在保证高维数据集合匹配准确率的前提下，解决其匹配效率过低的问题。首先介绍针对高维数据点的索引技术，分析了将高维数据索引技术应用到高维数据集合匹配中所面临的问题，在此基础上，提出一种适用于大规模高维数据集合匹配的层次化索引技术。首先将高维数据集合映射为一个独立的高维向量即高层抽象特征，通过高维向量来衡量高维数据集合之间的相似性。对高层抽象特征建立一次索引，对局部特征集合建立二次索引，并且在抽象特征与其对应的高维数据集合之间建立映射关系。查询时首先根据一次索引结构对高维数据集合进行过滤，排除掉不可能匹配的高层抽象特征，然后根据候选集中的高维数据集合标识，访问相应的二次索引结构。实验结果表明，与其他索引方法相比，新方法能够显著降低查询过程中的数据访问数量，提高匹配效率。本文最后将层次化索引框架应用到在线雷同视频片段检测演示系统中，通过在10,000规模的视频片段库中进行实验表明，采用层次化索引方法能够加快雷同视频片段的检测速度，达到近似实时的在线检测效果。