随着数据挖掘研究的不断深入，群体智能越来越受到研究人员关注，作为其重要分支的蚁群聚类算法备受学者们青睐。蚁群聚类算法是受蚂蚁群体行为启发而设计的智能仿生算法，具有群体智能的分布式、鲁棒性、易扩展性、简单性、广泛的适应性等特点。本文对聚类、群体智能及细胞自动机等理论进行介绍，并讨论了蚁群聚类中的LF（Lumer&Faieta）和BM（Basic Model）模型。在此基础上，针对LF的不足对其进行改进，如参数自适应，优化蚂蚁的移动策略和行为，同时结合基于实例库推理的思想，将蚂蚁分为普通蚂蚁和专家蚂蚁。专家蚂蚁通过查询实例库来移动和放置数据，避免了适应度和放置概率函数的计算。并给出改进算法描述，通过若干数据集的实验表明，该算法有效地改善了聚类性能。研究了使用将一个蚂蚁和一个数据结合为一个agent的人工蚂蚁休眠模型。利用Q学习的思想改进了ASM算法中agent的移动策略，强化agent选择靠近聚类中心移动方向的动作，加快聚类算法的收敛速度，改善了聚类质量。针对带细胞簇的ASM算法聚类结果簇过多的问题，将一维细胞自动机簇合并的思想应用到带细胞簇的ASM算法中。把较小的簇合并到最相似的大簇中，减少并修正了聚类簇的结果。通过分别将带细胞簇合并的ASM算法初步应用于孤立点检测以及雷达辐射源的新类别识别领域，验证了其有效性。