信号波达方向(Direction Of Arrival,DOA)估计是阵列信号处理在天线阵上的应用之一,在同一DOA估计算法下,DOA估计误差受阵列实际阵元数(阵列孔径)、信噪比和快拍数的影响。阵列阵元数的增加无疑会带来估计成本的急剧上升,如何在阵列阵元数一定时,提高阵列DOA估计精度是值得研究的问题。近几年,互质阵列和嵌套阵列的提出,引起了人们广泛关注,和均匀阵列相比,互质阵列和嵌套阵列能增大阵列的自由度,扩展阵列的孔径,从而提高估计精度,并且可估计到的空间信源数大于阵列阵元数。本文基于互质阵列和嵌套阵列,研究阵列在一维、二维和三维情况下的估计性能,主要研究内容包括:首先,研究基于嵌套布置的一维阵列DOA估计,给出了互质阵列和嵌套阵列的结构,通过阵列阵元之间的位置差形成虚拟阵元,从而增加阵列的自由度。应用空间平滑MUSIC算法,仿真分析了均匀线性阵列、互质阵列和嵌套阵列的估计性能,结果表明,嵌套阵列的估计性能最好,均匀线性阵列的估计性能最差,并且互质阵列、嵌套阵列所能估计到的空间信源数大于阵列实际阵元数。其次,研究基于嵌套布置的二维阵列DOA估计。基于一维互质阵列和一维嵌套阵列,给出了二维互质面阵模型和二维嵌套面阵模型,仿真分析了均匀面阵、互质面阵和嵌套面阵在进行DOA估计时的克拉美罗下界(Cramer Rao Lower Bound,CRLB)和估计误差,结果表明嵌套面阵的CRLB最低,误差最小;以L型阵列为模型,给出了L型互质阵列模型和L型嵌套阵列模型,分析了L型均匀阵列、L型互质阵列和L型嵌套阵列的CRLB,基于求根MUSIC算法和压缩感知算法,仿真了这三种L型阵列的估计误差分别随信噪比、快怕数和阵列实际阵元数的变化情况,结果表明L型嵌套阵列的估计误差最低。最后,在同一仿真条件下比较了压缩感知算法和求根MUSIC算法的优劣。最后,我们将基于嵌套布置的二维阵列扩展到三维情况,研究基于嵌套布置的三维面阵和三维L型(2L型)阵列,仿真分析了三维面阵和三维L型阵列的CRL B,在同等条件下,比较了三维面阵和二维面阵的CRLB、三维L型阵列和二维L型阵列的CRLB,结果表明三维面阵的CRLB低于二维面阵的CRLB、三维L型阵列的CRLB低于二维L型阵列的CRLB,意味着三维面阵和三维L型阵列更容易准确估计到空间中信号源的来波方向。对于基于嵌套布置的三维面阵,应用UnitaryESPRIT算法,仿真分析了三种三维面阵的估计误差情况;对于基于嵌套布置的三维L型阵列,应用求根MUSIC算法和压缩感知算法,仿真分析了三种三维L型阵列的估计误差情况,结果表明,基于嵌套布置的阵列估计误差最低。此外,在三维条件下,比较了基于嵌套布置的面阵的CRLB和2L阵列的CRLB,证明2L阵列更容易准确估计到空间中信号源的来波方向。