论文部分内容阅读
高光谱遥感图像有光谱波段多、光谱分辨率高、成像范围大的特点,包含丰富的空间信息和光谱信息,在地理地貌分析方面有着明显的优势。高光谱遥感图像分类技术是遥感信息解释的重要手段之一,在资源勘探和环境监测等领域有着广泛应用。随着高光谱遥感仪的探测技术的不断提升,高光谱遥感图像的数据量越来越大,如何高效地对海量高光谱图像进行分类处理成为遥感处理领域的一个重要课题。传统的单机计算平台不足以支撑海量高光谱数据的处理要求。而云计算技术具备分布式存储和并行计算的特点,能够有效地解决海量高光谱遥感图像在单机运行环境中的计算瓶颈问题。Spark是一个基于内存的分布式的数据处理框架,是最重要的云计算处理平台之一。Spark的弹性分布式数据集(RDD)拥有丰富的运算算子,并且支持中间任务结果缓存到内存,因此适合于解决海量数据的复杂迭代计算问题。本文基于Spark平台研究了高光谱图像分类算法的分布式并行计算原理,提出了两种高光谱图像分布式并行分类方法。主要工作如下:(一)研究了基于空间相关性约束稀疏表示的高光谱图像分类方法(SCSRC),并在此基础了提出了 Spark平台上的基于空间相关性约束稀疏表示的高光谱图像分布式并行分类算法(DP-SCSRC),解决了 SCSRC算法在海量数据处理上的性能瓶颈问题。首先,空间相邻的高光谱图像像素点被按照分区规则储存在RDD中的相同分区上;其次,在同一个RDD中创建多个变量的联合存储矩阵保证任务执行的本地性,减少了跨节点的数据传输。在真实高光谱图像数据集上的实验结果表明,在保证分类精度的情况下,DP-SCSRC的计算加速比高,并且对海量数据计算具有可扩展性。(二)研究了基于卷积神经网络(CNN)的高光谱图像分类算法,在此基础上提出了面向TensorFlowOnSpark平台的基于空谱联合卷积神经网络的高光谱图像分布式并行分类算法(SS-CNN)。利用残差网络层组合特征的作用,将输入层的光谱信息和经过邻域卷积之后得到的空间特征组合起来,充分利用空谱联合特征提升模型的分类精度。该方法设计的网络结构充分利用了高光谱图像的空谱信息,在较少训练样本的情况下,也能取得较高分类精度。并且使用较浅的网络结构就能有效提取空谱联合特征用于高精度分类。实验结果表明,本文所提出的SS-CNN方法,分布式计算速度快,分类精度高。