基于Spark的高光谱图像分布式并行分类

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:kk238bdii
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高光谱遥感图像有光谱波段多、光谱分辨率高、成像范围大的特点,包含丰富的空间信息和光谱信息,在地理地貌分析方面有着明显的优势。高光谱遥感图像分类技术是遥感信息解释的重要手段之一,在资源勘探和环境监测等领域有着广泛应用。随着高光谱遥感仪的探测技术的不断提升,高光谱遥感图像的数据量越来越大,如何高效地对海量高光谱图像进行分类处理成为遥感处理领域的一个重要课题。传统的单机计算平台不足以支撑海量高光谱数据的处理要求。而云计算技术具备分布式存储和并行计算的特点,能够有效地解决海量高光谱遥感图像在单机运行环境中的计算瓶颈问题。Spark是一个基于内存的分布式的数据处理框架,是最重要的云计算处理平台之一。Spark的弹性分布式数据集(RDD)拥有丰富的运算算子,并且支持中间任务结果缓存到内存,因此适合于解决海量数据的复杂迭代计算问题。本文基于Spark平台研究了高光谱图像分类算法的分布式并行计算原理,提出了两种高光谱图像分布式并行分类方法。主要工作如下:(一)研究了基于空间相关性约束稀疏表示的高光谱图像分类方法(SCSRC),并在此基础了提出了 Spark平台上的基于空间相关性约束稀疏表示的高光谱图像分布式并行分类算法(DP-SCSRC),解决了 SCSRC算法在海量数据处理上的性能瓶颈问题。首先,空间相邻的高光谱图像像素点被按照分区规则储存在RDD中的相同分区上;其次,在同一个RDD中创建多个变量的联合存储矩阵保证任务执行的本地性,减少了跨节点的数据传输。在真实高光谱图像数据集上的实验结果表明,在保证分类精度的情况下,DP-SCSRC的计算加速比高,并且对海量数据计算具有可扩展性。(二)研究了基于卷积神经网络(CNN)的高光谱图像分类算法,在此基础上提出了面向TensorFlowOnSpark平台的基于空谱联合卷积神经网络的高光谱图像分布式并行分类算法(SS-CNN)。利用残差网络层组合特征的作用,将输入层的光谱信息和经过邻域卷积之后得到的空间特征组合起来,充分利用空谱联合特征提升模型的分类精度。该方法设计的网络结构充分利用了高光谱图像的空谱信息,在较少训练样本的情况下,也能取得较高分类精度。并且使用较浅的网络结构就能有效提取空谱联合特征用于高精度分类。实验结果表明,本文所提出的SS-CNN方法,分布式计算速度快,分类精度高。
其他文献
在焊接过程中实时获取当前的熔透状态是进行焊接熔透控制的基础,在TIG薄板单面焊双面成形焊接工艺中,熟练的焊工可以根据熔池、熔孔形态判断出当前的熔透状态,从而调整焊接速度、焊枪倾角等保证焊缝熔透而不发生焊穿。可见,熔池、熔孔形态包含了大量的熔透信息,但是目前仅在手工焊接时利用了熔孔现象,为了实现自动化焊接中的熔透控制,有必要对熔池、熔孔形态以及动态行为进行研究。本文搭建了薄板TIG单面焊双面成形实验
古典诗词是中国古代文学中的精华,是我国宝贵的文化遗产。古典诗词中所描绘出的意境更体现了极高的审美价值。“古词今用”现象在歌曲创作中屡见不鲜,在民族化、艺术化、流行
激光快速成形技术制备Al/SiC复合材料基于快速成形原理 ,通过激光熔化同轴输送的Al/SiC复合粉末 ,在基板上直接成形出薄壁样品。鉴于Al/SiC复合粉末的特点 ,采用基板预热并预
经农业部绿色食品管理办公室和中国绿色食品发展中心批准,舒兰市的18万亩全国绿色食品原料(水稻)标准化生产基地等3个生产基地进入绿色食品原料标准化生产基地创建期。到2017年
高分子量、高醇解度的聚乙烯醇(PVA)在自然环境中的生物降解性较差,难以实现水体自净化的要求.为从根本上提高PVA的生物降解性能,采用H2O2与Fe^2+的复合体系对PVA进行氧化处理,
从企业高管到创业者,赵定喜在创业路上摸爬滚打,不断摸索前进,最终在贵州迎来了新的机遇,人称'创业金刚'。数据更新、产品优化、市场推广……近一个月来,赵定喜和他
目的为临床药师参与胰岛素过敏患者的脱敏方案优化提供参考。方法临床药师参与了1例胰岛素过敏患者脱敏方案的实施与优化过程,分析其过敏类型,制定脱敏方案并实施全程化的药学
2019年10月18日,文化和旅游部(以下简称文旅部)行业标准化研究项目《美术馆光环境评价方法》第一阶段工作会议在中国国家博物馆召开。项目课题组专家、成员及相关领域国内外
预习有利于提高学生课堂听课效率,是基础教育阶段应对学生重点培养的学习习惯。因此,教师在充分了解学生的心理特征及知识水平的基础上,要重视对学生预习方法的指导。对于语
2006年以来,随着我国《上市公司证券发行管理办法》、《上市公司非公开发行股票实施细则》的相继出台,标志着我国资本市场进行定向增发行为的合法化。在随后的12年中,关于定