论文部分内容阅读
共轭梯度法是求解无约束优化问题的一类主要方法,由于其迭代格式简单,存储量需求小,有较快的收敛速度,因而能有效地解决大规模优化问题,受到很多研究者的关注.随着越来越多大规模问题的出现,子空间技术变得尤为重要并且被广泛应用于最优化领域,它避免了在每次迭代求解大规模问题,可以减少计算量和降低存储空间,其中关键的因素是选择迭代方向所属的子空间.最近,有很多学者研究了子空间极小化共轭梯度法,其迭代方向一般通过极小化特定子空间上目标函数的二次近似模型得到.但对于一些非二次性态较强的函数,二次模型逼近的效果不一定好.考虑到锥模型比二次模型拥有更多的自由度,可以插值较多的信息,能够充分利用以前迭代点的函数和梯度信息.于是,本文基于锥模型,根据不同的子空间,提出两种新的子空间极小化共轭梯度法.具体工作如下:首先,针对无约束优化问题,通过在二维子空间上极小化模型,提出一种新的子空间极小化共轭梯度法.在每一次迭代动态地选择合适的模型,即,当迭代点靠近极小点时,目标函数的性态接近于二次,可用二次模型很好地近似.当迭代点远离极小点或者目标函数的非二次性态较强时,考虑用锥模型来逼近原函数.本章首先给出模型选择的判别准则,在二维子空间上极小化所选择的模型获得搜索方向,进一步验证搜索方向具有充分下降性质.在改进的非单调线搜索条件下,建立所提出方法的全局收敛性和R-线性收敛性.两个不同测试问题集的数值实验表明,该方法是相当有效的,并且可以和经典的CGOPT方法、CG DESCENT方法相媲美.其次,将二维子空间推广到三维子空间,利用当前迭代点的梯度信息和前两次的方向来构造当前迭代点的搜索方向.每一次迭代均通过模型判别准则来选择使用二次模型或者锥模型,并且在选定模型下给出子空间的三种选取方式,进一步给出不同子空间下搜索方向的选择标准,提出基于锥模型的三维子空间极小化共轭梯度法.在一定条件下,证明搜索方向的两个重要性质.基于改进的非单调线搜索,建立新算法的收敛性质.通过两个不同测试集的数值实验表明新算法是有效的,尤其针对大规模无约束优化问题.