现今深度学习模型在各领域应用的非常广泛,而算法模型的性能取决于它的结构。寻找一组最优的超参数来确定网络结构非常困难,这成为深度学习模型广泛应用的一大阻碍。决定模型结构的超参数无法从训练中获得,需要在模型运行之前设定。而现有的方法多依赖于以往经验和人工选择,其效率低下,且当数据量巨大,模型结构复杂时手动调参就困难重重。因此从模型的角度来说,如何实现高效率地自动调参是超参数优化问题的关键,而超参数的优化又是模型算法得以有效应用的关键。因此,本文主要研究深度学习模型的超参数优化问题。首先研究六种不同优化算法在BP神经网络与LSTM上的应用效果。使用的六种超参优化方法为:网格搜索;随机搜索;贝叶斯优化;Talos优化;Hyperband和Optuna框架。其次从调优的时间效率与最终模型的准确率上进行对比,分别找出适用于BP与LSTM的最佳超参数优化方法。具体为适用于BP神经网络的超参数优化方法为Hyperband,适用于LSTM的超参数优化方法为Optuna。为模型优化的广泛使用提供了建议。最后本文提出新的猜想:对于不同结构类型的神经网络（前馈神经网络与循环神经网络）其适用的优化算法是否不同。并证实了对于不同的深度学习问题,适用的超参数优化方法不同。具体为解决简单问题的BP神经网络,最佳的超参数优化方法为Hyperband。解决较难问题的结构复杂网络（LSTM）,最佳的超参数优化方法为Optuna。