基于梯度监督学习的理论与应用(Ⅱ)——训练机制

来源 :清华大学学报(自然科学版) | 被引量 : 0次 | 上传用户:breeze_86
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于梯度算法和前馈网络所具有的普遍近似性质,提出了一种新的监督型多目标系统化训练机制。在学习过程的实现中,该训练机制一方面能使参数集合选择适当以避免过适应,另一方面能以较少的计算及存储复杂度使网络输出达到所要的精度,保证网络具有满意的可检验性和通用性。新的算法(PTNT)能够在一个过程里同时考虑神经网络训练的几个方面,并且在训练时间和准确度方面也都优于BP算法及其衍生算法。PTNT算法具有类似于LM算法的收敛性,但存储复杂度远远少于LM的一半。文中通过仿真结果证明这种监督训练机制和前馈网络在不同问题环境下的适用性,评价了其有效性。 Based on the general approximation properties of gradient algorithms and feedforward networks, a new supervisory multi-objective systematic training mechanism is proposed. In the process of learning, the training mechanism can make the parameter set choose appropriate to avoid over-adaptation, on the other hand, the network output can reach the required accuracy with less computation and storage complexity, and the network can be satisfied Testability and versatility. The new algorithm (PTNT) can consider several aspects of neural network training in one process at the same time, and also outperforms the BP algorithm and its derivative algorithm in terms of training time and accuracy. The PTNT algorithm has convergence similar to the LM algorithm, but the storage complexity is far less than half of the LM. The simulation results prove the applicability of this supervisory training mechanism and feedforward network under different problems and evaluate its effectiveness.
其他文献
在信息化日益发达的今天,有效的招聘决策依赖于对应聘者信息的充分掌握。在动态博弈的招聘过程中,由于劳动力市场的信息不对称的存在,为了追求自身利益的最大化,应聘者必然会
半边莲rn蛰居乡间而识半边莲,为己之幸遇.识半边莲又识其性及其品格后,“君子之草”的意象,嵌入我心壁而从未淡去.半边莲,生长在阴湿之田埂塘角或水圳水沟边,叶形细小,茎蔓柔
去上岛,是在兰州的六月.rn从北京的六月,到兰州的六月,真的就那么陌生了吗?从天空飘动的白云,到鼻翼下轻轻刮过的风;从嘈杂喧嚣的吆喝,到进进出出的人流.这个陌生兰州六月的
陈煜:我的生活像画一样平整rn老实说,我刚画完画回来.已经十点多钟了,跟约会一样准时,但我确实刚放下画夹,我手上的绿色颜料可以作证.除了画画、学习、看影碟、工作之外,我几