复值神经网络（CVNNs）近年来已经得到了广泛的关注和研究，例如在认知科学、智能领域以及雷达信号处理方面有着巨大的潜在价值。复值神经网络特点是输入、输出以及权值均为复数。复值神经网络根据活化函数的不同可以分为分离和全复两种神经网络，分离复神经网络中激活函数不满足柯西黎曼条件，所以没有复导数，而全复神经网络中的激活函数是解析函数，具有复导数，便于算法推导。在本文中，我们将对这两种类型的神经网络分别进行研究。　　在传统的复值神经网络中，通常选取平方误差函数作为目标函数。对于复信号来说，平方误差函数仅考虑误差的振幅，而未考虑误差的相位，因此找到兼顾误差振幅和相位的目标函数是非常必要的。在实际训练过程中，复变量反向传播训练算法被学者广泛应用，但是其权值向量存在着增长过快的风险。为了克服这个问题，一个有效的方法就是在目标函数中添加惩罚项，从而达到权值稀疏化的效果。其中应用最普遍的惩罚项形式是权值的L1和L2形式。近来，我国学者徐宗本院士提出了一种较为新颖的L1/2正则化方法。本文将L1/2正则项的方法应用到了复值神经网络中。　　本文使用对数误差函数作为复值神经网络的目标函数，研究了具有对数目标函数的全复神经网络在线梯度算法。借助C-R微分算子，消除了Schwarz对称性对复值神经网络的限制，简化算法推导过程，得到迭代更新梯度，并给出了该算法的收敛性定理及证明。然后以全复网络算法为模型，通过分析全复神经网络的权值，阐明了造成学习停顿的奇点问题，考虑了最速下降学习过程中可能出现的高原现象。结合C-R微分算子，得到更新梯度并通过添加自然矩阵的方法降低奇点问题对算法收敛性的影响。最后，引入复数域上的正则化方法，给出了带L1/2正则项的非解析复梯度算法，并研究了这种带正则项的批处理复梯度算法的收敛性问题，给出了详细的证明过程。