传统的监督机器学习分类方法需要对大量的准确标注数据进行训练来保证其效果。但是,在许多现实应用中,获取大量准确标注的数据需要付出高昂的时间成本和技术成本。因此,如何在少量且标注不完全准确的数据中训练得到鲁棒的分类器一直是一个备受关注的问题。近年来,研究者们提出了各种弱监督学习框架来解决这一难题,其中包括半监督学习（SSL）、标记带噪学习（NLL）、偏标记学习（PLL）、补充标记学习（CLL）、从正标记与未标记数据中学习（PU）。通过这些弱监督学习解决现实问题的同时,研究者们也不断尝试新的弱监督学习框架和方法。但是其中依然存在一些问题。一方面对弱监督学习中处于重要位置的PU学习问题的研究依然停留在二分类场景,从多类正标记数据和未标记数据中学习（MPU）的算法很少被研究。而在现实任务中,多分类问题是比二分类更常见。另一方面很少有弱监督算法考虑到学习场景的问题,现有的学习场景主要分为离线学习场景和在线学习场景。在之前的研究中,研究者们都默认学习场景为离线学习场景,即训练数据是一个完整的数据集合。但是在现实世界中更常见的在线学习场景,即训练数据是一个序列而非完整的数据集合。而且在线学习的目标是在训练数据为序列时能动态的更新算法模型。因此,在线学习的模型训练得到一个有效的分类模型会比传统离线学习的模型训练使用更少的训练样本。首先,本文将研究二分类的PU学习问题扩展成多分类的MPU学习问题。在MPU学习问题中,我们会在k个标记中选择一个标记为负标记,其余k-1个标记为正标记。然后,多分类正标记数据将在k-1个正标记数据中选取,而未标记数据则来自于正标记数据和负标记数据。在此之前,研究多类正标记与未标记学习问题仅有一个算法。该算法对正标记数据和无标记数据使用不同的凸损失函数,并对无标记数据的伪标签进行估计以进行模型训练。然而,他们的方法有几个缺点。首先,为了进行模型训练,需要预先计算每一类的嵌入量。其次,有两个变量需要交替优化,这两个变量可能会陷入局部最优。第三,未标记数据上错误估计的伪标签可能会严重干扰后续的模型训练。因此在本文中,我们提出了从多类正标记和未标记的数据中学习的原始分类风险的无偏估计方法UREA。然而经过研究我们发现由于无偏估计的直接经验损失不存在下界,模型在训练过程中将产生严重的过拟合现象。为了解决这个问题,我们提出了一个替换无偏估计中的负项的非负修正方法AREA,以此避免模型在训练过程中产生过拟合现象。同时我们在理论上建立UREA算法和AREA算法的泛化误差界。我们证明了其经验风险最小值的估计误差达到了最优参数收敛速度。然后,因为上述的研究仅仅适用于离线学习场景,并且提出的算法不能处理训练数据的序列输入。因此,我们将提出适用于在线场景下从多类正标记和未标记的数据中学习多分类的算法。具体而言,我们首先将离线学习场景下的MPU分类损失无偏估计应用到在线学习场景当中,并在目标函数中添加一个保守正则项得到了在线学习场景下的无偏估计方法OMPU-UREA。与离线学习场景相同,OMPUUREA算法的直接经验损失存在无下界问题,从而导致在训练过程中产生过拟合现象。因此,我们将有下界的算法AREA引入在线学习场景的到了OMPU-AREA算法。同时,我们在理论上证明了OMPU-UREA算法和OMPU-AREA算法的遗憾界。最后,我们提出了一个基于在线消极对抗算法框架的OMPU-LSPA算法,该算法通过对模型分类损失施加一个线性约束实现了对模型分类损失的非负修正。具体而言,在该线性约束下,当模型分类损失为负时,我们不更新模型。同时,我们将在理论上给出OMPU-LSPA算法的错误界,以保证OMPU-LSPA算法对序列输入数据的分类效果。根据本文的理论分析结果和实验结果可以得出,不论是离线学习场景还是在线学习场景,MPU问题的无偏估计方法都优于常规方法。但是由于无偏估计的直接经验损失可能为负,在训练过程中会导致过拟合现象。所以无偏估计方法的分类效果都会低于使用了分类损失非负修正的算法。因此,对于一个分类损失无偏估计直接经验损失可能为负的问题,对其分类损失进行合理的非负修正会有效的提高模型的分类性能。