当前,机器学习算法在各行各业广泛应用,开发一个机器学习算法的应用来解决现实问题变得越来越容易,然而在机器学习使用过程中,对机器学习算法的优化仍是较为难解决的任务。针对机器学习算法的优化,本文主要从特征选择与样本选择两方面对其进行研究。对于在以数据为驱动模式下的机器学习算法,特征与样本的优劣决定了算法可以达到的上限效果。当机器学习算法使用者选择了一个机器学习算法之后,特征与样本作为算法的输入起到了重要的作用,数据是模型学习的具体内容,特征是模型学习的维度空间,这两者相辅相成,共同决定了模型可以学习到的评价指标上限与模型的优劣。在特征选择对机器学习算法的优化上,本文研究并提出了一种基于样本标签乱序的嵌入式特征打分方法,然后通过过滤式的特征选择框架进行特征子集选择,在不改变输入数据原有分布的前提下进行特征打分。在样本选择对机器学习算法的优化上,本文重点研究了主动学习模式下的样本选择,通过在线学习中的流数据学习场景,本文研究了当前在线学习算法对流数据中样本点的分辨能力,从而达到对冗余数据的去除,将通过选择的样本点加入在线学习算法中进行学习。同时将该策略较好的嵌入到决策树与在线随机森林算法中,通过样本点选择性学习策略,较大程度的改进了其对应的学习效率,实验表明,在不同数据分布下均取得了较大的性能提升。在综合实验效果上,提出的基于随机化标签样本序的特征选择方法,在人工简单噪音场景下与对比方法（互信息特征选择,卡方特征选择）没有置信（p=0.05）差异,都可以较好的进行噪音检测与算法优化;在复杂人工特征工程的工业竞赛数据集中,在指标上基于随机化标签样本序的特征选择方法有明显的提升。在流数据在线学习场景中,具有样本选择性学习的极限随机森林算法不仅克服了样本极度不均衡情况下学习有偏的问题,而且在学习效率上,在不降低学习准确率的条件下数倍速度快于无特征选择的流学习对比算法。