特征选择简介

特征选择是指从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程，是提高学习算法性能的重要手段之一。 通常从两个方面考虑选择特征：1)特征是否发散：如果一个特征不发散，例如方差接近于0,也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用；2)特征与目标的相关性：与目标相关性高的特征，应当优选选择。