机器学习之特征归一化（normalization）详解大数据

参考自斯坦福机器学习课程

一 引子

对房屋售价进行预测时，我们的特征仅有房屋面积一项，但是，在实际生活中，卧室数目也一定程度上影响了房屋售价。下面，我们有这样一组训练样本：

注意到，房屋面积及卧室数量两个特征在数值上差异巨大，如果直接将该样本送入训练，则代价函数的轮廓会是“扁长的”，在找到最优解前，梯度下降的过程不仅是曲折的，也是非常耗时的：

二 归一化

         

     量化后的特征将分布在[0,1][0,1]区间。

     大多数机器学习算法中，会选择Standardization来进行特征缩放，但是，Min-Max Scaling也并非会被弃置一地。在数字图像处理中，像素强度通常就会被量化到[0,1]区间，在一般的神经网络算法中，也会要求特征被量化[0，1]区间。

     进行了特征缩放以后，代价函数的轮廓会是“偏圆”的，梯度下降过程更加笔直，收敛更快性能因此也得到提升：

三 实现

# ... 
def standardize(X): 
    """特征标准化处理 
 
    Args: 
        X: 样本集 
    Returns: 
        标准后的样本集 
    """ 
    m, n = X.shape 
    # 归一化每一个特征 
    for j in range(n): 
        features = X[:,j] 
        meanVal = features.mean(axis=0) 
        std = features.std(axis=0) 
        if std != 0: 
            X[:, j] = (features-meanVal)/std 
        else 
            X[:, j] = 0 
    return X 
 
def normalize(X): 
    """Min-Max normalization     sklearn.preprocess 的MaxMinScalar 
 
    Args: 
        X: 样本集 
    Returns: 
        归一化后的样本集 
    """ 
    m, n = X.shape 
    # 归一化每一个特征 
    for j in range(n): 
        features = X[:,j] 
        minVal = features.min(axis=0) 
        maxVal = features.max(axis=0) 
        diff = maxVal - minVal 
        if diff != 0: 
           X[:,j] = (features-minVal)/diff 
        else: 
           X[:,j] = 0 
    return X