数据的标准化

2020-12-18 11:22:05 编辑 0 阅读量:745

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
　　其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上，常见的数据归一化的方法有：
## min-max标准化(Min-max normalization)
　　也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下：
       ![](http://cblog.xyz/media/2017/09/image2016-11-10_0-50-3.png)
　　其中max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。
  实际使用时，不同样本集得到的max/min可能不同，造成归一化结果不稳定，从而使模型后续使用也不稳定。 
可以经验值来代替max/min，比如人的年龄，max=100,min=0。避免不同样本集max/min的不同造成的模型偏差。[为什么一些机器学习模型需要对数据进行归一化？](http://www.cnblogs.com/LBSer/p/4440590.html) 
[机器学习中的数据清洗与特征处理综述](https://tech.meituan.com/machinelearning-data-feature-process.html)
## log函数转换
　　通过以10为底的log函数转换的方法同样可以实现归一下，具体方法如下：
        ![](http://cblog.xyz/media/2017/09/image2016-11-10_0-50-12.png)
　　看了下网上很多介绍都是x*=log10(x)，其实是有问题的，这个结果并非一定落到[0,1]区间上，应该还要除以log10(max)，max为样本数据最大值，并且所有的数据都要大于等于1。
##atan函数转换
　　用反正切函数也可以实现数据的归一化：
       ![](http://cblog.xyz/media/2017/09/image2016-11-10_0-50-19.png)
　　使用这个方法需要注意的是如果想映射的区间为[0,1]，则数据都应该大于等于0，小于0的数据将被映射到[-1,0]区间上。
　　而并非所有数据标准化的结果都映射到[0,1]区间上，其中最常见的标准化方法就是Z标准化，也是SPSS中最为常用的标准化方法：
##z-score 标准化(zero-mean normalization)
　　也叫标准差标准化，经过处理的数据符合标准正态分布，即均值为0，标准差为1，其转化函数为：
        ![](http://cblog.xyz/media/2017/09/image2016-11-10_0-50-33.png)
　　其中μ为所有样本数据的均值，σ为所有样本数据的标准差。
  
## 注意
1. z-score标准化适用于距离度量相思赋
在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，表现更好。
在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用其他归一化方法。比如图像处理中，将RGB图像转换为灰度图像后将其值限定在[0 255]的范围。
　　为什么在距离度量计算相似性、PCA中使用z-score方法(Z-score standardization)会更好呢？我们进行了以下的推倒分析：
归一化方法对方差、协方差的影响：假设数据为2个维度(X、Y)，首先看0均值对方法、协方差的影响：
　　可以看到，使用第一种方法(线性变换后)，其协方差产生了倍数值的缩放，因此这种方式无法消除量纲对方差、协方差的影响，对PCA分析影响巨大；同时，由于量纲的存在，使用不同的量纲、距离的计算结果会不同。
　　而在第二种归一化方式中，新的数据由于对方差进行了归一化，这时候每个维度的量纲其实已经等价了，每个维度都服从均值为0、方差1的正太分布，在计算距离的时候，每个维度都是去量纲化的，避免了不同量纲的选取对距离计算产生的巨大影响。
　　总结来说，在算法、后续计算中涉及距离度量(聚类分析)或者协方差分析(PCA、LDA等)的，同时数据分布可以近似为状态分布，应当使用0均值的归一化方法。其他应用中更具需要选用合适的归一化方法。

---
参考：
- [1][数据的标准化](http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260453)
- [2][数据标准化/归一化方法](http://blog.sina.com.cn/s/blog_6ee39c3901015bch.html)
- [3][数据集中归一化问题](http://blog.csdn.net/mvtechnology/article/details/7207937)
- [4][浅谈数据归一化](http://www.debugrun.com/a/lp3BzUV.html)

数据的标准化

附件: