将特征转换为正态分布的一种方法示例
点击上方“Deephub Imba”,关注公众号,好文章不错过 !
正态(高斯)分布在机器学习中起着核心作用,线性回归模型中要假设随机误差等方差并且服从正态分布,如果变量服从正态分布,那么更容易建立理论结果。
统计学领域的很大一部分研究都是假设数据是正态分布的,所以如果我们的数据具有是正态分布,那么么则可以获得更好的结果。但是一般情况下我们的数据都并不是正态分布,所以 如果我们能将这些数据转换成正态分布那么对我们建立模型来说是一件非常有帮助的事情。
standard_normal = np.random.normal(0, 1, size=1_000_000)
fontdict = {'family':'serif', 'color':'darkgreen', 'size':16}
fig, axs = plt.subplots(1, 1, figsize=(8, 8))
axs.hist(standard_normal, bins=1000, density=True, fc=(0,0,1,0.4))
axs.set_title('Standard Normal Distribution', fontdict=fontdict, fontweight='bold', pad=12)
axs.set_xlabel('X', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.set_ylabel('Density', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.grid()
如果你正在处理一个密度(大约)呈线性下降的特性(见下图)。
x = np.linspace(0, 1, 1001)
sample = (3 - np.sqrt(9 - 8 * np.random.uniform(0, 1, 1_000_000))) / 2fontdict = {'family':'serif', 'color':'darkgreen', 'size':16}
fig, axs = plt.subplots(1, 1, figsize=(8, 8))
axs.hist(sample, bins=1000, density=True, fc=(0,0,1,0.4))
axs.scatter(x, np.full_like(x, 0.01), c=x, cmap=cmap)
axs.set_title('Original Feature Distribution', fontdict=fontdict, fontweight='bold', pad=12)
axs.set_xlabel('X', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.set_ylabel('Density', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.grid()
要将这个特征转换为具有钟形分布的变量,可能没有那么简单,我如果我使用某种变换将密度最高的左端放到中心,那么中心两侧的其余点怎么办?
如果变换是将点从中间和右边的[0,1]移到均值的任意一边(N(0,1) =0)那么本质上是一个非单调的变换,这不是很好因为那样的话,变换后的特征值就没有什么意义了。虽然我们能够得到一个钟形分布,但是对转换后的值没有意义,排序也不再被保留(见下图3中转换后的特征值的散点图)。
log_transform = lambda ar: np.multiply(1.6 * np.log10(ar+1e-8), np.random.choice((-1, 1), size=ar.size)
fontdict = {'family':'serif', 'color':'darkgreen', 'size':16}
fig, axs = plt.subplots(1, 1, figsize=(8, 8))
axs.hist(standard_normal, bins=1_000, density=True, fc=(0,0,1,0.4), label='Standard Normal')
axs.hist(log_transform(sample), bins=1_000, density=True, fc=(1,0,0,0.4), label='Log Transform')
axs.scatter(log_transform(x), np.full_like(x, 3e-3), c=x, cmap=cmap)
axs.set_xlim(-5, 5)
axs.set_title('Log Transform', fontdict=fontdict, fontweight='bold', pad=12)
axs.set_xlabel('$\pm$1.6log(X)', fontdict=fontdict, fontweight='normal', labelpad=12)*
axs.set_ylabel('Density', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.legend()
axs.grid()
特征的密度是单调递减的。目标是使用范围(-∞,∞)的变换来拉伸和压缩不同点周围的[0,1]范围,并且变换空间中每个点的密度应该是N(0,1)所给出的。所以是不是可以尝试使用其他的方法呢?
先看看原始特征的CDF函数
如果确保变换函数将原始分布的 (i-1)ᵗʰ 和 iᵗʰ 百分位数之间的点映射到 N( 0,1)那会怎么样呢?
g 是我们正在寻找的变换,Φ 是 N(0,1) 的 CDF
但是这可能只是最终目标只是这种方法的延伸。因为我们的方法不应限制在由百分位数定义的区间,而是想要一个函数,它可以满足上面原始CDF公式中的每个区间的要求。于是就得到了下面的公式
如果你对概率论比较熟悉,那么回想一下概率的特征在于它的分布函数(Jean Jacod 和 Philip Protter 的 Probability Essentials 中的定理 7.1)。我将把自己限制在了单调递增函数的空间中。
单调递增函数的约束假设集,如果我能找到一个函数使变换后的特征的CDF等于N(0,1)的CDF,那不就可以了吗。这与上面公式中的单调递增约束一起,得到了下面的公式。
将函数g变换为Φ的逆函数和F的复合函数
下面看看结果,我们使用上面总结的结果来转的特征,使其具有标准正态分布。
fontdict = {'family':'serif', 'color':'darkgreen', 'size':16}
fig, axs = plt.subplots(1, 1, figsize=(8, 8))
axs.hist(standard_normal, bins=1_000, density=True, fc=(0,0,1,0.4), label='Standard Normal')
axs.hist(scipy.stats.norm.ppf(1.5*sample - 0.5*(sample**2)), bins=1000, density=True, fc=(1,0,0,0.4), label='Equation 4 Transform')
axs.scatter(norm.ppf(1.5*x - 0.5*(x**2)), np.full_like(x, 3e-3), c=x, cmap=cmap)
axs.set_xlim(-5, 5)
axs.set_title("Transformed Feature's Density", fontdict=fontdict, fontweight='bold', pad=12)
axs.set_xlabel('$\Phi^{-1}(F$(X))', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.set_ylabel('Density', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.legend()
axs.grid()
任何分布(只要它是一个连续分布函数)都可以使用这个方法。但是在使用它之前,还是需要看看用例中使用它是否有意义。
fontdict = {'family':'serif', 'color':'darkgreen', 'size':16}
fig, axs = plt.subplots(1, 1, figsize=(8, 8))
axs.scatter(x, norm.ppf(1.5*x - 0.5*(x**2)), c=x, cmap=cmap)
axs.set_xlim(0, 1)
axs.set_title('Transform', fontdict=fontdict, fontweight='bold', pad=12)
axs.set_xlabel('X', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.set_ylabel('$\Phi^{-1}(F$(X))', fontdict=fontdict, fontweight='normal', labelpad=12)
axs.grid()
我们的转函数看起来是这样的,这个过程给出了如图5所示的转换。需要注意的是:这个特征取值接近 0 或接近 1 时输出波动大,但当值接近 0.5 时输出波动小。如果不是这种情况会给模型提供对特征的错误解释,可能会损害其性能。
作者:Jasraj Singh
MORE
kaggle比赛交流和组队
加我的微信,邀你进群
喜欢就关注一下吧:
点个 在看 你最好看!
相关文章
- C++学习——数据类型(强制)转换详解
- sql的隐式转换_js强制转换和隐式转换
- Json字符串和对象相互转换
- js将IP地址转换为整型的方法
- 【Android NDK 开发】JNI 方法解析 ( int 数组传递 | jintArray 类型 | 数组转换 | 获取数组长度 | 获取数组元素 | 指针遍历数组 | 数组返回值设置 )
- Power Query的三大数据结构(容器)的创建、深化、转换、合并和扩展(视频*4)
- WPF 已知问题 dotnet 6 设置 InvariantGlobalization 之后将丢失默认绑定转换导致 XAML 抛出异常
- 转换MySQL字符串转换大小写技巧(mysql字符串小写)
- MySQL转换为数字的简易方法(mysql转换为数字)
- MySQL的默默转变:解开谜题(mysql隐式转换)
- 如何将JSON转换为HTML格式并显示详解编程语言
- LeetCode 0109 有序链表转换二叉搜索树详解编程语言
- 从Oracle转换到小数的不同方法(oracle转换小数)
- MySQL将数字转换为字符串的方法(mysql把数字转为字符)
- 转换MSSQL时间格式转换的有效方法(mssql时间格式)
- MSSQL将时间格式转换的一种方法(mssql转时间格式)
- Oracle数据库大写转换为小写的方法(oracle大写转小写)
- Oracle 日期函数详解:实现时间操作与转换(oracle日期1)
- Oracle转换日期格式化的轻松方法(oracle格式时间)
- Oracle迁移表:实现数据转换的关键之一(oracle迁移表)
- MSSQL数据库用于日期格式转换的操作步骤(mssql转换为日期格式)
- 如何将SQL Server数据行转换为列(sqlserver行变列)
- MySQL字符串转换为整型的方法(mysql 字符串转整型)
- MySQL中使用CASE语句进行条件判断和数据转换的实现方法(mysql中case语句)
- Oracle 从两行转换为一行(oracle两行转为一行)
- sqlserver下将数据库记录的列记录转换成行记录的方法
- 一个Asp.Net的显示分页方法附加实体转换和存储过程带源码下载
- 探讨PHP函数ip2long转换IP时数值太大产生负数的解决方法
- Java进制转换的方法
- c语言实现24小时制转换为12小时制示例
- PHP英文字母大小写转换函数小结
- C#将jpg转换为pdf的方法
- VC中实现GB2312、BIG5、Unicode编码转换的方法