5 ^ J+ {/ L. [( L 简介, t. t8 a# Q4 \1 o6 f0 s6 \* M
通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题: 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。存在缺失值:缺失值需要补充。信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。下面我们使用sklearn中的preproccessing库来进行数据预处理,以覆盖上面遇到的问题。 - d3 b1 ~9 C2 Z8 h
数据集准备* s$ O& F$ @+ h. g
首先,加载IRIS数据集,代码如下所示。 ' b e9 S- R- Y; S4 b; l2 B: V
from sklearn.datasets import load_iris # 导入IRIS数据集 w' Y* N" \& o, \
import numpy as np; d( M2 C& c8 Y v
7 M3 B# l( _& F) [ iris = load_iris() # 特征矩阵5 [$ n7 |( [1 c7 H' ~7 Z
print(iris.data.shape) # (150, 4)
2 h+ j! e; V0 ]. C. a# V# g+ A+ V print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]]
0 S6 P7 H9 P+ f, ]: i* a" u- h print(np.unique(iris.target)) # [0 1 2]
, n: C) @2 G& i9 y# B
k" d5 s9 V& p: {. q% n1 Z 无量纲化
2 l8 q0 }: u7 P 无量纲化是使不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布。 + [- o2 h% t" m2 J/ |/ z; D5 ~
在以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度;而在距离类模型,譬如K近邻,K-Means聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。
( V$ n- ~; m3 l 常见的无量纲化方法有标准化、区间缩放法。
4 \! x2 M G4 ?3 t; C9 ` 标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。量纲与无量纲的区别 7 g! x- q% a6 ]8 }- _5 y. M# u
量纲:物理量的大小与单位有关。比如,1块钱和1分钱,就是两个不同的量纲,因为度量的单位不同了。 8 q" Z }5 W, Z
无量纲:物理量大小与单位无关。比如,角度、增益、两个长度之比等。
2 B0 H, e R! E3 m 标准化-零均值标准化(zero-mean normalization)7 x" B9 R! m# P8 [: n
标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。 8 ]8 V. |. X0 B6 y8 P3 T8 y
简而言之,标准化将连续性变量转变为均值0、标准差1的变量,标准化需要计算特征的均值和标准差,其公式表达为:
) X4 q9 i- b6 o" ]2 w ,其中是均值,是标准差x′=x−x¯σ,其中x¯是均值,σ是标准差{x}=\frac{x-\overline{x}}{\sigma} ,其中\overline{x}是均值,{\sigma}是标准差 \\
1 d* L- M, H! ]6 ]6 m 常用于基于正态分布的算法,比如回归。
2 C- R" A/ n4 j& Q5 K 使用preproccessing库的StandardScaler(基于特征矩阵的列,将属性值转换至服从正态分布)类对数据进行标准化,代码如下:
# v1 f" u* j$ `' k5 h. c$ ?+ S( d# c from sklearn.preprocessing import StandardScaler3 `# G, ]1 \ |9 S
/ q0 K: g) A7 a7 S9 w" A1 H2 d) k" ]
# 标准化,返回值为标准化后的数据
6 z. B; B1 ]! `" h" Z standard = StandardScaler().fit_transform(iris.data)
6 v+ A3 i8 ?9 f) v0 [ print(standard[:1,:]) # [[-0.90068117, 1.01900435, -1.34022653, -1.3154443 ]]$ A7 \7 R7 C) O/ j/ u" E: Y
& i5 @$ q2 F% \4 d9 G# f2 y
归一化-区间缩放法
: Z; a4 y. F( M' B7 Y 区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量,公式表达为:
5 O( w3 ^4 J3 w0 N x′=x−min(x)max(x)−min(x){x}=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)} \\
* J c1 o/ j! J8 M( s 区间缩放可以提升模型收敛速度,提升模型精度。
9 a" @9 y9 T3 U 常见用于神经网络。
) r# _7 X/ Q5 n4 z+ ~8 Z2 M 使用preproccessing库的MinMaxScaler(基于最大最小值,将数据转换到[0,1]区间上的)类对数据进行区间缩放,代码如下:
; `' |) D* ?. z # 区间缩放,返回值为缩放到[0, 1]区间的数据' f% c+ _ \" O& y
from sklearn.preprocessing import MinMaxScaler
6 ~$ N8 ]6 {% Q% m
) ~9 S- ] {' O2 U& b9 u min_max = MinMaxScaler().fit_transform(iris.data)$ E0 R, q, S1 [3 X+ t
print(min_max[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]]
1 B/ c$ [5 G1 e5 R* P : F0 T2 ?6 [. k3 }$ g0 T
正则化(Normalization)
3 v6 x4 t* I8 T# t& O 正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准。例如,对于两个TF-IDF向量的l2-norm进行点积,就可以得到这两个向量的余弦相似性。
8 M6 {; m) q; A* C1 @" | 常见用于文本分类和聚类。
6 J& M& D1 j' {+ _ Normalization主要思想是对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是使得每个处理后样本的p-范数(l1-norm, l2-norm)等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解,p=2p=2时为单位向量,其他为单位范数) # d: G8 i: K2 _0 {: A$ g
LpL_p范数的计算公式如下所示:
! C2 ^7 v# U2 d4 z# ] z5 E ||X||p=(|x1|p+|x2|p+...+|xn|p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}} \\ w, ~/ K! v7 {
可见,L2L2范数即为欧式距离,则规则为L2L2的Normalization公式如下所示: $ U) {2 `! @2 m2 L3 R: }
x′=x∑jmxj2{x} = \frac {x} {\sqrt{\sum_j^mx_j^2}} \\ ( `( ^; u* L! T1 ~
可知,其将每行(条)数据转为相应的“单位向量”。
+ K- W% S/ ^% V/ r: P 使用preproccessing库的Normalizer(基于矩阵的行,将样本向量转换为单位向量)类对数据进行正则化,其代码如下:
8 q5 Q/ A# p$ w6 T& W from sklearn.preprocessing import Normalizer5 A- H' y( O; B$ k) k) |4 D
% ]- Q) [* B+ G @7 U/ t. Q norm = Normalizer(norm=l2).fit_transform(iris.data)( u1 U3 [1 @9 I+ D2 F/ q f- H
print(norm[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]
, c1 ]9 K% N5 i6 [& H$ ` % K! m. K; `* U: l6 r- M* n! \
参数说明: 1 a" L9 D# m/ T/ l6 {7 d" S
norm:可以为l1、l2或max,默认为l2。 若为l1时,样本各个特征值除以各个特征值的绝对值之和若为l2时,样本各个特征值除以各个特征值的平方之和若为max时,样本各个特征值除以样本中特征值最大的值标准化、归一化与正则化的区别标准化处理:把特征变量转换成均值为0,方差为1的标准正态分布归一化处理:把特征变量转换为最小值为0,最大值为1的区间正则化处理:将每个样本在所有变量上的值缩放到单位范数(即每个样本在所有变量上的值的范数为1)定性特征和定量特征的区别) I' Z( r- v' ^4 r1 {
一般定性都会有相关的描述词,定量的描述都是可以用数字来量化处理。举个例子: 定性:博主很胖、博主很瘦定量:博主有80kg、博主有60kg对定量特征二值化9 U# O. u9 z/ {2 N
定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:
3 G. [( L" t7 {6 Y4 D {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\">,,x′=={1,x>threshold0,x≤threshold {x} == \begin{cases} 1 & , x > {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\
0 |0 m( U/ w; p9 {/ | 使用preproccessing库的Binarizer类对数据进行二值化,代码如下:
! Z) `2 \, g C& [ from sklearn.preprocessing import Binarizer( I. {! z1 M+ k: u1 i. ^
5 L6 o2 F$ O3 `) @2 X' X3 t: j # 二值化,阈值设置为3,返回值为二值化后的数据
2 L% K3 R5 ^& W; O. t- S6 A+ _# d binary = Binarizer(threshold=3).fit_transform(iris.data)
: D7 e* O4 w$ W4 E% h/ ^3 m/ n print(binary[:1,:]) # [[1., 1., 0., 0.]]
4 b: C5 u J4 ~+ E
4 z4 Y9 w6 A" g' Z$ J9 g5 Z 对定性特征独热编码
. J0 x* A3 @1 m 你的变量不是定量特征的时候,是无法拿去进行训练模型的。独热编码主要是针对定性的特征进行处理,然后得到可以用来训练的特征。
6 g9 h- g: a( `7 ` 由于IRIS数据集的特征皆为定量特征,故使用其目标值进行独热编码(实际上是不需要的)。
% C! C7 ?& U! X9 k 使用preproccessing库的OneHotEncoder类对数据进行独热编码,代码如下:
* n# Y$ [) x5 i( ~0 D/ R& X # 独热编码,对IRIS数据集的目标值,返回值为独热编码后的数据, X P, M1 E F, C4 l/ I+ a! k
from sklearn.preprocessing import OneHotEncoder8 A2 U$ n) B7 _
import pandas as pd3 r- L- x5 ^/ `. w! K+ z
& v& ^9 b" O6 \: c3 u
print(iris.target.reshape(-1,1).shape) # (150, 1)# W! U: V$ I4 \! F( v
one_hot = OneHotEncoder().fit_transform(iris.target.reshape(-1,1))
7 b5 Q* y" j: D* n; e1 {: S+ e print(one_hot.shape) # (150, 3)5 i6 h8 g9 ]4 K4 _+ k, q6 l
$ d/ }2 z2 x4 {5 B! s. _1 ^) {; W dummy = pd.get_dummies(iris.target)
3 M$ [% X7 u# d" v# v; u4 z5 Y' ^ print(dummy.shape) # (150, 3)
$ @: i( a4 C T/ J# i5 e & J2 A, I; Z' J w- Y; c
缺失特征值补全$ `5 \* C. V9 X$ B$ Y. f$ k+ O
由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。
* M. w* ^0 v3 J: e" U5 t5 z 使用preproccessing库的SimpleImputer类对数据进行缺失值补全,代码如下: " ~2 {. q! F% H+ L
from numpy import vstack, array, nan
" x5 n! V4 @) F m; i/ w" R; V7 h6 [ # 缺失值计算,返回值为计算缺失值后的数据
6 ^) t% P9 Y4 U% I9 ?" e from sklearn.impute import SimpleImputer
0 Z: u; {. ?. b. s6 R. T- j% y. s) H, m
# 参数missing_value为缺失值的表示形式,默认为NaN& G: @$ j \( D9 E3 J8 {7 J* h1 V
# 参数strategy为缺失值填充方式,默认为mean(均值)+ Y; s7 V3 x) n" `3 a$ q
imputer = SimpleImputer(missing_values=nan, strategy = "mean")
: l% w* y; M: z* Z. R
7 p: m/ M9 }& ^% a3 s9 w$ E1 C data = vstack((array([nan, nan, nan, nan]), iris.data))
- C7 F1 Z+ H" F$ _6 g0 @ print(data[0:1,:]) # [[nan nan nan nan]]
0 w% O* j/ h1 a8 [) f result = imputer.fit_transform(data)' y) h) @4 C+ K; A
print(result[0:1,:]) # [[5.84333333 3.05733333 3.758 1.19933333]]
1 W4 y1 ?7 W) v; j3 ? {8 ~3 N) T4 n4 I
数据变换# j+ x* N: Z. A& E' i2 j! X
常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。 ! ]+ { x/ O' q4 H5 o
基于多项式的数据变换9 M) Y. j9 Q! B4 F3 u u
将少数几个特征转换成更多的特征,来增加模型的复杂度。
7 V1 a3 C. X5 O* V 2个特征(X1,X2X_1, X_2),多项式次数为2的多项式转换公式如下:
+ M0 n8 X1 w$ ` (X1′,X2′,X3′,X4′,X5′,X6′)=(1,X1,X2,X12,X1X2,X22)(X_1,X_2,X_3,X_4,X_5,X_6)= (1, X_1, X_2, X_1^2, X_1X_2, X_2^2) \\
* Q* f+ A* l* w 使用preproccessing库的PolynomialFeatures类对数据进行多项式转换,代码如下: 8 W+ h5 x( @9 ?* h8 H4 o
from sklearn.preprocessing import PolynomialFeatures # 多项式转换
6 i0 t5 D$ r+ i! {4 H # 参数degree,默认值为23 k `& `; I/ E! \; V( R
ploy = PolynomialFeatures().fit_transform(iris.data); D8 U* X3 a' E- ^" n9 y
print(ploy.shape) # (150, 15)9 U- D% D# Y3 ?* i( o* U( ]5 ~) _) i
print(ploy[:1,:]) # [[ 1. 5.1 3.5 1.4 0.2 26.01 17.85 7.14 1.02 12.25 4.9 0.7 1.96 0.28 0.04]]' `. L" Y- A) ]$ O
* v$ M1 q% X! q
PolynomialFeatures类的参数说明: degree:控制多项式的次数;interaction_only:默认为 False,如果指定为 True,那么就不会有特征自己和自己结合的项,组合的特征中没有类似于X12X_1^2 和 X22X_2^2 的项;include_bias:默认为 True ,如果为 True 的话,那么结果中就会有 0 次幂项,即全为 1 这一列。如果interaction_only=True,3个特征(X1,X2,X3)(X_1, X_2, X_3),多项次数为2的多项式转换公式如下: 7 j: r- G+ s6 |( a$ t
(X1′,X2′,X3′,X4′,X5′,X6′,X7′,X8′)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)(X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8)=(1, X_1, X_2, X_3, X_1X_2, X_1X_3, X_2X_3, X_1X_2X_3) \\
1 A- t, v. O" V* S 基于对数函数的数据变换
3 o, S" S4 v. z G2 U6 V 对数函数的数据变换是一个基于单变元函数的数据变换。 # `% h: _3 D7 g. Q5 S Q3 p
使用preproccessing库的FunctionTransformer对数据进行对数函数转换,代码如下: ; A# n9 P9 W2 A% x6 w0 s
from numpy import log1p% W( @: U! ?& U+ C
from sklearn.preprocessing import FunctionTransformer
3 B+ P( L z9 Z2 V8 X+ Z. |3 f # FunctionTransformer:自定义预处理函数,进行特征映射
* [- R/ O9 |) b' X$ }0 Q1 m # 这里使用自定义转换函数进行对数函数的数据变换
7 S$ B% {1 w+ ^3 A( G # 第一个参数是单变元函数" _/ e. a2 y3 Y( x2 j' w- Q+ Z
log_one = FunctionTransformer(log1p).fit_transform(iris.data)
9 Y3 `3 r/ ?1 M4 P2 K1 K print(log_one.shape) # (150, 4)
: i$ E$ m% a; m8 ?. M9 { print(log_one[:1,:]) # [[1.80828877 1.5040774 0.87546874 0.18232156]]
7 Z% K! a: p9 p4 y. ^- O4 b! M' O1 U
) T& V$ b8 v& H; ~) O 总结
+ U& @2 t! N2 b# r 数据预处理是为了得到整洁的数据,让模型能读懂且更好地学习数据,但预处理过程绝不仅仅只是以上的内容,很多处理过程与数据分析目的紧密结合的,本文只是简要的介绍一些常见的数据预处理方法。如下表格所示:
0 |# B. L1 z! s9 R5 @ $ j8 C( a0 F, b
参考文章sklearn offical docssklearn中的数据预处理和特征工程使用sklearn做特征工程标准化、归一化、正则化
" q( |- j T- R5 a$ q- u( F$ L; K' W
+ I, i& U4 O8 s: Z4 U* p
# ~/ k$ ?* |, q) |- R2 n8 C; [; Y% F/ E( `2 a
|