数据清洗（Cleansing）和数据预处理（Preprocessing）过程简介

4 j" a6 M# m) Q. s

从网络上搜集来的原始数据（raw data）里面会存在很多错误，包括手工录入错误和系统自动产生的错误等等。

3 D3 Q/ \- |3 [

数据净化和预处理（Data preparation & wrangling）就是为了把这些带错误的、不精准的干数据（raw data）转化成可以输入模型的形式（consolidated format）。

) u! Z# G( y: I: L

传统数据的数据清洗（Data Cleansing/ Preparation）

【】中的颜色为图例中相关需清洗的数据类型。

【红色】数据缺失（Incompleteness error）：Missing values/ N/A not applicable的两种处理方法 ① 删除该行数据； ② 用其它数据替代，包括 平均数、众数、中位数，或者假设为0。

7 Y0 l# f+ G. n$ b

【橙色】无效数据（Invalidity error）：数据超出了有意义的范围（meaningful range），如图中例子，1900年生人到现在肯定死翘翘了，这个数据是无意义的，所以该数据无效。可以参考其他数据进行修正。

【黄色】不准确（Inaccracy error）：如图中例子，要么就是yes，要么就是no，dont know是不精确的陈述（not a measure of true value）。可以参考原始记录进行修正。

4 ]. O! h" @" X

【绿色】不一致（Inconsistency error）：前后矛盾。如图中例子，X女士的性别不应该是男。

【蓝色】不统一（Non-uniformity error）：格式上的不统一。如5000000， 5百万， 500万，5,000,000，5m，5million，五百万都是表达的一个含义，应将格式统一。

8 S) W5 Y9 @, U9 W! V3 `( c% K

【紫色】重复（Duplication error）：如图中2号和5号行的数据代表的同一个人，重复的数据删掉一个就好了。

0 {) z# j" O7 ~4 X0 s+ Z4 k1 N5 F) v

下图为清洗完毕（cleansed）的传统数据。

, B# G& I/ N/ z' B: q

7 A* z {1 }" q1 N2 Y2 O

因为要人工逐行逐列的检查和修正，数据清洗需要花费大量的成本。可以借助一些软件（如SPSS），通过元数据（metadata）来检测数据的属性。

这里简单提一下元数据（metadata），简单的定义就是data about data。

实在不行的数据行，删掉他就好了，当然也要注意数据库的大小，数据库尺寸很大的话删掉一个也不差什么。

$ b, W' n1 G3 _! j1 ~- l9 B

传统数据的数据预处理（Data Wrangling/ Preprocessing）

对数据的预处理过程（data wrangling/ preprocessing）是基于清洗完的数据（cleansed dataset）的。

) ^, }: P4 m7 j C

主要包括以下几种方式：

提取（extraction）：从旧数据中提取新的数据。

并列加和（aggregation）：两个或者更多的数据加和成一个新的数据。

] d+ j' t1 X4 ]

过滤（filtration）-行：去除不必要的行的数据。

筛选（selection）-列：去除不必要的列的数据。

转化（conversion）：之前我们讨论过数据分为几种不同的类型（nominal, ordinal, continuous, categorical...），数据转化成更合适的类型。

接下来我们主要讨论下数据预处理中的对异常值的处理（Outliers）以及数据的标准化（Scaling）。

6 c6 u% T/ _8 ]4 C. K

异常值处理（Outliers）

) V4 l, P/ M& Z3 _! G

异常值就是离正常数据列非常遥远的数据，明眼人一看就知道不合群、不对劲，但是统计学上还是给出了一些检测异常值的方法。

/ L0 F6 |% I" g. j3 o

机器学习中outlier的检测方法类似于统计学，如标准差（Standard Deviation）、分位值（Interquartile Range, IQR）等。

% ^# |* V/ Q e) ~+ y: X) |0 F- g1 t

标准差（Standard Deviation）方法适用于正态分布中，超出3个标准差的值就可以考虑是outlier了。

4 i6 K. |5 S: z6 m% S. o, F

Interquartile Range, IQR的定义是75th分位置和25th分位置的差，IQR的中心即为50th分位置。超出1.5个IQR的值可以考虑是outlier，超出3个IQR的值就是extreme value了。

6 r1 A. W! r% B2 }% [6 b

异常值的处理方式就两种：删除掉（Trimming/ truncation），或者用非outlier的值进行替代（winsorization-缩尾处理）。

% `* x z4 ~! M4 {5 p

数据标准化（Scaling）

& B. B5 |- X% c& ]7 J/ k6 |5 m

数据标准化就是把所有数据都标准到[0,1]的区间，更便于相互之间的比较。

$ O& ^; M6 {- o8 m4 s

其实在统计学中，我们已经事先接触到标准化的过程了，类似于协方差（covariance）到相关系数（correlation）的过程。

) z8 m2 p7 k: h4 R. K

机器学习同样适用于数据的标准化进程，将异质的（heterogeneous）数据同质化（homogeneous）。

下面列举出两种标准化的方法：

Normalization：适用于更广泛的分布，对outlier比较敏感。通过对整个数据列的最大值和最小值之间的跨度进行标准化。

Standardization：适用于正态分布，对outlier没那么敏感。通过使用均值和方差进行标准化。

+ O; z, H4 |- Q0 V0 a( x

文本数据的数据清洗（Text Cleansing/ Preparation）

我们在网页上看到的规规整整的文字，抓取（scraping）之后的原始文本数据（raw text data）就包括了很多不必要的元素。

" Q, W7 D) p8 M8 A9 o% N Y

这些不必要的元素包括【红色】html tags, 【黄色】标点符号punctuation, 【蓝色】numbers, 【绿色】空白格white spaces）

) r6 ?, w6 R5 ~. U- B+ z; _9 I3 y

文本数据的数据清洗（Text Cleansing/ Preparation）过程就是将它们移除，清洗完成的文本数据（cleansed text data）如下图。

2 [8 X2 ^& r/ y

5 S; ]) v8 S' _* O

文本数据的数据预处理（Data Wrangling/ Preprocessing）

首先引进一个概念，token。上图中一个 /.../ 就可以等同于一个token的概念，tokenization的就是把文本（a collection of tokens）分裂成一个小块一个小块的过程。

文本数据的预处理的过程首先是normalizing，把具有相似含义的tokens标准化成一个形式。形成一个BOW（Bag-of-Words），囊括了一篇文本里的所有标准化的tokens们。然后列出一个token在不同文本出现的频率表（Document Term Matrix, DTM），将这些unstructed(text) data最终转化成了structed data。

# @1 T( k& t- v& [0 m: l' Y# [6 {

Normalizing tokens 标准化

: D9 p/ n. y% k8 Z

机器学习大数据的标准化处理的结果其实看起来是挺奇怪的。

$ |" D7 E: @9 M6 M. z% n4 Y

我们从小学习的英语语法中有一些不同寻常的变形方式，比如“去e+ing”，“y变i+ed”等等，这些就导致了机器学习大数据中很多标准化处理后的结果像个残疾人一样。

比如increase, increases, increasing, increased, increasingly这些词并不是标准化成increase（所谓的原型），而是increas。

因为increasing把e去掉加的ing，所以为了让三个词都能有个共同的标准化结果，机器学习大数据的标准化结果只能是“increas”了——看，像不像个残疾人？

4 I+ J, l3 d6 f+ d" e3 I

那我们拆开看一下value, valued, values...这些是怎么一步步变成valu的？

2 _3 G3 M2 n- H' u/ H% {

Normalizing的过程包括四个步骤。

①Lowercasing：统一大小写。

②Removing stop words：stop words呢，就是text里面那些没有太大意义的词，就像语法中我们学到的冠词这些（a, the, is...）可以事先列一个list决定stop words包括哪些。

接下来两步就是变成残疾人的核心步骤了，简单理解，③Stemming就是从各种变化形态变成原型（base word/ stem）（values, valued -> value）；而④Lemmatization就是从原型再缩减到词根形式（morphological root/ lemma）（value -> valu）。

这两步可以减少那些低频、不常见的tokens（也叫data sparseness），让机器学习的模型变得更简单。

BOW（Bag-of-Words）

一篇文章的tokens们，整理到一起，就形成了BOW（Bag-of-Words），这样的形式更便于进一步的分析。标准化后的BOW越来越小。

% Z" z. b! {2 B9 J

DTM（Document Term Matrix）

将BOW中不同的tokens（行row）在不同的text（列column）出现的频率列成一个表，这个表就是DTM（Document Term Matrix）。

9 ?: H+ c+ Y3 ?. E( z2 K

这一步更关键的意义是将text data转化成structed data，以便于更好的Machine Learning input。

( C# ^& g; C0 T& j* n y h

参考资料： CFA Level II <Quantitative Methods>

文 by / 杨翊守 公众号：拂晓Palpitate

% U4 h! }6 n$ [( l/ u% W + ^5 D3 Q) T+ Q1 Y4 l# C5 Y