- C0 W4 a* O( @ 原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行
" g V; N7 ]1 L% ^( N# U 选自Medium
! S) m, y$ H- I3 m
作者:Kade Killary
* q) |; h, u- S3 t9 C
机器之心编译
6 s' M* {3 c7 h J; U- a
参与:Nurhachu Null、思源
8 `# e: e6 K; `$ t/ e1 t8 U
对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。
% U. H" i! Q6 T0 X6 b 命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。
* p. e$ l9 S) [4 g6 t
' R/ B8 ]$ N. j3 H/ `* S/ e. x - C) B5 ]4 @$ J. N1 K+ x
打开凤凰新闻,查看更多高清图片
, H8 [# p, p8 z8 T: G q
6 |+ X, Q, H% H/ }
/ ~* J, j3 ?6 O" Q n
我们将会涉及以下内容
3 h2 ~$ R2 e5 A8 p$ ]9 \ ICONV
# E8 @/ O3 g) b. h( _4 S9 S
HEAD
5 u9 F2 W4 t9 D/ Q8 Z
TR
% B1 Y9 v* ?. R3 i/ @# I WC
5 P! B2 r& I8 S$ Z" j SPLIT
3 L; v' X5 M9 m SORT & UNIQ
2 r- J# \6 c [2 R" Q8 L
CUT
* j9 V$ c# ~2 N( f2 U" E
PASTE
7 Y: L4 h3 {. ?4 ]0 @+ r8 B5 C% [
JOIN
2 K% e) E& t' b( h n0 P GREP
6 Q) k6 U5 W9 J% ^$ c; b2 w
SED
l* o* O+ C0 F7 G f7 j" O AWK
) g. E! x) k7 C2 M- F+ R
ICONV(用来转换文件的编码方式)
$ y4 c/ _, V' d7 V. d1 {8 Z- V
文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。
# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO
-8859-1 -t UTF
-8, ]* E2 v+ z5 P& z) a
< input.txt > output.txt
( O9 R4 _/ I0 B3 i+ y
可选参数:
3 E1 Y) `7 M5 R. O
iconv -l 列出所有已知的编码字符集合
2 ]5 `7 n' }+ S7 t/ P& ]7 { iconv -c 忽略不能转换的非法字符,静默地丢弃
" k' N. O. a3 h) @
HEAD(用于显示文件的开头内容)
4 \4 x% b ]! B0 ^. [ 如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。
# Prints out first 10 lines/ t6 J! I: I. v6 O6 d
head filename.csv
# Print first 3 lineshead -n
3
4 N" ^: I/ |2 N; o, Z+ E5 m6 a. e0 \ filename.csv
* E' i& ?" D; s2 l" y6 p 可选参数:
" _1 j" H/ h& _3 U* c; y1 ^3 c head -n <数字> 打印特定数目的行数
" t- O% }0 U0 Z5 D head -c <字符数> 打印特定数目的字符
% _! G! w- }& F* o# s4 I. H
TR(对字符进行替换、压缩和删除)
! `9 ~) h7 D" d* n7 h/ S5 _( [ tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:
# Converting a tab delimited file into commascat tab_delimited.txt | tr
"\\t" "," comma_delimited.csv
tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:
1 o+ S4 {4 e ~' V) Y [:alnum:] 所有的字母和数字
9 C5 H) N& X2 M# n" Q [:alpha:] 所有的字母
/ s% x+ }5 k# t* S# {2 o [:blank:] 所有的水平空格
1 P7 c7 _4 q) ]5 j. |
[:cntrl:] 所有的控制字符(非打印)
! V; o. e: P' r! R* b3 k* Q
[:digit:] 所有的数字
( K$ [$ f! O' g: Q j. a, f [:graph:] 所有的可打印字符,不包含空格
( _! C* |' d+ D# m6 _
[:lower:] 所有的小写字母
# m- | r# k# h M
[:print:] 所有的可打印字符,包含空格
: V' t$ a' x' Z! M [:punct:] 所有的标点符号
, j) h4 \$ a9 Y& C [:space:] 所有的水平或垂直空格
( O/ F% M3 d4 t* S7 J5 G$ s* b
[:upper:] 所有的大写字母
; U; _0 `2 D0 e, v, e( Y
[:xdigit:] 所有的十六进制字符
" v% j+ J3 M) a8 F
我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。
cat README.md | tr
"[:punct:][:space:]" "\n" | tr
"[:upper:]" "[:lower:]"! d" W- A4 ^9 ^+ [# h" L4 I
| grep . | sort | uniq -c | sort -nr
% W& B, s9 e6 K) A" s; k: a, s0 N4 q
使用基本正则表达式的另一个例子是:
# Converting all upper case letters to lower casecat filename.csv | tr
[A-Z] [a-z]5 h0 G3 w7 V$ ^9 H3 }
可选参数:
* ^) B; c9 V. f, t2 O" G" ?( A tr -d 删除字符
9 V4 \" n j5 t2 }7 K7 @( a tr -s 压缩字符(将连续重复的字符用一个字符表示)
- t* F5 I) d' ~' u \b 空格
/ C+ C8 l- H; o) g5 z' d) N \f 换页符
0 p1 t2 T5 x- |' l" t. R1 A P
\v 垂直制表符
" s7 e: g9 `% Z" `' X
\NNN 八进制字符 NNN
3 h' \+ m0 \2 k
WC(用来计数的命令)
6 h" Q/ ~3 S9 T+ T5 T2 A
它的值主要来自于 -l flag,它会提供文档的行数。
# Will return number of lines in CSVwc -l gigantic_comma.csv
这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。
1 b8 x" B. \9 E) L* n
可选参数:
' @ H' Y2 K/ h6 C
wc -c 打印 Bytes 数目
' }3 B: J) X9 Q' W/ { wc -m 打印出字符数
/ h/ I& f" t8 H6 O5 t8 A& m wc -L 打印出最长行的字符数
# A0 t" X8 d9 W) G
wc -w 打印出单词数目
1 V' ~: t6 l6 V
SPLIT(把一个大文件分割成小文件的命令)
: C0 S1 F" L1 i: w+ } 文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:
# We will split our CSV into new_filename every 500 linessplit -l
500
; p; i5 F# s9 h filename.csv new_filename_
# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac c' N! t/ z A1 g% Y4 y7 {* M X+ T, P
两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。
find . -type f -
exec mv
{} {}
, w- m3 t5 O/ }8 R .csv \;
# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv
5 x7 o, ]5 q# V; d7 b5 V 可选参数:
! n& X% u; z J9 C/ e1 C4 K# }/ o
split -b 通过确定的字节大小分割
1 g) A4 [4 [) I9 `* A$ R
split -a 生成长度为 N 的后缀
& \8 g- b: v; q' [6 i* i
split -x 使用十六进制后缀分割
( ^* h& k3 Y8 m) z1 V+ L6 K7 \* d! F8 j SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)
S. y0 H) ]2 Q# P& f/ ?+ Z E 这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。
3 \; t" C$ K& T
对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。
# Sorting a CSV file by the second column alphabetically) }( o. u! X% r8 {, [8 d' v
sort -t, -k2 filename.csv
# Numerically
' z: J3 d6 m& k# ]3 V) P; T& e# k sort -t, -k2n filename.csv
# Reverse ordersort -t, -k2nr filename.csv
这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。
n5 p3 {. G1 W3 w I7 w 可选参数:
# e ~) \( ~; N7 M, J# N5 J- n/ a
sort -f 忽略大小写
. g6 I9 g4 i b( P% G' u; r4 S, m sort -r 以相反的顺序排序
' b- S5 `7 ?" j5 x0 H
sort -R 乱序
+ i$ l, {4 V# Q/ U6 @
uniq -c 统计出现的次数
: L( N5 Q! ~0 d: x/ _
uniq -d 仅仅打印重复行
2 e; ^# F1 \2 Y1 `: |& X. ^ CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)
$ d" B9 E3 s E" z; b$ g) n cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:
cut -d, -f
1,
3 filename.csv
选择除了第一列之外的每一列:
cut -d, -f
2- filename.csv
与其他命令结合使用的时候,cut 作为一个过滤器:
# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep
"some_string_value" | cut -d, -f
1,
3
9 b9 j! Z' {( ]) l4 O: N 找到第二列中某个特定值出现的次数:
cat filename.csv | cut -d, -f
20 w0 S4 x- `, b* q: s A- g Q
| sort | uniq | wc -l
# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f
2 | sort | uniq -c | head
PASTE(用于将多个文件按照列队列进行合并)
; @: _5 L* o4 B% d( [9 C( I
paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。
# names.txt3 Q5 v& _5 T$ X8 I% F8 e; X* X* W8 d
adam
A0 T$ M K8 R0 h( P
john
9 ?% N. Z: q1 m
zach
# jobs.txt3 \9 Q* T+ Q( M. n7 P+ v
lawyer
7 n, _' K2 d' K; S4 Z( E3 [
youtuber
6 \. t5 i( {; \
developer
# Join the two into a CSVpaste -d
,
% ?" H6 K5 q- u! e, m8 b5 i( y( y names.txt jobs.txt > person_data.txt
# Output
6 O! R+ e! E. R adam,lawyer
4 x# T% X0 ?+ { ?8 x1 U
john,youtuber
zach,developer
更具 SQL 风格的变体,请参见下文。
! X4 w) ^# y4 W3 g JOIN(连接并合并文件)
+ C R. P! D" {9 D& L* z8 |
join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:
# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t,
-1 2 -2 18 N y6 v( m3 v9 X5 p" I( K
first_file.txt second_file.txt
% e2 E" Y5 }" Q: |* @: t% U. N 标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。
# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t,
-1 2 -a
1 -a2 -e
NULL -o
0,1.1,2.2 first_file.txt second_file.txt
虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。
4 @5 p, ^4 e- a" h) c& ~ 可选参数:
* `' h1 c' B- T. P* I0 J join -a 打印不能匹配的行
! `, g& v, _3 ?; a4 t join -e 替换丢失的输入字段
# f- g( v$ y; ?' j. B' t join -j 等价于 -1 FIELD -2 FIELD
j* s: r: G q( c m GREP(这是一种强大的文本搜索工具)
! @- o% c0 ?. M2 W3 W
全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。
# Recursively search and list all files in directory containing wordgrep -lr
word, Y; V) u0 z+ A3 h
.
# List number of files containing wordgrep -lr
word . | wc -l
统计包含单词/模式的总行数
grep -c
some_value0 b# [, G5 Y- n% [. m
filename.csv
# Same thing, but in all files in current directory by file namegrep -c
some_value *
使用\|运算子进行多值操作
grep
"first_value\|second_value" filename.csv
可选参数:
5 i) s5 S+ R# m+ u3 x5 I1 H2 Z
alias grep="grep --color=auto" 使 grep 色彩化
) P- Q. u2 L( X" u; p% {+ w6 R3 ]" u grep -E 使用扩展的正则表达式
. m& ^3 ^* [) _) d8 F) P
grep -w 只匹配全字符
0 M9 p! o9 S1 A9 E, a
grep -l 打印出匹配的文件名
0 @6 J& {5 E7 ~* I- S
grep -v 反转匹配
- A: T; L2 n; q2 u' Y) w- x3 ^$ R
SED(流编辑器)
9 O5 m' Z9 ?* j% d: _- r sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。
9 m8 m& D- R" q$ B" F" Y6 } 最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。
+ t- D. ~" I& W! q' z
为了快速体验这种能力,让我们来举个例子。若我们有以下文件:
$ R# _9 Q' B; O) [ balance,name
$
1,
000( n: \. m: l* N! [6 M% F' v. C
,john
$
2,
000,jack
我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。
sed -i
s/\$//g; W& x4 B- O, Y, @* r' Z. Z* K
data.txt
# balance,name# 1,000,john# 2,000,jack
1 w0 F! e1 D; k9 X+ M2 C( W 接下来,我们处理 balance 中的逗号
sed -i
s/\([0-9]\),\([0-9]\)/\1\2/g
* q, ~0 n- X- _$ k data.txt
# balance,name# 1000,john# 2000,jack
4 s4 x8 ~6 g2 T, A x AWK(不仅仅是一个命令)
( x8 O4 m) }0 q4 X3 w, B6 K
awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。
5 o. |/ ~) y! D
awk 的用例包括:
7 v7 m2 a% l' U 文本处理
: R9 v- C, C5 c5 d/ h; w 格式化文本报告
9 [8 j, w4 K- l- v, ]
执行数学运算
2 S* b/ A! W1 u: A G4 Q. S$ M
执行字符串操作
3 N! y$ S: ~1 Q5 Q) s
最新版的 awk 可以与 grep 并行使用。
awk
/word/ filename.csv
或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。
awk -F,
/word/ { print $3 "\t" $4 } filename.csv
awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:
awk -F,
NR == 53 filename.csv
一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。
awk -F,
$1 == "string" { print NR, $0 } # F, I- B- o7 t" I2 p' e# l
filename.csv
# Filter based off of numerical value in second columnawk -F,
$2 == 1000 { print NR, $0 } filename.csv
多数值表达式:
# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F,
$3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv
对第三列求和:
awk -F,
{ x+=$3 } END { print x } filename.csv
对第一列等于『something』的所有行,对它们的第三列求和。
awk -F,
$1 == "something" { x+=$3 } END { print x } filename.csv
得到文件的维度:
awk -F,
END { print NF, NR }' T+ H) m* S$ x& c! r
filename.csv
# Prettier versionawk -F,
BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv
打印出现两次的行:
awk -F,
++seen[$0] == 2 filename.csv
删除重复的行:
# Consecutive linesawk
a !~ $0; {a=$0} k7 r# z# I; I) d( r+ U
]
# Nonconsecutive linesawk
! a[$0]++
& ], C8 S [# }& o y filename.csv
# More efficientawk
1 U" U3 h: c6 u' ?1 _ |7 t
!($0 in a) {a[$0];print}
" X* p. |; o# H4 r! k# O, c5 J- L" g- n
: z2 P4 k7 `8 e4 t; k# H
使用内置函数 gsub() 替换多值:
awk
{gsub(/scarlet|ruby|puce/, "red"); print}" J' X# v% F9 t. o0 ^6 U
这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。
awk
FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv
需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。
sed
1d;$d filename.csv | awk
NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed
1d;$d big_data.csv | awk
NR%100000==1{x="data_"++i".csv";}{print > x}5 B3 a4 r' N* H4 j$ i( W
结语
% ]/ n# w. w0 M- r4 L8 Q: O! a" w2 ^ 命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。
! Q# @2 M7 A9 _# _) g# G7 M
原文链接:
$ j) u6 y7 y& l& Y; X( f1 ^
https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da
) y3 B# Y3 }% l+ w6 J9 L7 R
本文为机器之心编译,转载请联系本公众号获得授权。
2 O6 U' D3 w- ^
✄------------------------------------------------
' q, x0 m# y: W3 J6 L1 N
加入机器之心(全职记者/实习生):hr@jiqizhixin.com
% i0 u4 {- r. _& T. I; q( k1 O
投稿或寻求报道:content@jiqizhixin.com
* v6 K" [$ k! M! W
广告&商务合作:bd@jiqizhixin.com
5 x% b1 ~7 A- u