# s9 V. s! Q( T
原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行
8 v9 D$ r) m9 A8 V* Y/ ~9 d$ Q) P 选自Medium
- }3 v% ~ e: ]; ?8 C
作者:Kade Killary
! g1 r6 J2 j; L) ^2 R! d+ R
机器之心编译
( l j' h, t4 [" A4 _) e* p" ~) N 参与:Nurhachu Null、思源
7 I& t# E' i1 I" P5 s
对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。
% G% ]* {$ K% k0 }) }( O) V) _
命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。
/ Z# b! c1 F2 i0 l4 I
( t% U. e1 f3 ] % A) m! k( l" l6 e" ^' I
打开凤凰新闻,查看更多高清图片
* A' o- O( o# U, f- ]; S
' k, k8 U. z; t/ R0 m9 U, `$ V
8 M* B$ r2 \0 }8 \: z, Q. { 我们将会涉及以下内容
* i, N0 S2 B/ l E) r" ~ ICONV
h. O( J& v# c2 C2 G
HEAD
$ n$ y) X2 P# j& J Y
TR
4 A! t; u' s1 l$ P+ c& Y1 Q4 t+ m WC
4 { D% R* _$ X4 U8 G SPLIT
1 \; x6 `. A! _: h
SORT & UNIQ
/ t$ W7 Z. K5 c7 a CUT
; O+ \" Q: E4 q$ l- A0 `7 R) |$ G PASTE
- {6 Y" d9 F8 N d JOIN
9 V9 i' b7 {/ X
GREP
# R5 X5 g% B. ^* V' q1 X8 N SED
. t! k1 ?. |8 w5 W6 y0 X
AWK
! w% }/ I- l/ b6 U
ICONV(用来转换文件的编码方式)
. ^/ E0 o" S/ A& | 文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。
# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO
-8859-1 -t UTF
-8
1 ` B5 P3 @+ T, A* J < input.txt > output.txt
! x& z' Q. x; ]$ p1 n
可选参数:
& P& o0 v# _, m, M+ M: D9 n
iconv -l 列出所有已知的编码字符集合
; I' Y+ w8 j( G. H1 e. M6 j
iconv -c 忽略不能转换的非法字符,静默地丢弃
) x- D% R4 E% K _) ~& I
HEAD(用于显示文件的开头内容)
: {8 h4 `) M) [" I/ o
如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。
# Prints out first 10 lines3 c0 Q- O. X& s* T/ p) o8 o
head filename.csv
# Print first 3 lineshead -n
3# y' h9 h; d+ z! z2 [% W
filename.csv
0 F# I7 B: \3 S# W
可选参数:
! O* [3 n2 [7 A$ S: t head -n <数字> 打印特定数目的行数
, y! }( q# i" d" O; q5 L head -c <字符数> 打印特定数目的字符
1 {- R0 g7 c0 h TR(对字符进行替换、压缩和删除)
. n7 g0 P: {. K tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:
# Converting a tab delimited file into commascat tab_delimited.txt | tr
"\\t" "," comma_delimited.csv
tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:
" D- f- G, J6 u+ I/ \" \, [
[:alnum:] 所有的字母和数字
6 H6 i# n7 f/ t0 V; k
[:alpha:] 所有的字母
& T' ]. s1 x+ L( G$ N [:blank:] 所有的水平空格
t/ r8 w' l u [:cntrl:] 所有的控制字符(非打印)
0 c( ?; @- L6 |7 Z- a {4 H' i9 | [:digit:] 所有的数字
6 U5 M0 }* P( v# y6 k# i [:graph:] 所有的可打印字符,不包含空格
) v4 x. p4 e: S$ b2 E
[:lower:] 所有的小写字母
1 V& o u) H- h' u1 m" A( I* [( Z [:print:] 所有的可打印字符,包含空格
: a- q3 `2 a* A- {( d4 q
[:punct:] 所有的标点符号
+ `# ^1 K8 Z% w k) t
[:space:] 所有的水平或垂直空格
- ]5 x; X8 x2 H; q
[:upper:] 所有的大写字母
4 m0 W |7 I# x3 n% r [:xdigit:] 所有的十六进制字符
- u( J9 Z1 }, n0 j# I Z
我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。
cat README.md | tr
"[:punct:][:space:]" "\n" | tr
"[:upper:]" "[:lower:]"
$ {: u; j) Y' t( H | grep . | sort | uniq -c | sort -nr
6 g# @ o$ y5 ]) n' A; b$ F 使用基本正则表达式的另一个例子是:
# Converting all upper case letters to lower casecat filename.csv | tr
[A-Z] [a-z]* k6 X. l; U+ K1 L# S# V
可选参数:
8 R* U2 M* F0 n8 b9 o
tr -d 删除字符
2 g$ D1 a" I2 S" m3 x tr -s 压缩字符(将连续重复的字符用一个字符表示)
; x, A: X# O7 E; i6 |+ U! _ \b 空格
" R* O7 }- V$ Y0 {; T
\f 换页符
6 i7 x1 j* F8 S8 ^9 E+ A- C
\v 垂直制表符
) e& N+ g5 z8 I. i/ ?# O
\NNN 八进制字符 NNN
4 N5 h# P# {0 |/ j0 O1 s WC(用来计数的命令)
: r+ D7 u* {" m" Z 它的值主要来自于 -l flag,它会提供文档的行数。
# Will return number of lines in CSVwc -l gigantic_comma.csv
这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。
0 M/ b2 U n0 [! ~; ~
可选参数:
: V! B- ~! Q+ z4 R8 q& Q6 E wc -c 打印 Bytes 数目
& w5 U: {4 P2 F' i- S. R
wc -m 打印出字符数
d: v i; f1 u7 V
wc -L 打印出最长行的字符数
p4 v# d3 Y% I' Y' J wc -w 打印出单词数目
4 ^) N3 u) ?1 ^# }
SPLIT(把一个大文件分割成小文件的命令)
/ m: o& {( c+ H9 Q( q* f
文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:
# We will split our CSV into new_filename every 500 linessplit -l
500
$ s% }7 Y' c- r filename.csv new_filename_
# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac6 C+ W4 t6 @5 s$ u1 w* S3 y
两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。
find . -type f -
exec mv
{} {}
. c! |. |% A3 Q8 _9 D% U .csv \;
# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv0 j9 V% V. J& {% c W+ G
可选参数:
8 _, A" G8 x; y7 ~/ r- |
split -b 通过确定的字节大小分割
( Y1 D' s9 ?0 {& _
split -a 生成长度为 N 的后缀
; L. s$ `; G5 N) b5 N4 X split -x 使用十六进制后缀分割
! C5 [* ^3 J5 b! g0 c( y( o. p SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)
! t" p. [8 Y3 \( h1 K
这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。
3 S" ~+ T4 _! V' ]9 C 对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。
# Sorting a CSV file by the second column alphabetically
! D% F6 j. R; m: n8 M3 \ sort -t, -k2 filename.csv
# Numerically
( n( p& E& p4 n) i. O sort -t, -k2n filename.csv
# Reverse ordersort -t, -k2nr filename.csv
这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。
+ b+ D6 Q5 ~% S8 c3 n8 M5 r 可选参数:
3 O' Y' P$ S' U$ d r, [# M( w
sort -f 忽略大小写
' S) G" w( }( s5 |6 u" d1 }( o sort -r 以相反的顺序排序
# Q8 J. ~, J3 R; Q3 v sort -R 乱序
1 Z/ e4 Z# s9 H$ a8 U- u0 n& ?# F& F uniq -c 统计出现的次数
, r* Z! l$ @0 O+ E uniq -d 仅仅打印重复行
% q6 g, [5 B! V( n CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)
7 i5 E4 s a% {1 W% [ cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:
cut -d, -f
1,
3 filename.csv
选择除了第一列之外的每一列:
cut -d, -f
2- filename.csv
与其他命令结合使用的时候,cut 作为一个过滤器:
# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep
"some_string_value" | cut -d, -f
1,
3# u' |+ i$ m9 ]. m9 x$ s# B
找到第二列中某个特定值出现的次数:
cat filename.csv | cut -d, -f
29 e. o, Z. k1 G) W5 H
| sort | uniq | wc -l
# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f
2 | sort | uniq -c | head
PASTE(用于将多个文件按照列队列进行合并)
1 H0 U: A6 f' E; V1 v! ^4 J+ d paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。
# names.txt
5 O- _- s& |; m6 f7 p) p adam
0 M5 g" p: Y9 y/ T. i" t
john
% m5 Z; a# O, D' ^* a0 h1 n: d
zach
# jobs.txt
, P8 N; L Y% _7 h lawyer
( W+ h% N+ P/ |6 R youtuber
& d$ S: A8 I/ ~
developer
# Join the two into a CSVpaste -d
,
) r( H2 N* Q. L* b" i names.txt jobs.txt > person_data.txt
# Output
" X. t$ h, ?! [" L! a: g adam,lawyer
- Z+ V2 t5 e; Z* p+ l' ~' R. I john,youtuber
zach,developer
更具 SQL 风格的变体,请参见下文。
" u9 n5 E( n# |5 g; l JOIN(连接并合并文件)
0 \9 |' R3 E5 {; N, r ~ join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:
# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t,
-1 2 -2 1
# \" |; z$ M4 O" z! S first_file.txt second_file.txt
1 l1 V" r5 s3 U7 T' }% t2 D 标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。
# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t,
-1 2 -a
1 -a2 -e
NULL -o
0,1.1,2.2 first_file.txt second_file.txt
虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。
) b. _# D1 J" ^/ U$ @% i. w2 ?) U 可选参数:
$ ]1 H0 R6 g6 o/ y% p
join -a 打印不能匹配的行
1 ?" _$ o* ]# v, u) \" r: c4 o) a
join -e 替换丢失的输入字段
5 V$ r3 M9 y8 l' i+ U, a8 T join -j 等价于 -1 FIELD -2 FIELD
# w( E0 R& o- W0 S* F
GREP(这是一种强大的文本搜索工具)
. ^, O/ P/ ]9 K, F/ y
全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。
# Recursively search and list all files in directory containing wordgrep -lr
word
, a& g9 h2 x3 u, P* F& q7 K .
# List number of files containing wordgrep -lr
word . | wc -l
统计包含单词/模式的总行数
grep -c
some_value
$ N+ e1 s. g- H1 G filename.csv
# Same thing, but in all files in current directory by file namegrep -c
some_value *
使用\|运算子进行多值操作
grep
"first_value\|second_value" filename.csv
可选参数:
! D. ?+ S: I; m) t: G) } alias grep="grep --color=auto" 使 grep 色彩化
$ U( \: _) Z( H. w! | grep -E 使用扩展的正则表达式
+ ]$ t8 D+ ?% b" O% B6 k( Q
grep -w 只匹配全字符
( C. _1 }. |' v! C$ m5 X9 F- {- d( Z
grep -l 打印出匹配的文件名
- e0 r* y# k7 @0 h grep -v 反转匹配
1 ^5 U5 g+ g) w" [$ H* ~/ j
SED(流编辑器)
1 |* e( l9 S/ z
sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。
+ r& W7 s! J! j8 Q 最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。
0 Q, U# Q0 {1 \) G/ a) u7 }
为了快速体验这种能力,让我们来举个例子。若我们有以下文件:
. g& F; f% i6 F1 c$ E9 b balance,name
$
1,
000
- |; U( Q1 q5 }& v! M8 G. [. b ,john
$
2,
000,jack
我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。
sed -i
s/\$//g; c- ^1 y# ~8 J4 x7 E
data.txt
# balance,name# 1,000,john# 2,000,jack+ z2 D( _6 Q2 z3 B; `8 {6 D
接下来,我们处理 balance 中的逗号
sed -i
s/\([0-9]\),\([0-9]\)/\1\2/g
) y6 `4 F+ s/ _9 o3 ]0 f data.txt
# balance,name# 1000,john# 2000,jack% ?/ o: k2 z# _: C0 ^4 F
AWK(不仅仅是一个命令)
8 n6 m" K8 ], ^, F0 m awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。
9 [" f9 C/ J# |. l awk 的用例包括:
2 m" [+ i0 h+ K; I8 L8 X' |( r
文本处理
/ t; j5 x2 `* Y }6 P& Q. V
格式化文本报告
7 ]- y4 X( N, a7 E
执行数学运算
) U6 e4 J8 J8 [6 P) h/ r, ^' ]+ l
执行字符串操作
" W5 P1 y0 C9 ~& X
最新版的 awk 可以与 grep 并行使用。
awk
/word/ filename.csv
或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。
awk -F,
/word/ { print $3 "\t" $4 } filename.csv
awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:
awk -F,
NR == 53 filename.csv
一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。
awk -F,
$1 == "string" { print NR, $0 }
' I# ?5 M# z+ |' v j$ Q! H) c filename.csv
# Filter based off of numerical value in second columnawk -F,
$2 == 1000 { print NR, $0 } filename.csv
多数值表达式:
# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F,
$3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv
对第三列求和:
awk -F,
{ x+=$3 } END { print x } filename.csv
对第一列等于『something』的所有行,对它们的第三列求和。
awk -F,
$1 == "something" { x+=$3 } END { print x } filename.csv
得到文件的维度:
awk -F,
END { print NF, NR }
, _0 p2 \1 V" ~2 `: f9 E8 P# [# L filename.csv
# Prettier versionawk -F,
BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv
打印出现两次的行:
awk -F,
++seen[$0] == 2 filename.csv
删除重复的行:
# Consecutive linesawk
a !~ $0; {a=$0}
: M& D, `/ o. Y ]
# Nonconsecutive linesawk
! a[$0]++
* Z& u; z+ V( P6 U/ ^ filename.csv
# More efficientawk
, w/ G& k4 o' d; y$ n' h !($0 in a) {a[$0];print}
# ]( ]. o% s# E5 u; U8 ^, v 3 u* c9 m4 P$ ^# n1 I9 @
使用内置函数 gsub() 替换多值:
awk
{gsub(/scarlet|ruby|puce/, "red"); print}
3 F' E" H& k" V! p% x, S5 I- b 这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。
awk
FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv
需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。
sed
1d;$d filename.csv | awk
NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed
1d;$d big_data.csv | awk
NR%100000==1{x="data_"++i".csv";}{print > x}: ^% V @; f6 R0 D( R
结语
. `3 h# I" Q' U Y/ u 命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。
% Y3 q- i( `+ R, T* W
原文链接:
6 R" i2 _: W* }/ Z) M+ e
https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da
$ {- D( |: Q4 ~+ o 本文为机器之心编译,转载请联系本公众号获得授权。
9 J$ V( U2 {2 G$ B ✄------------------------------------------------
9 I- n$ e/ K I9 w
加入机器之心(全职记者/实习生):hr@jiqizhixin.com
7 }+ z# P2 j0 @# L
投稿或寻求报道:content@jiqizhixin.com
5 h( q2 C$ {4 ^' V; v 广告&商务合作:bd@jiqizhixin.com
; w- P& \+ m/ m% d$ @2 N+ G