8 m4 ?3 w* B( X; M: a
. M" X( N# D1 x! Z" W7 u( ?8 k
源 / SegmentFault /作者「张京」
, V( H& ?; Z% x& B7 o- b( R Jupyter
' b" c% O1 l! c! T/ q2 b
首先,第一神器是Jupyter。如果你是第一次使用,可能搞不清楚它的开发者做这么个鬼东西出来干什么,说它是博客系统也不像,说它是web服务器也不像,但它就是有用。
: x5 Z2 n7 }& i/ m+ k
因为我们传统的web开发首先想的就是面向公众,你做一个服务器就是要服务成千上万浏览器的。
: B3 e7 h9 H0 Y8 c5 a4 J 当然Jupyter也可以服务众多浏览器,但它更多的还是方便研究人员,对研究人员来说简直是太方便了,你把代码像写文章一样直接写在输入框里,然后在本页面直接就看到了这个代码的结果,随时修改,随时展现,文码混排,是Markdown的一个增强版,毕竟Markdown还只能显示文字,最多再加上一些图片,而Jupyter是可以直接运行Python代码的。
* p; t# ^ i4 S2 I2 m$ V+ O
当然,也有些人试图在Jupyter里运行PHP或Java代码,但显然成不了气候。因为Python这个语言天生就是脚本语言,可能将来唯一有希望往里移植的就是Javascript,这货也是一个脚本语言。脚本语言的好处就是不用编译,一行一个结果。
/ V) ^, ]' ?' w( c. x* R
纵观计算机语言发展历史,就是一个从繁到简的过程,C语言需要编译+链接才能运行,Java只要javac一下,把编译和链接合二为一,PHP更简单,直接运行就行了,连编译都省了。
* B) h$ c' |. s2 b1 J+ q J- ?$ w# Z
但是还不够直接,因为还要编写一个.php文件存盘,然后才能运行,到了Python以及其它脚本语言这里,可以直接在壳里运行,但最大的问题是运行可以运行,无法保存,要保存就又要跟传统方式一样,找个编辑器来,或者vi,存成文件以后才可以运行。
' M8 j# m N, s* J: v( o$ u+ `: T& l x+ w
Jupyter最大的优点就是:它本身还是一个外壳环境,可以运行脚本,但同时也帮你自动把这些脚本代码保存了下来,不但保存脚本代码,并且你插在脚本代码当中的所有注释不是普通注释,而是各种格式化的Markdown都一并帮你保存下来,并且可以随时修改。
9 r; l4 J! w+ G0 h; O# N; Y
所以它兼具了脚本外壳和文件管理系统的优点,从此你开发Python代码再也不用先在IDE里写好代码,然后再到终端里去运行,而直接在一个web页面上就全部搞定了。
: N' ^9 `* H f9 p1 n; H Java有这样的工具吗?PHP有这样的工具吗?没有,所以我们必须选择Python。
' ^8 U$ ]. M4 p; Z8 T7 q Pandas
7 n) G( ^6 M" I) N( R" Y 第二神器是Pandas。如果我让你读取一个csv文件,然后求每一列数据的平均值,最大值,最小值,方差,用Java或PHP怎么做?
: B% u- l8 J6 ?( }; i: ~ 你首先要fopen一个文件,然后一行一行读进来,再给它整个数据结构,然后弄个循环计算,最后你可能还要fclose这个文件。
$ Y% r8 `4 }4 R2 ^. f. s+ L" k( [ 总之代码一坨,麻烦死。而Python语言因为有Pandas这个神器,一行代码搞定:
df = pd.read_csv( a.csv )
$ M" a, n. ~' S f% D: `
行了,从此以后,df就是这个DataFrame,它本身就是一个强大的数据结构,也可以把它理解成mysql数据库中的一张表吧,各种增删改查,求总和,求平均都是一行代码的事情。
3 ]$ J" f. r5 ]/ G' x. m) `
所以有这样强大的库,研究人员有什么理由选择Java?
0 Y' \7 }& V+ s5 ^6 O% g scikit-learn
b/ h5 ?# ?$ d& ^* H2 B2 e5 \
第三神器scikit-learn,一般缩写为sclearn,各种机器学习算法,基本上只要你能想得到的,线性回归,逻辑回归,SVM,随机森林,最近邻居等等等等,各种算法全部在这里面(
http://scikit-learn.org/stable/user_guide.html)。
3 X( E- f( h2 Y' t( H6 j0 L
6 p2 Y/ Y. ^+ x2 H: a& r, g g 简而言之,只有你想不到,没有它做不到。
3 p# D" }/ b0 [3 a4 k. x8 d, B8 M
所以这就是为什么玩机器学习必选Python的原因,你给我找一个Java或者PHP有这样多种算法的库来?
: b, w) K: v5 N! B: U4 T matplotlib
- U# Z9 z7 C& b! a$ b4 D 第四神器是matplotlib。如果我让你根据上面csv文件里的信息,画一个图,用Java该怎么做?
$ R8 [0 s- o3 ]$ X# v: n 你当然会去找第三方插件库,然后又是一通折腾,终于把图做出来,然后编译,然后运行。
+ G0 `* n6 O* R3 [0 y8 D" X) g 如果我要改配色呢?如果我要求画地图呢?如果要画热力图呢?那个麻烦就不是一星半点,而对于matplotlib来说,简直就是小菜一碟。
* S# B8 G5 s7 o0 d2 R6 R Q
简单的直方图就不说了,下面重点介绍如何用matplotlib配合Basemap画一个中国地图。
+ I7 X6 k' }5 L1 Z) I9 R" { 安装Basemap
e3 G8 A1 Q2 ?7 R4 w/ Y* g
先安装相应的组件。我假定你已经都安装好了Python以及Jupyter等等。如果没有安装的话,就去尝试一下brew install python3和brew install jupyter吧,网上有很多教程。
; H$ d8 K' n. [4 _ 然后你需要用pip3 install很多我们下面可能需要用到的库。但是因为我们要用一个叫做Basemap的库,而这个库没有办法用简单的pip3 install安装,所以稍多两个步骤:
brew install geos
6 z1 g3 D8 V; w& q) m
pip3 install https://github.com/matplotlib/basemap/archive/v1.1.0.tar.gz
2 w" y% i+ ^' `; ?) N8 @3 F: q$ X) Y 开始画图
) Y2 n; M: I. T. b7 _. A! ] k
启动Jupyter之后,我们还是本着从最简单的代码开始。先画一个世界地图:
import matplotlib.pyplot as plt
4 n* Z* F) \% E7 n6 i from mpl_toolkits.basemap import Basemap
! u0 C% q/ o# }: N: A/ M& e7 X
plt.figure(figsize=(16,8))
7 X! `# f* ~2 n! C. w
m = Basemap()
) y# G6 _+ x, ]9 g/ F5 E m.drawcoastlines()
6 s' {! d; o3 ~3 F+ F2 F3 |( B plt.show()
/ o! c" q0 {5 V# t! k 前面两行引入相应的库,真正的代码就4行,够简单吧。第1行甚至可以不写,它定义了图的大小。第2行我们创建一个地图,第3行把海岸线画上,第4行显示这个地图,就是这样:
* Q; a: a: q+ G+ u$ \ 9 f8 _, n% N# ~/ j- `- h/ n5 V/ S( O8 j
你用Java的4行代码画一个地图出来?
4 K- t9 ], k: m6 D/ G 然后我们开始画上国家,又是1行代码:
m.drawcountries(linewidth=1.5)
* e0 C) o: c5 r C- x7 E" A* @ 就变成了这样:
$ v5 Q, }" P/ k9 ?# A3 t! G% ~* p) a3 l
- F2 m/ S( c7 Y$ Y' p6 p, I
用Java可能吗?用PHP可能吗?
( N+ N) M/ V6 }! ~: m 如果我们想显示中国地图,只需要在创建Basemap时指定一下经纬度就行了:
m = Basemap(llcrnrlon=73, llcrnrlat=18, urcrnrlon=135, urcrnrlat=53)
1 C! N4 V+ o* c+ J
然后就得到了中国地图:
. X; d5 T6 J& g. }! g
- f8 N/ I- Z: X: g, |; L+ w8 y8 T 看上去有点变形,这是因为我们没有添加任何投影的原因,Basemap提供24种不同的投影方式,你可以自己一个个试一下,比较常用的是兰勃特投影,我们添加一下:
m = Basemap(llcrnrlon=77, llcrnrlat=14, urcrnrlon=140, urcrnrlat=51, projection= lcc , lat_1=33, lat_2=45, lon_0=100)
% j1 v5 Z7 M1 i5 \ 这次终于看上去比较正常了:
& Z- H' y% z2 I5 a9 a% H 2 U: P# `; O8 U; Z% V* j1 `
我们想加上省的边界怎么办呢?Basemap缺省的包里没有中国的省区,只有美国的州,毕竟是美国人做的嘛。
% H" x1 c% V9 Z. ~7 `( d" L1 @( E
不过好在世界很大,有专门的国际组织干这事,在这里(
https://gadm.org/download_country_v3.html)你可以下载全世界任何一个国家的行政区划Shape文件,然后我们给它加上:
' V0 M* W& Z a7 O
m.readshapefile( CHN_adm_shp/CHN_adm1 , states , drawbounds=True)
$ |; k) P# Q" c
然后就得到了下图:
/ B+ h' T' ?. d6 C+ h: U( B , j( _' N0 e! M) ]" L0 k3 P4 |, R+ F
再往后,你还可以往图上改颜色啦,写数字啦,这些就留待你研究吧。总之,我想说的是,用Python画地图真的超容易。
; r7 A4 B8 T( n$ L7 Y1 R 最后再为Java和PHP美言几句:大家分工不同,Java和PHP虽然做这样的数字研究不是很方便,但还是非常适合web开发的,而Python在这方面并不适合。
: u7 j! ^5 p5 f2 w( i4 @
所以通常的做法是:首先用Python验证算法,经过一系列复杂的计算,把算法确定下来之后,当要应用到web上的时候,再用Java或者PHP把最终形成的结论重写一遍,这样就能充分利用各种语言的优势。
( I9 _1 b) {; d, `; _; k5 s 补充:
! g; }0 q' v7 ]/ k0 J basemap这个第三方库可能不太好安装,Windows下可以在
https://sourceforge.net/projects/matplotlib/files/matplotlib-toolkits/basemap-1.0.7/ 下载EXE文件安装。
4 T8 X8 t" ^0 Y3 c2 F1 y
- c: F3 H3 }! d* a6 |/ J: @7 f ▲
: ]) `- T4 L4 | END
y. g! {( s8 G9 y
关注民工哥技术之路微信公众号,在后台回复关键字:1024 或 2048,可以获取一份最新整理的技术干货。
5 {& v3 G+ |! I. R; J8 [" _3 ? b/ w + ]9 ^7 B+ b8 c. n0 ~