|
; R" w) T% S2 I2 R( r% n; f 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
9 W, A! P+ }0 q% n- m 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 : G& Z0 q- y1 _1 P/ T* i
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 " P( K* F( A, Z' f$ l% C) ~* o
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 ) R$ z' N {+ s( f: d4 l& \
1. 数据类型的转换
: x2 A2 g. [; O$ ]* I9 \( o. t& p7 ^* w7 e 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
* ^$ k; T. J2 l0 s" J 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” % l* L6 X9 N* m0 r8 I8 P& Q
( ~( z9 l5 o4 P7 J1 y! L! }2 F
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
1 p- w2 h2 l+ I& Q* a9 H2 A 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
+ K7 u; B: {! ^# w. u0 n% T 2 C! C( Z. J* \
2. 字符串的对比 ) Z3 C" [+ Q Q7 f" |$ H
第二个经常需要处理的问题是，字符串的对比
, A: ]: @: r. K* o5 I, C: J& u0 I 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 * r! K, Y) H# l
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
5 t" G! ^2 B: h7 I! Y strcmp(abc,abc)
1 \6 c; _% \; J$ c 判断字符串中是否包含某种字符串，可以使用contains函数
( p% P8 `6 C1 R8 y0 o contains(abc,ab) 3 g8 p. I* h- J: S
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 ( k0 m1 [% O; z* h, w$ J
regexp(abac,a) 9 D G2 q- d7 x
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
# e, @+ F: I: J/ k% n. m; q/ E a = strcmp(Cell_variable,abc);6 _* J6 I1 a& T
b = find(a == 1) - |$ x- p. a+ Q( w- ]2 U
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 * u, R$ H6 M# i5 l) y
a = contains (Cell_variable,ab);' s' S0 R$ P% t- ~ R% E% g; |
b = find(a == 1)
. `* M" k9 k: \1 V/ y 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 8 X$ {& h2 L9 D+ J7 G
3. 文件的读取写入 7 v; B1 f9 k& c: X* j# D" T8 z. Q
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 % U4 V) _) f- a/ ]2 z' T h
mat, txt, excel是平时最常碰到的文件类型
& v. E* U# r: x% |- _" ]6 o mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 8 B' T9 ^! [1 c4 Y) `- D: o
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 3 Z% G7 ?1 f7 w/ x. s1 c" p
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
- @5 L1 Q5 W4 {% N! k- W: H% X 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 : H; |% f$ [* s6 l
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
/ f4 {0 _" u& e3 I) @, b 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
4 Y4 ?( H7 F5 C
- i3 ~( {! z. Y( I8 S
( b! o) O1 g+ ^6 A/ j
4 M' v" ]& y3 v4 k( g& z' w# V txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 " y4 \7 s9 ]3 C( H0 V2 P
fid = fopen(test.txt,wt);
$ @$ ^4 n& i; @8 p! r/ b9 J fprintf(fid,test1\n);# s2 E% t7 b4 h1 y1 V
fprintf(fid,test2\n);: @- Q7 b1 d. g3 d u4 @2 `
fclose(fid); " G. c0 W! F- b8 A0 I
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 4 b) A; h' A' e" G8 D& ~- E& m
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
" r0 g6 K: B7 K9 Z( x6 V [num,txt,raw] = xlsread(filename,sheet,xlRange)
3 J( M$ s6 J8 c& {; t xlswrite(filename,A,sheet,xlRange)
, E) R8 x6 i- `8 I/ k% F7 u& U 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable 2 B) P4 r# R8 e7 M: B
T = readtable(filename)
* _3 q* S, @5 G" C: s. N2 @ writetable(T,filename)
' t. p) q" h9 ^- }. y4 ~ * X& |7 v0 P0 Q0 _
如果数据是cell元胞的话，替代的函数是readcell和writecell $ F/ o R6 t4 Q5 ]
T = readcell(filename)1 @; }2 t4 y0 D0 G* V, Q& y, Y
writecell(T,filename)
$ ~5 ~/ u: X. M+ F 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 ( [6 i8 E. |% d
4. 数据可视化
- ?4 s9 G0 ]# ~5 b 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 / y2 X' N6 n2 {6 d) A
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 ! y( c6 |3 ^; I# K& ]
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 2 O7 n8 } V- s* @
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 : q# H+ h9 D/ y7 y# d$ y# D
7 i7 C& v! o$ U
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
5 U/ }5 X7 K- `1 l1 K 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 : w, z1 j( o& G9 K, S
' n" U% j- [( _6 G& p+ b* J% i6 H $ V- O5 J5 F) ~
1 c4 `' Y7 d& e# \2 b) H
5. 数据处理的常用函数
% `) N2 `( k q$ Q 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
; Z* X9 s3 M1 y8 @. `" ]$ Q1 V 再安利大家几个平时我在处理数据时最常用的几个函数
$ Y# w/ _- n; n% I% {0 W 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
! t9 |& S. X! Z0 V C = unique(A)
8 i: I: ]: a9 z1 Y% ~, p9 C unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
" A& d, {8 P- R& l 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 1 _* Q: b8 H' n5 ]
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
7 ?2 R- P4 R! Y3 `* `; G B = sort(A,dim,direction)
0 Y- m8 {9 y/ i0 A sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
- K+ e# ~ B) E0 }1 z B = sortrows(A,column ,direction) , T6 N3 q1 {( T! u- v, f8 @
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 3 u, q/ F+ r+ O# @3 M' C
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 ; V! z0 a8 T5 D4 o
6 N# |- d6 _0 \8 u" D
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 G% E, @. Y$ n! M& w
比如reshape，可以根据自己的需求对数组进行重构
" s8 `! r% v5 ^) D1 ]; o% N# G: j isequal，可以用来确定两个数组是否相等
7 N. Y! f9 j' |5 A& R. M3 Z; N7 T4 O datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 ; u( F3 N7 B: x; n! `- c7 O) Q
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
5 f/ i& v1 V9 u) D" `7 e F2 x5 h! G3 J. I. a
6. 数据爬取 $ M' z' J; o+ _: I8 k
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 / c" O& }# T; e3 d
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 1 \2 c% ~- w( Z# H6 r- ?( X
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
: v6 `! [# Z6 M ^5 A, j# V2 J 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 - \- w$ \2 A8 s3 r' H
data = webread(url)
4 }: Z! ~ M. [. ]- j7 u 爬取到数据之后，再通过regexp函数正则法处理网页数据
# C' X7 Q, [4 n; @ R 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) 3 ?9 Q+ ]7 M7 K$ N! p
7. 薅系列工具
5 l1 f, h; B5 @3 I7 U 最后一部分要安利给大家的是，由我自己开发的薅系列工具 # x% w2 ]! U) u% n$ _: }' @
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
( y, E% d M0 U7 h# G 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 % q+ H; Z, \/ R/ h# {$ ^! U
0 R7 Q2 i9 [3 @2 t7 ]/ P2 g6 k7 A
" g' ~8 @2 I2 e" F
! R$ W. }! z3 q) H% n) P6 J 0 y8 q/ v4 t5 K1 O
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 - Q9 `" h3 }& K, U
- g" W& }7 ]( u1 u 打浦桥程序员：背几段MATLAB代码就那么难吗？ 3 Z, o/ c0 g5 T5 ?2 O# |
4 C0 j! p, r/ v! x8 {
" y% f5 S1 J$ ]+ y
' F/ q; r7 V! ~& s5 u0 s
7 E- H8 Y( Z4 m+ @ { 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 ' _; ]2 \7 |1 r* W0 w
& [ f! c o( x+ R* X( c0 p
. X! I: u/ Z6 |( z2 t# g
) J3 d2 k# n, X : h4 p( s$ @/ s
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 & y v* z* t" U! K( B: ~
/ S1 t+ [, |% s: y# {0 e
不知觉间，写了这么多字
) U3 a8 V) c( }% J7 P+ f+ `' G8 } 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
2 G7 e0 P" ], u1 z0 F+ N5 {7 p 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
; d, H) Y! n' b H0 H 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
$ |: w0 g; K" L A- T+ h7 _
2 W/ K9 g$ ?' X9 U
. o8 y, @& x7 _6 ^! n" x9 q; l: l; \9 V( y! i2 u# x
7 @. n0 Z3 g: C1 G) m ? [; X
| 
