|
8 P$ q$ d" V' m! h8 n0 J7 S% t4 I) M
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
, N# `" |4 Q4 q* J0 N4 R1 F, Q% d 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 # W% {# P& S3 `- L/ R; ]1 g
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
5 v% Y7 ^: C5 J4 ] 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 . e, `9 `. M" G5 R; O% [4 G" d [
1. 数据类型的转换
! `* T+ M: h8 T# A$ P3 v' i 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
6 F) g# M- k! n 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” l, C9 B f; A
/ e8 u% z, N* e J2 A: z/ v 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct , V$ W. B: D ^& }; P2 Q
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
2 ]; n$ D0 f. m
" r1 {8 {7 p* D* Q9 _4 X; q1 L" K9 @ 2. 字符串的对比 4 e+ w5 W1 A. ?; T
第二个经常需要处理的问题是，字符串的对比 & D9 ?% o, g$ U# p$ k
这里不单单指的是字符串，还包括cell元胞里面的字符串定位 8 p5 h1 m( S4 ~- I1 B! _3 Q
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 6 R6 l0 M1 T }" b8 c
strcmp(abc,abc) ( B* Z# w: Y6 V6 [ E! o* r8 l$ `
判断字符串中是否包含某种字符串，可以使用contains函数 ) W6 h% t$ X& B' E% P0 e& {' y( L
contains(abc,ab)
6 m; P1 A/ I5 S0 |' [% b- }. r( E- v 判断字符串中在哪几位出现某种字符串，可以使用regexp函数 1 |6 @. @! A) \5 p* Q" z& G" x3 ]
regexp(abac,a) : ]2 w6 h+ q8 f! m# K! ^) F
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
" l2 R% }4 O& Y& J# f" y Y a = strcmp(Cell_variable,abc);
. y0 Z0 E+ H2 H b = find(a == 1)
/ W7 e3 ?! d( b) \4 U9 L 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 : r4 V- W" N* z9 j5 P; a T( W0 E
a = contains (Cell_variable,ab);) d5 K% K, c+ w
b = find(a == 1) * s% {3 c$ V7 a
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
$ c, D# k4 `8 Y6 H8 K 3. 文件的读取写入 * Q+ @6 _& n. K$ v d2 O
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 0 h- x1 p( `& M9 ^0 \# D/ t: V% _
mat, txt, excel是平时最常碰到的文件类型 # o+ }" R" n2 V Y6 n
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 % d5 q# g: ^; X: ~. \8 H* ^6 B2 p# c
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 " t1 G& f- d' ^/ P6 j
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 % X# ~" a0 h6 R9 G+ R" W* G' D' g
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 + k ]8 |; c- [* X' m
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
1 l) |/ e+ c, m$ M- B" l 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
8 M. R! x, x+ A! b. D 9 F* ^" l+ \# k+ g2 r+ Z6 t9 @
7 S% D( r- A( f: u% \& j
) d" a9 i# X7 @5 m' V6 h txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 ; p- ?+ [4 j- H& D+ K! f( R
fid = fopen(test.txt,wt);+ ~3 }- m+ T+ P) o" [1 j8 n* b# h
fprintf(fid,test1\n);+ b3 A/ P+ Q8 K* p- ]: |/ Y0 }6 T% ?
fprintf(fid,test2\n);
! y0 \$ W5 }, H) e* r% C- y; j" G fclose(fid); + D# J9 v3 r- \2 f
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
4 }2 Z1 A2 d, m1 T: w" H2 c 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
. @" y4 L7 }# T. g, ?. ` [num,txt,raw] = xlsread(filename,sheet,xlRange)
/ X6 r Y9 R6 I' W! W& e' v xlswrite(filename,A,sheet,xlRange)
8 m9 F5 Z$ ]" p, c 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable $ E7 n& S" p0 _0 E- U
T = readtable(filename)
7 @- n3 \8 k8 Y) a- X( g writetable(T,filename)
! l( O4 l5 Q# V) c 4 X! v* d T4 v
如果数据是cell元胞的话，替代的函数是readcell和writecell
$ \& k. E8 J+ X' y" Q! x0 R T = readcell(filename)' n4 h- A( {- t3 Y6 \
writecell(T,filename)
5 T; N) s8 h% l9 v2 V 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
9 M- o$ I5 R* _ 4. 数据可视化 ) f8 u7 s# P2 Q& O- q7 v/ E X
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 & `2 y, Q" b8 X7 S
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
j w$ r) L0 ]: y5 L' K 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 & \5 D6 @! o& g2 f% k0 _
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
; U7 V) _) n5 n. Y3 K : h d, h+ L+ x H8 A
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
' L, \( ?, t G: a$ T! _- j 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
% W! Y1 i/ @8 ], t7 N2 M* i- Z " ^$ K, d/ s- R0 i4 ?$ j/ P! b
8 z) R: s! Z$ Q6 _5 @
0 ]0 S( C; w5 @6 }6 u4 {) j
5. 数据处理的常用函数 . q5 Y& y* E$ V- _: a
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
% Z/ l: S" l' q9 R0 Y1 ?* T' ~ 再安利大家几个平时我在处理数据时最常用的几个函数 5 i5 r! I$ s4 d! [2 `
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 3 D3 G8 a6 J" B
C = unique(A) 1 ~& L# K- X# ]) a; x# k( e
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 ! _: Y& h; n; O
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 ! q3 l- p' h) j! v5 Q% F- i
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
* B. y5 {* u6 o! x" L2 N$ y B = sort(A,dim,direction)
: p2 w0 M# A' R9 }1 @2 W; Z5 h2 ^, b sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
) F" D+ s" X( l0 N B = sortrows(A,column ,direction) & N! ~& E4 @9 d8 ~5 Z
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
: {9 i1 p, F1 Y* f) [ 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 1 m2 X# s, m/ y; i3 M6 _1 l
" t. N0 ?- b2 `# r* Y7 }8 n/ ^3 z/ t
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 3 W+ p6 F' g" }$ x3 S2 X5 n# s% w3 ?
比如reshape，可以根据自己的需求对数组进行重构
; O. z' @. I( z3 G2 ~7 c3 H isequal，可以用来确定两个数组是否相等
- C( o( R+ s% ^% H4 T datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 1 `# w* a, B1 ~- V6 d+ f
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
4 C8 n4 e5 n7 E) [3 b, U
2 M; J; d: N# c 6. 数据爬取 ' k6 V' }* i7 H7 r; |4 {& A3 I4 X0 X3 ^
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
' b" q) a/ ?, A- `/ P 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 ' m6 J }1 V: |# R! d
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 ) ^5 z3 A8 }3 K* n' c5 Z9 o' ~+ P+ I
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
9 C$ k- h5 E4 F$ v) l, R5 |" i/ z data = webread(url) , k* u" C4 g* w" Z4 b' R
爬取到数据之后，再通过regexp函数正则法处理网页数据 * L @' O& ?: k* [1 E' X! p; g. i8 a+ n
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
9 [' ~, k$ b% ? 7. 薅系列工具
! u/ r, {$ ]5 W- F2 i 最后一部分要安利给大家的是，由我自己开发的薅系列工具
6 ^3 W5 @$ Q1 W4 I, Q 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
5 C8 [4 h" i( I 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
+ Z3 z H% W8 ]3 g
" b8 ~" ?. j& F2 N
6 J' ~: j* Y$ B3 a2 l; F- z. C " C5 D8 n; N# C3 O; j! y
! U5 S: I) V2 v3 H1 X7 e/ E
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 6 e4 s3 u; Q3 u7 q! [( H
& {4 O, s7 h6 j; B+ C* x6 |
打浦桥程序员：背几段MATLAB代码就那么难吗？
2 v, ]: V" ~( y1 |3 g3 ` $ g( Y& Q% n0 r4 N
+ ~$ Z1 h3 `/ J, Y4 E. z0 t
1 s1 D& @6 Z4 m/ E H
9 |3 U9 u2 J j 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 , w u+ m* T6 Z5 L+ U
& u2 F/ i2 J6 L) o. w8 y j- E# d
% z4 O0 F% U1 q
5 Y- w. `8 A4 T8 g# W. F$ ~$ {
' G1 y9 |, q: R& {9 Z6 b 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 5 G6 }+ H7 [+ G5 H
! {3 `5 r$ ~% k' k" o 不知觉间，写了这么多字
9 I4 l$ X8 s8 W2 ^, ?7 _9 m 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 0 Y* x; ~+ Z5 Z& s Z. @/ m
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 # e) Q5 P G0 |
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” , h4 `2 u, Q, R: g8 A
2 c3 s8 s9 r& `0 M) m# l! b) T
r; Z4 n4 g% l+ D6 [+ Q
3 @2 F+ M; T$ z$ Z* M5 X5 b6 V% _' o2 o' L) f Z
| 
