|
- V! e+ O" w# X
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 1 _$ h0 p( `, [) F5 D2 E
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 + R" I' }. o1 p' [5 B( y
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 ( A F# _& \: E6 p( Z( ^- `
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 * p" g% q7 X# O- @# o7 w, A
1. 数据类型的转换
( }' @( v3 ]. g2 ~5 @/ C 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
1 a9 g# x! K. x# ?$ E 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
& j. L& h7 F, S
( F- E, Q1 {! q! o 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct 1 b. Q( D9 z& h, X: K& Q2 h# K; S) U; V4 ?
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
5 h8 c3 y! l( y1 d a V, t
; p3 J, }! t% K; \7 s; D 2. 字符串的对比
, K- {- R! E: N7 k+ G# Y( X 第二个经常需要处理的问题是，字符串的对比 5 ^. [7 ?0 g9 T" U: d7 j
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
" V* V' H5 O1 a* z: h 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
0 _* @2 |+ A% s" d& F/ L( a strcmp(abc,abc) - m2 H0 j7 n' t, P& e" l
判断字符串中是否包含某种字符串，可以使用contains函数
5 G* Z9 b& u; b! |9 f8 v contains(abc,ab)
( q$ o, r% ]7 h% v+ S( B: n 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
% |2 i) e1 I7 U regexp(abac,a)
! q& k. T7 C7 @! G5 g6 h3 X 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
( C+ x2 b! ^7 L2 Q' b, C( J/ A9 C' ?: R a = strcmp(Cell_variable,abc);
/ z) s5 ^' _' i5 C$ W4 \* o$ T b = find(a == 1) 6 o. ]6 @7 c7 s
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
! C& O* ]: X- p7 b* h a = contains (Cell_variable,ab);
6 L2 S1 X; d' B% v; s% A" x b = find(a == 1)
$ L6 q" t; j# g' j6 C 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 " r; h* R& h+ s$ d2 c" w
3. 文件的读取写入 ' ]- r N8 T, m/ [' \6 w
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 7 O% w9 H* b* k) \, B5 F' `/ f; x
mat, txt, excel是平时最常碰到的文件类型 , L/ h$ I9 `. F8 L
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
" M* I2 q. v, s4 L9 |6 O1 J" q+ P 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
* c. k8 T: |1 i6 p txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 1 \9 F$ d. H" ?. i
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 / m1 b' p, L' Z
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 4 `( S* ~& C$ T$ `6 Z* c8 v
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
4 b. ]7 `2 r( e i- R* A; P / \3 w6 P8 ^& L' y
b$ O) ?1 Z5 v6 { ; v+ j2 X- D! T y
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
?3 I: H, ^4 T4 ]) u+ m: w fid = fopen(test.txt,wt);
4 _, `$ k8 ~: q$ U fprintf(fid,test1\n);3 m' \" v% s1 m+ P) J- G+ b
fprintf(fid,test2\n);
& N4 ? r1 c9 Y. U } ` fclose(fid);
9 b: K1 G# ~5 @) e! s/ @- H 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 $ `$ F9 s3 b7 m! L0 G$ v$ F
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
" `5 H6 X$ {/ U& D1 G% U2 h [num,txt,raw] = xlsread(filename,sheet,xlRange)/ D0 Z4 L; k' A# Q6 V& |" k
xlswrite(filename,A,sheet,xlRange)
1 Z g# X! g9 U4 C 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
- x0 O, E* D7 h/ s# u& G, @; b T = readtable(filename)) {1 }6 p1 A3 u' L L @ f9 N
writetable(T,filename)
: g* y$ l2 l" U
* }3 P3 I' x- h/ N4 m" c 如果数据是cell元胞的话，替代的函数是readcell和writecell 2 M/ z& B. g) w2 J+ [# F; R
T = readcell(filename)
/ V9 A2 y4 R2 x. r2 C+ x writecell(T,filename) / w, W* p$ s+ v
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 4 u' P t- N/ p3 P1 o
4. 数据可视化 % s( V+ K7 J- F* g5 D
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 & f" O( L3 L% b$ d. N: h
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 & ?% |& l* q4 t" W7 n
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
; x2 {: v4 x$ @4 `, U2 z 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
5 o) o, ~2 R7 x' T3 O* ^ ! d% q# d2 S9 I4 @$ a4 M
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 # `5 ]% Y( e/ |7 _. A9 [
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 1 H# ~: k% ^- E- B: e; m1 d% V
* H$ z$ C2 G1 U, |; [ # T N2 t! [3 M, H+ z' X5 `
9 f4 a; c/ h1 a& G 5. 数据处理的常用函数
5 N+ Y' G; z8 x* x' }9 S. d 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
) h l( D5 c3 B/ c 再安利大家几个平时我在处理数据时最常用的几个函数
5 L" ^- c+ e- V! P9 v 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 5 B& @7 w+ T8 k9 U
C = unique(A)
$ r( K" E3 g( F unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
8 B* ^# |3 [$ A8 k1 O 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 ) Z( k8 g h) K8 [, L
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 ( d/ H# |" K, ~6 ?
B = sort(A,dim,direction)
' H9 b3 z* Y8 t sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 [( O4 @0 g) @1 a/ X
B = sortrows(A,column ,direction)
- R. W* z2 q+ }0 I% ? 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
- b- s+ i; z8 L; o7 v5 [ 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
5 {0 `8 [- |' `: n1 m9 ^. @! l* s
! Q2 H, H8 K0 Y( ^ 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
6 z" H, R9 [/ n# M 比如reshape，可以根据自己的需求对数组进行重构 ' a x4 s' w6 l/ X2 I# }, D/ ]; p
isequal，可以用来确定两个数组是否相等
, d( C; R3 t9 M9 ? datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
" z2 G$ c$ a( O, }) n1 t8 l- J 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
- ^0 J; o9 A' h6 n) m) f y( |
$ E3 n7 \( [" _( Q0 J$ @7 B 6. 数据爬取
, x+ L* s% o# i& i% z5 \; i+ T2 s* G 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 1 Q- S x( y- H- f+ c
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
9 F0 }4 [& W8 O3 Z- f J2 C; N 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
; l. N. B, c! y3 y! i4 C9 |4 d: W1 w4 r 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 # T0 L. g6 z! G. e2 {- T
data = webread(url) ! h# [# \+ L$ z
爬取到数据之后，再通过regexp函数正则法处理网页数据 3 ]+ }: v: R5 l% n ?- o! F
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
0 D! Q K* ?3 ^2 W& a) w! p+ H, ? 7. 薅系列工具 : e+ l4 g/ o, X8 c; q8 [
最后一部分要安利给大家的是，由我自己开发的薅系列工具 % q2 s& _1 G1 q" g
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 9 d$ `6 A. X7 f) S3 t5 E
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 / k! H$ f+ ?5 l |1 h
8 h+ C _+ [- S5 ?' Q5 v
) [3 |) e1 \& T- p9 l6 w
# h# Y0 L4 y: b" H( N2 z4 E9 p8 ~ $ x. ], K9 ?; Q* F" x* {) x
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
- ]2 Y) F+ _! h( `! }) V' ` - j* _9 U! V# M/ Q2 x& }, g
打浦桥程序员：背几段MATLAB代码就那么难吗？
0 n {6 ]/ p8 x) d! O
, Z* z. H3 _8 }( K' b* d
& ?* Z4 B& c) \0 {- o9 R ; e) E: g' O$ o7 [" ^* g0 p
. Q3 K5 \ k( Y' j5 E4 k- N
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
5 y ^: F1 O3 q2 y$ ~ + b9 F0 l3 \0 N" g# ^2 t
$ R* Z) f' a: k/ M6 A$ R 6 Y9 e* W: f1 Z3 Y* ~# W7 y
7 k) I, |' S$ ]1 v/ m% r: ^ 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
" T' c9 N- \! t+ R% p0 q2 d6 f* I
( o% n2 ]+ {' t) K) c0 A 不知觉间，写了这么多字 ( v- p. d# k! m( i- m6 T9 S
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
; L8 @( Z ?# y- ?# w& S 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
% m6 Z5 L# w6 V/ ?# ?0 g7 | 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 2 { T9 f* F% i
8 F/ Z5 g! c# z0 d8 f- T/ z: B; _/ A. R0 N
6 g4 R7 b$ ?- k" r
2 e1 \& d$ C+ I' J0 L | 
