|
% |2 j2 S6 Q4 b 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 9 l0 L- K. X: A1 T0 _
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 9 B2 f2 P! _6 s4 g' G2 X3 ^7 e" x6 @
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 4 D+ u# f, @: H
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
, C- C+ t0 n) {/ g, K 1. 数据类型的转换
' w( q3 ]1 Z9 y# P! j 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
$ j! b) J3 }3 v* E 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
5 ~+ K( L) t) z6 q6 x- `0 W9 D! { - G$ ?- j& Y/ ?: G
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct # m: f* F( f8 c- W8 l! x8 I, Y
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
# n3 L- U; _, c6 a7 L* t) l" R) p
2 X7 q; Q2 ~! |% M 2. 字符串的对比 & A3 b5 \! n& E4 _( i, C. c, _
第二个经常需要处理的问题是，字符串的对比
g" F& [' Q- A y6 Y2 Q8 J 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 " ^, J0 a8 C. {- t S& `# b
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
% v* {2 A% ~3 ` strcmp(abc,abc)
* u& |$ h2 }* y% h! e6 o9 p( G 判断字符串中是否包含某种字符串，可以使用contains函数 9 I* ^2 j/ J4 L. ^; _
contains(abc,ab)
$ A( @* y( a5 e 判断字符串中在哪几位出现某种字符串，可以使用regexp函数 + X: r X- U" W4 M) q) P3 N- b
regexp(abac,a) 6 O, h% s4 o3 M6 s" z% ]
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 9 K; ?- Q, a' |6 _
a = strcmp(Cell_variable,abc);+ j. w$ \, h. v5 u+ y" G
b = find(a == 1)
/ T% M, G/ }2 q# u! h9 A 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
3 d- v* H/ K7 E a = contains (Cell_variable,ab);
1 E* f( G, F9 n8 X4 [# G: e' T- I0 A b = find(a == 1)
* x4 t8 ^$ Q/ Z# v1 \, E; v 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 ' M" n# c3 h- h3 ~: a
3. 文件的读取写入 ) A# h1 c3 T7 }2 O( @' e2 U
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
- L# G, z/ i+ z) B) L" O mat, txt, excel是平时最常碰到的文件类型
1 G% g" Z8 w/ j) E mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
5 ` P) @3 q. F2 n* ^/ l 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
& g ~( A$ _* E$ d h7 L* j txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
6 v2 u- P! D+ ~' F( c9 }6 w& b 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
$ ? B( M# r- g$ n! T2 A 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
; ]1 k6 z7 J) p0 l 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
2 S3 w1 b( W+ P b& k' {" }6 a K2 N5 |, G$ n
* o0 f. D: R' `3 u
# U. X/ S; B" @) f- T. w0 \3 K
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 + f' F( Q5 p# d$ C4 F
fid = fopen(test.txt,wt);
4 \; z9 l0 q1 _1 T; | fprintf(fid,test1\n);
0 i6 g+ X& k8 ^# u8 |# W( X* R fprintf(fid,test2\n);# n) U4 R+ p9 f3 U7 h
fclose(fid);
0 Z1 w1 T+ @' \, s8 x. \2 a; T/ X 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 0 n" B' J- Y( A9 \
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
# `$ b: E3 S2 u8 J [num,txt,raw] = xlsread(filename,sheet,xlRange)
. r9 B0 E4 W5 k8 o/ e# N9 t/ v$ P2 L1 O xlswrite(filename,A,sheet,xlRange) ( ], o: | R% d0 b a- H. E6 o, \ h
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
2 P7 j# K7 t- Q* h: A T = readtable(filename)
4 {% j+ F q4 ?; _ writetable(T,filename)
& R- ^( c" B5 z2 F1 S" J% M9 g. f ( C/ h- P+ s, g% a3 b# f- J
如果数据是cell元胞的话，替代的函数是readcell和writecell 8 I3 b( B/ k' r! c% u" U1 g5 S
T = readcell(filename) z2 L- U6 Y: ]; L- U' G: X2 j
writecell(T,filename) 0 d* v- ~+ U* ~! p
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
% b% c2 L+ f* \: g( [ 4. 数据可视化
# h0 ?3 I) }) Y! Q( i 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
- u7 v$ l. Y# Z5 w9 b7 Z7 _7 H 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 ( W+ y- n8 ], ~1 j" I9 v
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
* {, v5 ?: v7 X! |5 \ 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 & C8 H; ?0 l3 O) @/ Y+ [. t6 r
- [2 M7 q* m* o/ [ 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 ) v& V1 J) D" y9 a# K4 I" c
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 : F- Y, ]4 M# T1 ?
4 G) L; j9 R( W9 M Y
i; v5 I& i5 J5 ?$ g" V- V
7 x8 I+ L) r# Q0 Y7 j 5. 数据处理的常用函数 ( Q, [0 E ]7 m+ s7 g) N
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 # v* _7 }* u/ K! s6 o7 E( J- r
再安利大家几个平时我在处理数据时最常用的几个函数
- D. H+ z- P/ }2 g3 a h. m. f 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
- m3 L1 g* c2 t& P' R: H# K* K C = unique(A)
J6 ^1 k* p% x/ A8 H8 `* W) i unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
3 {. c# f+ E1 l8 e. I 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 ) A6 N9 }; p* x7 m2 ]6 b
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
9 _6 q2 g8 }$ x, Y. d B = sort(A,dim,direction)
1 B- Z7 L0 V/ ]2 j- ` sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 , D s d! [; _3 B/ O; a* ~
B = sortrows(A,column ,direction)
" W4 z5 h! p9 d& `+ { 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
7 F8 W' M1 M- }8 F1 p. B 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 3 d, A- i/ q0 o, F: U+ f( }! ? e7 y
3 f& a/ r3 i" z P9 n 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 ; z. K3 b: f# s% m3 @$ C
比如reshape，可以根据自己的需求对数组进行重构 5 P- ?) M3 z9 t5 n: ~) ~! P$ |
isequal，可以用来确定两个数组是否相等 # F4 K( n/ d8 v2 Z5 x
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 : W: i7 n9 g" \2 p3 G7 \
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
K; P/ @4 m9 i1 j( @# N! Z- y
% x, R) `& |5 t3 z5 f+ k/ \ 6. 数据爬取
( G4 `) D2 A) P 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
; c3 v" b) ]8 { 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 ' [' @- d; M6 [
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 2 K, r% u: i$ _0 @8 |
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 , Z( B4 L" K' [4 N2 x" _) C6 P
data = webread(url) 0 ?- P- k) I/ ~: V6 P9 y3 m
爬取到数据之后，再通过regexp函数正则法处理网页数据 ) @0 I+ V: X* E. D- ]" ~% ]4 }
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
6 ?. J2 R* b+ Q; g/ g7 @. b 7. 薅系列工具 8 e: F: ]6 x1 O. v* f9 K
最后一部分要安利给大家的是，由我自己开发的薅系列工具
! c+ T" g! y1 S B( B* S 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 , M) F5 X+ H) P+ W9 U f. ]( y
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 & Y4 @" s) C. {4 Y) G8 H' i
4 f3 {: X+ ~- B% |8 u, B
" n4 ` A& t0 z
, [" f% B# t# g a
, T. [8 ~" W& P3 x3 y: n9 }% J, l, F
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 1 G+ D9 Y7 o( @% o" _ n
1 G S, P4 P( A" n, w4 R
打浦桥程序员：背几段MATLAB代码就那么难吗？ : a# z8 ]$ G- {. p
, t4 u7 k3 ^2 g& F% }7 }' D
; r5 M9 N7 W$ n3 n , H- L4 Q! }& q6 X& P: E9 U
7 P- W( V* U$ ?; P0 }* i3 m( m2 O
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 5 W; `4 ?& m) N
+ {3 M' j, E; n3 Z: ~' u; `
# ^4 z9 |5 A# q* N) t. \
6 @& U0 R( T; X8 j. S5 ^# H , m! r3 B6 E$ n8 N' k3 O% a
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
1 g' a- K. n i- d# N $ D& {3 F' h: K8 t( w# k* _
不知觉间，写了这么多字 ! |# P# @/ N4 o
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 8 S1 G9 Y5 o1 x# B
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
" X% R) O. y9 ?5 {" D 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
( z, O' p) a7 b& L: g& d+ @% P7 k, y7 g
* _* Q4 U- t$ U1 |& c9 B4 ~8 a
& \& x8 L0 [7 D* e0 |9 K
/ |6 R0 B0 J! Q; { | 
