|
5 p/ S m# k( F+ L% w6 \8 i
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
7 U/ ]8 g6 p$ ? 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
+ M2 ?( m9 `+ L0 a/ K 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
6 Y! b7 l2 ]' K1 E- R: d- } 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 ; |4 S9 b& _2 z3 p
1. 数据类型的转换 7 q l* i8 W0 \3 \8 R& j; L
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 ( z- I# \5 Z9 H ?! t( ~
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” / Z" y; g! U4 M/ m
! x8 D6 Z* P. n2 e& k4 {: C
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
5 H7 K9 P8 D% @7 X* h 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 8 b+ ?, A- M* V( ?2 W, K& \. E7 f
* L( J& ]- N& c6 _
2. 字符串的对比 1 J5 ?1 ~( `( U d1 g* a- }6 ]1 u
第二个经常需要处理的问题是，字符串的对比
0 \ ^; ]8 b# ]% Z' H8 k 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
; F6 \$ I1 x* `- J' e I 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
$ q' S; N9 Z S- K) d strcmp(abc,abc) % _$ L7 c0 p: ?# G6 f
判断字符串中是否包含某种字符串，可以使用contains函数 2 O) q; W# n5 }7 l$ L. C
contains(abc,ab) 9 B( W: g. _9 T# o% Q' G
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
9 c8 h. D! }" m1 e. w& v6 ^' y" p regexp(abac,a)
- E0 A$ I1 I: a8 } 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
5 u; |- \/ j( A) Y& \' }' y a = strcmp(Cell_variable,abc);, p8 V* ^/ T( H' Z) }9 ]
b = find(a == 1) - E4 {2 A% K/ O8 {9 k& w
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 # G% ]( S E& ?, I7 h! Q
a = contains (Cell_variable,ab);& I$ a k! _/ i; G4 X) M" |# Q
b = find(a == 1) 7 w3 O8 c( d( g+ r
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
' r, e$ P; S& i! n/ Q/ i* Q' L 3. 文件的读取写入
$ g. Y! z5 ^/ J) R 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 2 k9 y9 L( l3 K" F9 n
mat, txt, excel是平时最常碰到的文件类型
9 a/ P' j8 z/ q) u3 {0 M mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
. `% `, o3 v6 V0 z1 o, ]) S: E 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
1 `* P; d) z; G" ~$ h5 H) @ txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
% G6 @9 d) R% |; b- z8 S 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 ~6 a7 [# `/ m" @/ E8 o6 K& k J
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
5 A2 `1 Y8 B2 B a8 A' n 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 - L- X2 n1 R3 B' M6 `8 P
/ ~9 E$ O1 T1 y- D8 d* I
# `) ]0 e2 s! h, M
5 B P, m1 j' U% T. g/ G! U txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 4 w+ F# N$ j( z
fid = fopen(test.txt,wt);- U2 K' w, e% o0 ?3 s
fprintf(fid,test1\n);3 f6 [4 ^* Q1 ^: y6 G
fprintf(fid,test2\n);
7 l% c) _8 J. V, M fclose(fid); $ P4 H4 Q. e+ p L6 Y
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 & I. F Z/ R/ E3 l# D
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 ' ` M2 v+ h4 s) j& \; e" Z
[num,txt,raw] = xlsread(filename,sheet,xlRange)- K9 n+ Z' D4 {6 g/ ?, A& J; I( a
xlswrite(filename,A,sheet,xlRange) ( U5 A/ @" b# H: H! ~, J. l
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
4 J! Q; r: X) T6 L. q$ ` T = readtable(filename); ^3 U5 v: `8 O2 C0 ]2 h2 Z
writetable(T,filename)' ^. b( E; R4 W) A& [6 Y( G; i
$ g6 v/ U8 ^* [/ B- n7 Y- ] 如果数据是cell元胞的话，替代的函数是readcell和writecell + U6 ^3 M5 u0 n) {6 b$ C- k
T = readcell(filename)
& d0 a; O# I; [9 |& S writecell(T,filename) - c& C, j" }. I. f7 y2 r
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 j* B- z% J4 ]3 Q1 O
4. 数据可视化 8 l o1 B2 T$ F8 m
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 ) Z& p8 T6 a2 [/ y; b: ^8 u
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 5 E" z: {! F7 A/ `9 G2 F+ C' o
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
* n4 \1 \$ B0 x- l1 t( n* N 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
, P; k* Q8 l1 {8 V1 r# ^* A" {! E: f ) f* o, ? e r6 @; d
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 $ v- _. f g- O- ^9 B4 [/ P$ q) b
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 , I8 B3 {, j' c& G
- l3 }- A- W# d* p3 K' l4 R8 @
+ o) X1 d* A! J
& |- G) z1 y% v+ L. n
5. 数据处理的常用函数
I- B/ R- j; A/ H 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
3 v: q& }* S7 F; ^4 d 再安利大家几个平时我在处理数据时最常用的几个函数 6 ^) X+ e8 _* {, u; C# X
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 2 ^* ~, f. b2 m, f8 W2 m/ I4 j/ D* L
C = unique(A)
+ ]: E# e- J) f) P unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 2 m- z& {6 X0 N6 z- ^
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 # G1 u) _) M8 {& p4 {
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 : g+ Y+ ?! ^* f |- g; b# ~/ ~
B = sort(A,dim,direction) 0 ~$ B$ y3 [( M( b2 C
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 $ h9 M# d3 i O. o( } c0 ~. ]. ^# {
B = sortrows(A,column ,direction)
( f0 s" l. s/ O# h 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 - f O1 Y" D. e) ]
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
" a* t7 L* |, C6 J, _, {( J( b/ n ; S- N5 _# F z+ Q; E6 u
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
C9 b! H8 `( n2 v) F) K 比如reshape，可以根据自己的需求对数组进行重构
! i! U; c2 ?- k+ x" \ isequal，可以用来确定两个数组是否相等 ( s: F' v& @. p9 Z$ e. v
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 5 L* ~3 ?6 @/ `5 S
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
) l; `3 G, `! G% }1 A' Q
+ ~! l# ~. R* k) x" V% ^9 _ 6. 数据爬取
; a+ q" ^, ~/ }' h 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 : _8 E) @. Q4 o7 W* s" J2 d
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
' l0 |1 D8 o/ y4 Z; I: ~ 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 & S& }6 c3 n6 B& N: A7 `* X
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
& _, L/ P; ?0 m c3 q$ x data = webread(url)
. Q; s# Y+ V) M3 u 爬取到数据之后，再通过regexp函数正则法处理网页数据
* C; {. I! n2 {( h! E! d0 c8 z 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) 2 u8 S6 X# I! W0 _
7. 薅系列工具
3 m% l; J. h; L; d/ ?$ B# b 最后一部分要安利给大家的是，由我自己开发的薅系列工具
6 ]& i# P g$ R9 J 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
6 K* z$ {0 o% l) d 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 4 c2 e' Z( B) B3 y
, E8 I! `: \) W9 M7 { / e. }9 x1 V6 G/ `4 |3 P
( g" Z! R( N( m. I/ R
! @" R& b% {9 k b- X8 o3 W- N 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
2 i0 h7 }2 j" L3 e5 i4 s ) S( M r* L0 R
打浦桥程序员：背几段MATLAB代码就那么难吗？
5 l% }( L: o4 G3 c U
2 W6 W5 d% p& w' D* S* a3 l. v * ~4 V9 p, u* s s5 X* X
2 A3 W. c/ e9 W2 D6 J) F . p5 x& N; M1 }
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 & v. z) H8 `8 ?
; q# t, R; Y+ ~
5 I7 S6 X+ T0 }$ O1 |
0 G# C4 P- N- Y6 Q' m
; }# W/ |2 d, l7 ?5 Y" u% m 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
; u2 y, x; X2 F4 p x1 w* ]- _. Q & B# f" l3 s0 ?$ \, h- ]$ {
不知觉间，写了这么多字 , {! \) N) r% m+ V& V9 C: p1 ^
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 A2 }0 _- B/ ?: F/ |2 r5 h
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 $ d& C2 O2 ~2 [) ^& H
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
3 O4 l' G: E) R: ]" t4 ]: d! x4 W
! s6 N- @5 ^4 R5 Q3 o5 b+ i
+ f+ y4 k$ \5 a4 [" n- n/ U7 ^7 s# P2 @
0 o/ e; _# A T- c8 [: \, A | 
