|
/ A9 K" P4 F# V ]. R 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
+ ]( f/ ?: e) Q* f6 ?, D# A 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 6 R3 i! i$ d' Y% S7 y* O4 `! I
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 ; ]# n/ k) b! G4 ~) L l$ a l
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 . \4 s5 w5 M4 a1 ~
1. 数据类型的转换
1 |" ~ V; t! W, x 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 / O- _3 K2 D0 r' b
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” + c% M# j* _: [& `7 I e
+ Z$ h9 B7 d; O8 X; T% K 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct 4 Y5 a' g& D. y* d/ r$ ?5 r" L
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 0 E4 H2 H7 ^: i' D
, v- s$ Y7 M1 M
2. 字符串的对比
. a9 U8 |& C; I+ C" d: Z$ f 第二个经常需要处理的问题是，字符串的对比
9 w* O; q" U# E& z! \- A8 G/ B. } 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 0 [5 e' c9 j4 D. w6 K1 B
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
1 f* u9 V: s" t' O$ J strcmp(abc,abc) n8 V9 g( _8 J$ [
判断字符串中是否包含某种字符串，可以使用contains函数
8 }5 K6 v7 @9 M9 I! E" u. R contains(abc,ab) ! m1 B1 Q1 m& U" c0 C9 {& E0 ?
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
/ g4 ?9 m% u- J1 x: a% w( m regexp(abac,a)
8 o9 n+ B* L: [ 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
$ {+ K7 w7 m' H" Q0 \6 w/ J a = strcmp(Cell_variable,abc);
, y/ B3 c0 ?4 n" i0 D( M b = find(a == 1) 2 _# E9 t9 h# _: r
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
9 c! T+ D5 ]" G: g" ?4 a J a = contains (Cell_variable,ab);
: {$ j. F+ W) M& M4 d v8 N b = find(a == 1)
- b r) U: h8 m' d( r 掌握上面这两点，在平时处理cell的字符串，基本上就够用了
7 K& @! r% f5 E9 F7 q 3. 文件的读取写入 1 |' }, E z* H; p& W
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
@9 Z+ T5 F- |2 s0 |0 H/ D mat, txt, excel是平时最常碰到的文件类型 1 ]" k+ G/ b2 o; z
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
+ d/ W0 v! |8 u9 E! L( V 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 6 ]/ `2 S- v5 z% R' ]+ l
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 ; k( J7 K% k: v& ^; M! F1 Z$ A
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 + F$ t5 y7 l$ A, \
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
* y/ j/ X* A, y 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
. H) b! F9 S) r
) i: L8 T: d1 y) e1 l* e % P. b! K& P8 n R! H
6 E& e# A7 F" `9 X
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 $ U: R, M1 m0 r
fid = fopen(test.txt,wt);
4 @/ A. p9 `" c3 m0 Z1 } fprintf(fid,test1\n);" C6 e5 w6 a0 R* E5 W
fprintf(fid,test2\n);* Y; c2 R% V' U7 z. u
fclose(fid);
, K8 e$ {: [) O4 q. {" O0 n 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 - i2 b# X7 |9 B# v/ I- @
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
5 B+ j. z. ^, n& M' _" D [num,txt,raw] = xlsread(filename,sheet,xlRange)
7 P1 [. t) ~; Y7 O. |( G1 c xlswrite(filename,A,sheet,xlRange) 8 F; s4 k# V3 Y+ |
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable ; @+ {9 N# b7 p1 u8 H! n1 Q
T = readtable(filename)
- J2 d; F0 D9 | writetable(T,filename)
% B `, D) i* p
/ u4 H0 E. f, l$ e: K 如果数据是cell元胞的话，替代的函数是readcell和writecell
- w) L3 w% A8 Z; O T = readcell(filename)
4 Y4 q( W9 ]9 O7 V8 G0 h1 @ writecell(T,filename)
7 t0 U4 x$ w) U3 d; A9 v& R! k 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 $ _6 ?* z: s8 E2 q2 J* L$ G
4. 数据可视化
4 K. M: p% }5 t% H 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 7 M0 ]5 t, S$ y* ^ d
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
6 Q S8 c; G# G' P2 H 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
/ V; H0 A3 U7 P1 V 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 5 n1 u5 n4 |6 [$ F
3 w9 R b& k& t" e" E; @, ?7 E. w 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
& c& i- H3 |! ^; g. b 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
. ~3 {) L; [) D% y! l b" z
* e4 V; \! t$ ] 0 |1 k' B1 q7 B$ P2 N: T M
( D1 b$ u3 ]5 w 5. 数据处理的常用函数
) f- d' d9 w4 A- T* f0 j/ M1 E7 ? 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 : D. B; a8 o9 n3 E F
再安利大家几个平时我在处理数据时最常用的几个函数 ' N! J6 P% a* I
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 ; G S. d& I$ c r% U. u0 D& d
C = unique(A) " y( |6 [& b+ n) `
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
( }; b- H9 ~3 P! k$ f& B 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
/ [9 \2 R$ G- s$ z! T sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 * ~3 Q0 c, C8 b8 J5 H) O+ ^
B = sort(A,dim,direction)
- V1 `/ B- Y) f) [6 E sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
0 m# B* t7 O W+ J! j# G B = sortrows(A,column ,direction) 2 _; C* B# N4 |* O
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
" F+ Q3 \: q2 q3 K# I 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 3 C+ z/ Y3 Z6 U0 i- f0 w- h; P7 ]
t1 j2 }1 q2 P- _6 W, w' x- v) v+ C1 A 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
5 w8 b \ h) L" z! N; G# H- a! V 比如reshape，可以根据自己的需求对数组进行重构 ) b! p6 t1 p4 }; B7 a1 Y+ @; r
isequal，可以用来确定两个数组是否相等 3 @9 e7 _8 o+ D0 Q
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 2 A6 c) g8 V0 S
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
; F1 e8 B1 k5 T8 F0 i3 n h. L/ j2 K B) T _4 F/ h W
6. 数据爬取
5 n' S( a6 U1 y 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
. E# _5 ~; S" M4 R 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
2 M- ~. J# {1 D8 R, K 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
3 q2 S! x# h! v- ] 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 + K7 t$ ]9 E% \/ u
data = webread(url)
4 D7 W5 o7 M3 d5 q$ G" m 爬取到数据之后，再通过regexp函数正则法处理网页数据 6 m0 ]) ~) K& X, ^
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
; _1 c9 ~* Z8 }+ ?7 R* U) Q6 U2 \ 7. 薅系列工具 ) ^- n- g0 K1 N2 W
最后一部分要安利给大家的是，由我自己开发的薅系列工具
* V' G/ h$ F5 |/ }/ k& z 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
/ D- j1 x: {% u6 A 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 3 p7 }% d/ z; e. u
( k' a. v, x& B
* u5 B, H" v3 J H! z' z7 \: ~6 a
, L9 I- {* ~& X
) ?, I3 ^, u/ m% X1 r5 s3 Q 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 l! P6 d, Z- z8 P* T# Y
& g0 g6 Y/ o9 D2 { E
打浦桥程序员：背几段MATLAB代码就那么难吗？
4 l: e2 i. B" p% E- P/ @0 @$ J
0 `% i3 o E; B5 @7 D
/ }. T {$ V8 S3 p+ Z5 `. t 1 g5 D' F- P. C) W' I3 i+ _& t ^
3 X$ u5 y0 ?+ H" T& o2 x* n
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
i% ?. N5 Y6 H( U, |6 h 0 d: U4 l. H3 f& P
( w: r# Z! X# N* w
# }3 M9 L( l1 J/ L$ H3 m/ c8 {) G
8 ~; J' J1 {5 v2 z 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 1 A" g `+ E8 J& i
. ^' {" V9 {+ A8 k! g
不知觉间，写了这么多字 - X! O; D, C/ b, v2 q5 d3 c: W
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 8 J5 G: S' n0 I6 e* r
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 * M8 M, Q. T8 Y/ N ~$ i2 H
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 9 X4 `2 g: E% f% q
D" n- O8 n( v% Q/ ?0 A4 h9 z; s! B: r; ` k- j- \5 _
0 c, E8 P) Y! X' E8 Y' s/ G4 |
1 B! H! j( @# [* I) ]: Z | 
