|
0 M8 t" j6 J! F0 m1 T& ` 最近一段时间,工作上花了不少时间用MATLAB处理工厂下线的数据,数据庞大不说,复杂度也高,各种推算和统计
* ]9 h) I v( u1 y, `! O! V 所以今天我打算总结一下,平时我在用MATLAB做数据分析时常用的几个小技巧 . f: }$ ]6 a) I& Y( v* U$ ^
正好全国大学生数学建模竞赛下周就要开始了,希望今天的分享对参赛的朋友有所帮助 $ @; {$ y1 R/ J: Y0 T% |" B
虽然不知道到时候会有哪些选题,但是能肯定的是,不管是什么题目,都离不开数据分析,这是唯一比赛前能好好准备的 : A( i& n4 N( w t$ x9 `
1. 数据类型的转换
$ Y: {- N, v f+ F; |9 T 有一类问题,不论你MATLAB水平如何,平时写代码的时候多少总会遇到,就是数据类型不一致,需要转换
8 ]7 ]$ G! a9 J" @ 至于什么是数据类型,这个问题我就不科普了,大家可以直接在MATLAB命令栏“doc 数据类型” # q; j/ @9 w% l& x) n
7 m$ _: ~( y! u9 p% s/ V 通常在数据转换这个问题上,涉及到的比较常见几种的数据类型有double,char,cell,struct
, C u# A: \! C* Z7 d& \2 N; U 我给大家准备了一张数据类型转换的关系图,用class判断一下转换前的两种数据类型,然后按照下面这张图处理就完事了 5 O8 P& a# c+ R: ~$ g6 K
6 u* }) b q/ E% D/ b
2. 字符串的对比 . u& ~! m9 U8 z
第二个经常需要处理的问题是,字符串的对比 8 A, F' b$ A& t X" ]
这里不单单指的是字符串,还包括cell元胞里面的字符串定位 5 {' C6 X3 R9 M, ^
如果单纯只是字符串的话,要判断两个字符串是否相同,strcmp函数可以实现对比 + U2 f2 Z# J: D- B# w. V& Z9 [' l
strcmp(abc,abc) 7 l. h, m/ ~& r: t
判断字符串中是否包含某种字符串,可以使用contains函数 6 `6 x/ z% o; ]+ d; K0 b/ |! x
contains(abc,ab)
- t9 d3 J; e3 y: a 判断字符串中在哪几位出现某种字符串,可以使用regexp函数
9 q7 M5 L& z% V regexp(abac,a)
! r5 W f/ u3 E* O2 Q9 t% x 更常碰到的场景是,在cell元胞里面判断字符串,比如维度1x1000的cell中,定位哪几个cell里面的字符串是‘abc’,还是通过strcmp实现对比,再通过find定位
) k8 A$ K* O @# p8 e9 t! Q a = strcmp(Cell_variable,abc);* g4 Z+ T% m2 {9 c3 Y* D
b = find(a == 1)
D. Y1 a- A* [& U 同样,要判断这1x1000的cell中,定位哪几个cell中的字符串,带有‘ab’,可以使用contains函数,再用find定位
6 W+ E8 I2 H0 Z, O a = contains (Cell_variable,ab);
% g( U' z K/ @ b = find(a == 1) 8 \2 l* f. P$ }, V0 U p. s+ O
掌握上面这两点,在平时处理cell的字符串,基本上就够用了 % W, T6 S7 Y# m. I
3. 文件的读取写入
! V0 o6 f" q! v* w- _. S' F 文件的读取写入同样非常重要,在数据分析过程中,对应着信息的获取和数据处理结果的输出 1 E R( Z: s, B% {
mat, txt, excel是平时最常碰到的文件类型
* e' N, Q) d2 ?4 Y5 L' B mat就不用多说了,MATLAB中的一种文件类型,用于存储workspace中的变量,在数据分析过程中,可以经常把运算结果或中间阶段的数据,作为mat进行保存
& F8 ^) E ]& t4 e0 y, V3 \ 加载mat文件,用的是“load 文件名”命令,也可以双击mat文件,保存mat文件,用的是“save 文件名”命令,也可以workspace右键保存 . Y$ s, U$ {8 [1 o4 a9 N& ?7 U1 H
txt的读取方式有非常多,网上也有各种各样的介绍,我就介绍两种最常用,也是目前我一直在用的两种方法 3 }+ E0 I. ]& y3 v# d
第一种是通过importdata(‘test.txt’)命令,读取的结果是一个多行一列的cell元胞,后续的数据处理也就方便了,cell里面的字符串定位处理在前面也已经介绍过 ( i6 ?+ |8 I2 d
另一种方法是,通过MATLAB工具条里的“导入数据”按钮,这种方法的一个好处是,导入过程中有很多非常人性化的设置,比如数据的分隔,范围定义,数据的输出类型等等 % r$ b3 t9 c# H# h
导出的选择也有不少,可以选择直接导出到workspace,也可以选择生成脚本或者是function,方便同类型文本的重复使用,对于不太喜欢写脚本导入数据的朋友,我比较推荐这种方式
. c# q K6 X3 @+ Q
! T! E" w$ }; N( y
1 u3 }2 s l! G/ U8 g4 ?
+ Q# x3 k H4 p% } a2 W7 m txt的写入,可以通过fopen,fprintf,fclose实现,基本上我所有GUI中关于代码生成的功能,都是通过这个方式将代码写入m脚本的,给大家举一个简单的txt写入的例子代码 + ]3 y) y) `, a! Y8 @
fid = fopen(test.txt,wt);" A" U( z4 ]% ~) p& R
fprintf(fid,test1\n);8 G4 b5 k, J0 Y4 h3 f
fprintf(fid,test2\n);+ [2 ?; Z0 T+ r! u
fclose(fid);
: {$ I$ K5 |9 A- z3 _1 p$ A: e- E 关于txt的读取写入,我再多介绍一点,txt是文本文件中的一种,就是那种右键打开能读得懂的文件。类似的文本文件还有很多,像m文件,mdl模型文件,dcm文件,c代码等等,只要是文本文件,都可以用txt处理的方式,对目标文件进行读取写入。 ( m% \2 ]2 F, a* J
最后讲一下Excel读取写入的问题,常写MATLAB脚本的朋友,对xlsread和xlswrite肯定不陌生,对应的是Excel的读取和写入 7 y. ~9 [7 n. ?9 C6 K" d7 @' b
[num,txt,raw] = xlsread(filename,sheet,xlRange)
& N/ y, R, z# N) Y xlswrite(filename,A,sheet,xlRange) 1 S' s+ X: K F- u/ [/ C$ B8 b
但是目前MATLAB官方已经不推荐使用这两种方式了,替代的函数是readtable和writetable / X5 y9 B* u( n6 x: P- W
T = readtable(filename)4 |4 m- U% r$ N4 S& X, `
writetable(T,filename)8 e- R% ~) x( p* I- W- k( N5 j
: `$ h& u3 H* D, M# U. ]. Q( i 如果数据是cell元胞的话,替代的函数是readcell和writecell
6 A7 Z& j4 ]( V* [ `; @5 k T = readcell(filename)
]/ V, M: D& k* t5 `4 B writecell(T,filename) , u" B; _8 S7 D
大家根据自己的个人习惯选择其中一种方式,两种方式在功能实现上目前并没有太大区别 & w2 Z. r9 ^+ a5 A6 k" ]. y- \8 g
4. 数据可视化
& u5 p& X5 G0 E 数据可视化,结果的呈现,也是数据分析过程中至关重要的一环 9 T, c% G( y+ K, `3 f- b2 n
像大家非常熟悉的函数plot,就可以用来画曲线图,但是有时候仅仅曲线图并不足以来呈现结果,还需要用到比如像三维图,柱状图,饼状图,蜡烛图等等
) } ^3 g# f6 A) Z* ^; P" W5 J 这部分我并不打算给大家罗列各种图形对应代码命令,大家也没必要刻意地去死记这些代码,安利一个非常通用的方法
3 [% Z7 D% |: }3 L 在选择需要可视化的数据之后,在MATLAB工具条的绘图窗口,选取你喜欢的图形,就能生成你需要的结果图了 & P, `/ H# }, g4 b% ]
" x8 _" n. O9 e1 g- v3 \
不过,至于图片的细节,像title,legend,网格,还是需要自己微调,但这都不是事,再安利大家一个简单的方法,完全不用上网去搜
) Z8 l1 l" c! `# d1 k7 V8 A 在生成窗口中,点击属性检查器,然后根据自己的需要完善图片的细节,最后通过生成代码,就能看到这部分作图操作的原始代码了,大家也能在代码的基础上再微调,或者复用 + j- T y6 H& Q& {3 v. R
% E7 \2 w2 _$ s: U7 L9 {( x 4 t: X3 T. E+ o( ~
8 s6 u; j. F) ]- b) i2 q6 O! l
5. 数据处理的常用函数
' T6 e0 R7 d: _7 H$ @+ Q$ s 关于数据处理的函数,像max,min,mean,std这些函数都是比较常用的函数,分别是最大值,最小值,平均值,标准差
2 R* V$ u. Q$ D0 j5 x, `9 y& Y: L 再安利大家几个平时我在处理数据时最常用的几个函数 ! g+ Z$ M/ C+ b. s1 Q; Q/ m
第一个是unique函数,可以把数据中重复的数据删去,保留唯一值。unique这个函数不仅仅对数值矩阵有效,在cell中同样起作用 ; \( R3 Y9 \0 R8 \
C = unique(A) - i9 B6 @( D' Z W! T' r
unique还有一些拓展的语法和功能,有兴趣的朋友可以在MATLAB文档中查看,不过光这个基本功能,就已经非常够用了 " U. }) f9 I) A4 f) ?
第二个要推荐的函数是排序,sort和sortrows,两种函数都有排序的功能,但是使用场景不太一样
) D9 P: A) L" H2 | sort的功能是,将矩阵或者cell中的每行或者每列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,dim的选择有1和2,分别代表对每列和每行进行排序,direction的选择有ascend或 descend,分别代表升序和降序 ' \9 ^# ^8 \- j
B = sort(A,dim,direction)
- U0 H7 e. {/ `$ K sortrows的功能是,将矩阵或者cell根据某一列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,column代表根据第几列进行排序,direction的选择有ascend或 descend,分别代表升序和降序 , n; k# }. d$ Y8 n2 J
B = sortrows(A,column ,direction)
# d4 A. {! |/ `/ B6 Q 最后推荐的一个函数是tabulate,非常强的一个命令,可以实现对数据的统计分析,输出的结果有三列,分别是去重后的数据,出现的次数,已经对应的百分比
! j8 S$ i' @5 d0 N, J& f 再结合sortrows对tabulate生成的结果进行排序,就很容易获得各个数据根据频率进行排序的结果
' Y1 k! _! a! a% u! ?8 c
u, x# Y( N) W; \; w% i 除了上面提到的几个日常比较常用的函数,还有一些我非常推荐的函数,平时我用的不太多,但是如果用到的时候找不到会很抓狂的那种
) f; Q l. c: I: y' J/ _$ k: o 比如reshape,可以根据自己的需求对数组进行重构
0 n3 i) Z, p/ O) _0 E isequal,可以用来确定两个数组是否相等 a4 _5 Z9 m, L) P
datenum,datestr相信大家比较熟悉,可以将日期转换成序列值和字符,平时在处理时间相关数据的时候,还可以考虑用years,days,hours,minutes,seconds等等来计算持续时间 6 [; F5 z# G5 h# K. u, Y& p$ X
常用函数这部分内容就介绍到这,其实还有很多非常赞的函数,欢迎大家把自己喜欢的函数发到评论区
% B/ l* {0 c; h6 Z/ g5 r2 O
. N4 B; n& w1 n6 M 6. 数据爬取 8 Y- B" \8 Y' V# N" Q9 |* M$ D
数据爬取部分,其实我想讲的是爬虫,不过也不能算数据分析的技巧,我讲这部分内容,更多的是出于建模竞赛的原因
3 F" q- }; o) q7 y 建模、仿真和验证,其实是需要数据的支持的。脱离实际意义的建模,靠拍脑门做出来的结果,都是不提倡的 ( [( T3 j# {( h
最简单的情况,如果有现成的数据文件,可以根据今天聊到的第三部分,读取数据文件之后进行分析 . h, Y! L2 E; E5 k z* W8 x# U
如果没有这些数据,我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 k* p, A4 B1 C+ u, q9 P
data = webread(url)
( \5 b2 p" e2 s; P5 N5 R 爬取到数据之后,再通过regexp函数正则法处理网页数据
7 O( {5 z0 S, t# r5 j/ I 这部分聊的比较浅,但也很难三两句话把爬虫讲完,推荐大家一个相关的MATLAB爬虫视频,讲的是我之前用MATLAB爬取B站,视频很短,一共7分钟,大家一边看一边跟着做练习,基本上半个小时也就全整明白了(知乎不给放二维码,有需要的朋友,直接上B站搜打浦桥程序员吧)
0 z) e/ y- e0 u I: N8 s 7. 薅系列工具
) ^/ T1 M5 ~ Q% ~3 I; I 最后一部分要安利给大家的是,由我自己开发的薅系列工具
" E1 Q7 B* L: V0 m- ]/ M* a: p3 i 目前反响最好的是薅曲线(HaoCurve),从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说,拿薅曲线来做结果验证特别管用
{" ]; O4 N' R) F* Y- g1 b6 E& O 虽然这个工具我平时用到的不太多,不过就冲8000多的下载量来说,我还是很推荐的。需要的朋友,戳下方的文章链接获取工具下载方式 % [' z: ?, A, R' G( r, j/ ]$ D
. c0 e" Z i# G% ]: C8 Z: l
7 c1 n# P5 S$ d3 E h1 b
8 X" o: R& ^9 |6 }( p! N* o ) s9 C( v7 i' s2 P& w/ I
我个人用的比较多的是另外两款工具,一个是薅文件(HaoFile),里面的历史代码检索功能很强大,可以大大减少找代码写脚本的时间,在数据分析过程中,很多脚本和功能都是可以复用的,有需要的朋友,戳下方的文章链接获取工具下载方式 / O- n% i4 i) B4 l& \0 e7 k
! G7 R8 l( n6 U6 K( G7 N2 @ 打浦桥程序员:背几段MATLAB代码就那么难吗?
9 s8 e8 M: [8 v- }3 ?6 I- |" }$ ^ $ f, q% N$ |& \' O+ j
4 \( b" `2 a. Y* x2 g
( Y: l5 m1 p4 P1 Z( K- r5 l" `! \ + h* j1 m0 A+ i
另一款工具是薅模版(HaoTemplate),如果最终数据分析的交付文档有格式上的要求,薅模版能就发挥它的作用,可以生成特定格式的Excel或Word模版代码,这可比自己手动去调格式方便很多,有需要的朋友,戳下方的文章链接获取工具下载方式
. Q: K: _; W3 d9 M5 ~& u 7 F" e! p0 p/ n( P+ r$ ~' }
/ M% ]/ Y! Q1 i# @
1 l) F `) p7 o- [/ V; g5 {3 J . ]- `/ ?7 Z( _6 W! `/ Z `
薅系列工具还有很多,不过在数据分析这部分,我最推荐的是这三款工具
! m( j. F' J8 ^& @' T$ z3 O; N $ ?. j2 B" [& X* O' T; }
不知觉间,写了这么多字
! d. m4 b9 R S; h' i 今天总结的小技巧,未必是最适合大家的方法,但确实是我这些年养成的一些处理习惯 * {5 U5 l8 A5 A& A8 t
希望今天总结的方法,对大家平时的工作学习有所帮助,当然大家如果有更推荐的小技巧,欢迎在评论区补充 ( X* c+ G. m& l7 g% M; ~& X5 E
如果你也对MATLAB感兴趣的话,欢迎关注我的微信公众号“打浦桥程序员”
+ {4 P/ a5 ^% \2 S& f7 R1 C- L" V
; {" ?; q o/ v$ R+ A! z6 |0 t% n) N7 k4 Z2 H
# j. |% [" v9 ~5 w4 f! J, Q/ e
|