|
+ M4 x* B3 @8 F% x 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
3 u( r9 }" m% ?5 d' T 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
/ s/ t& o: [# C7 } 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 1 @$ B9 O) @% |8 e
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 * Z' |$ C% p' x' {! [0 V% \9 n
1. 数据类型的转换 * x4 h& Y) B# N+ a
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
; F8 X+ h( e" N0 f" ^0 ? 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
- G, D8 E7 v: s0 Y* R 1 Z, {" [& S1 Z& s/ _: B, F1 p
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
2 v0 y- _. A' X. `% z1 u 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 . Y/ U1 w$ j1 c. `0 e
+ |7 P; `* b( n/ p
2. 字符串的对比 8 i% g3 L( s0 o/ o( z) |) e' O
第二个经常需要处理的问题是，字符串的对比 + e! {- S5 K, g7 z1 K5 B
这里不单单指的是字符串，还包括cell元胞里面的字符串定位 0 p E2 b1 c2 U
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
! c' O, Z! h0 R: p7 d1 L- T; z4 o, s strcmp(abc,abc) 2 _& j$ V" L) x/ w8 M
判断字符串中是否包含某种字符串，可以使用contains函数 , Y# Z. j# I; G$ M; w l7 ^7 a
contains(abc,ab) - h( P7 K, A! `( x% Y
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
; H$ }5 L) x' [7 I! u regexp(abac,a) * n$ O! J: @# J2 s
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
! G, H( g' o- r3 h% B ^ a = strcmp(Cell_variable,abc);
" ~: c4 t, O1 o. W4 D0 x b = find(a == 1) ( a$ R" U. S, F6 y
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 1 o2 X4 U6 H# _( F
a = contains (Cell_variable,ab);
* U$ Q- ]9 |: Y1 ]9 g* s b = find(a == 1)
/ Z G; B; I( G' A8 g3 ?8 e 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 9 b; k9 u7 F, c$ g# M s
3. 文件的读取写入
% Q2 q5 [ c& l 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
, y( s0 q7 m- n' f P mat, txt, excel是平时最常碰到的文件类型
6 P. M7 j1 |3 @" ` mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
: [) y& U% H! y$ ^/ @9 J' J4 g 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 ' F! e7 j3 L+ o3 U; g) Y
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 ) w- C/ N5 w; r2 v4 N
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
4 j! Q: ~9 R* @& }1 M 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
4 }$ g2 Q3 E! F+ ~4 S' V 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 0 u. K! n5 D8 v! W, P' T
2 T) t, \! E. y: h" e6 l
6 h! {$ I* ~ R$ j# b3 Q z1 w
! b- g# n' X. Z txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
! a% e6 n( S; B2 x4 [* _ fid = fopen(test.txt,wt);
- A* g; |& d; C8 x' o fprintf(fid,test1\n);3 i- M; Q5 {1 x
fprintf(fid,test2\n);
+ D- c& w9 `) S( M7 I) s fclose(fid); ! V* P4 {3 z- Y+ ?/ J
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 $ G/ m8 J& Y) ~6 h
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
2 n) ~# h ^' s3 |. n [num,txt,raw] = xlsread(filename,sheet,xlRange) R1 Q9 K/ J* w/ ]0 k# D
xlswrite(filename,A,sheet,xlRange)
! S" ]4 P* k# @! I8 G/ x+ D 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
5 T/ M( F" C2 z' m" P/ }+ Q9 _' ] T = readtable(filename)4 A3 r L. R# b! t. U& D
writetable(T,filename)
1 Z# U9 m8 }- V0 @ T/ M, |
& T) U) w) F6 G. ~ 如果数据是cell元胞的话，替代的函数是readcell和writecell / P$ K2 b6 ~, N. q9 a y
T = readcell(filename)
9 D3 U8 T* u0 s& L( L: e& ^1 N writecell(T,filename)
9 O- n" ]# e- v9 s& C/ G 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 3 J7 f- c3 j9 i# V) C( S6 O6 Z
4. 数据可视化
1 A3 n3 d. g2 f/ v 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
, Y/ l0 A/ d. s( P& q( w$ m$ w0 { 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
) b. O5 B' u4 }; R D0 ] 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
8 e: `, H/ E& n. A4 w; ?, Q 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 3 B6 a; U! m1 `7 a+ Q
, J$ y# N6 L; {9 M. K! v
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
) N$ E9 z- z5 v 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 ( o5 Z4 c8 U! U
( t8 \( b0 u% P% I4 V0 }$ t# E3 B
" ~1 U1 T0 y5 p
5 Z. d5 Q* i* x0 s 5. 数据处理的常用函数 / X) T% I: a1 d( ~
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
0 h+ o* U# G9 h9 K2 h! N9 v N" w 再安利大家几个平时我在处理数据时最常用的几个函数 9 d1 D2 `9 C8 @3 w4 C5 s+ i3 g
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 # @( R/ ]# r6 [( |, G! F. ]# Z4 T# {
C = unique(A)
# P1 x9 C/ \; P unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
. h9 Q3 P8 _% j 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
0 N' [; `4 d/ o7 j; ^9 }) |, a sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 + j" G4 h$ ~% j
B = sort(A,dim,direction)
! l' p# @6 P+ j2 Z9 c9 k% b0 ?# J sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
( q. F# z `- \2 v( Z4 s# K( t B = sortrows(A,column ,direction)
- m& Y* ~ h: S" p" k5 x6 t 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
6 U6 \/ ~5 q: G: F7 [8 N 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
- W! p/ Q6 i! _; r8 g
* m9 e0 N# |6 f S$ q 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 ) R2 z+ W P* h. M
比如reshape，可以根据自己的需求对数组进行重构
7 Y) ?. T" G: k+ q isequal，可以用来确定两个数组是否相等 7 ?) G4 h% F" O, M+ W, V
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 5 N! R6 y- d! V& g+ D0 N
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
+ @: ~( h# b2 a# ~0 Q) j4 \6 ^1 U: S: ]* P2 X4 [
6. 数据爬取 / i+ ]2 o; [% R8 b
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 * v9 N1 |% R8 P! i4 \& ~3 b' \
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 + r, d0 |9 v$ S$ U7 Y+ `0 h
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
{, X5 D8 s( c) x+ d( V0 p4 z 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
5 S: G# H' @# c% p data = webread(url) 7 D. L; M- A2 a X
爬取到数据之后，再通过regexp函数正则法处理网页数据
. Q/ [- s0 k. s 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) ! a; M* K& k* b
7. 薅系列工具 7 U3 u1 v) m$ C
最后一部分要安利给大家的是，由我自己开发的薅系列工具
# D2 ~; ?) O0 y$ n" V 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 # b9 I+ E7 m4 r' U6 w6 X
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
& j( K3 L9 u" X' C! |( V- ^ * ^6 q0 ]/ m! F" h) K2 J6 p/ Q# Y
8 x# }5 |* P9 V7 l. O" A4 V9 ]' P - a+ I' n( g/ U2 |4 i% T
# c o2 S) f3 N# `/ l, \3 ^ 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 3 l2 D2 K& \6 E0 e
5 b5 [3 A) j6 Q+ C1 o, `& w 打浦桥程序员：背几段MATLAB代码就那么难吗？ % P' n. r$ s0 s7 n$ M( j2 }! V
/ j3 ^+ q8 T4 s. i0 T 4 i. W U2 x6 @7 f
+ \9 d1 L) A0 E8 x# C
9 V, \3 N+ G7 {0 s2 f
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 % A8 v: [- U, }- c
H- ~9 g- B) v2 f% s
4 X: d0 |+ e9 u9 ^
3 u6 Z! h# f/ ?. |" M" q
0 d% t9 V6 e+ w' |8 D) d8 z# V3 f. T
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
* y" A# M A; P
7 q8 r" y% a& f |9 ^ 不知觉间，写了这么多字
9 Y6 M/ J, }: ~7 b 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
B2 }- `4 M2 L; z, H 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
! Y, ^9 I1 E/ _/ a 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
# W& J# R& n* Y2 `6 U8 q" ~- i- i; X7 a$ I! @6 H2 t1 n6 C
( v2 A! W# F) C7 `; B
+ w7 @0 q7 |3 J' S
1 [- x: ~9 `# x
| 
