收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

MATLAB处理数据,掌握这7个小技巧就够了

[复制链接]
* L' ?6 m' R/ @7 I* R' _' g

最近一段时间,工作上花了不少时间用MATLAB处理工厂下线的数据,数据庞大不说,复杂度也高,各种推算和统计

5 b( k! f/ C) p7 X1 W0 W v' {% k

所以今天我打算总结一下,平时我在用MATLAB做数据分析时常用的几个小技巧

" ~" {9 a& {! ^2 P, X z

正好全国大学生数学建模竞赛下周就要开始了,希望今天的分享对参赛的朋友有所帮助

) P9 M3 p8 C' ?4 V; M* H9 S

虽然不知道到时候会有哪些选题,但是能肯定的是,不管是什么题目,都离不开数据分析,这是唯一比赛前能好好准备的

7 e- j3 [8 K4 U: z

1. 数据类型的转换

+ d6 l6 g2 i0 n6 F

有一类问题,不论你MATLAB水平如何,平时写代码的时候多少总会遇到,就是数据类型不一致,需要转换

/ ^% I" W% p% q' m: y# K4 F

至于什么是数据类型,这个问题我就不科普了,大家可以直接在MATLAB命令栏“doc 数据类型”

" I1 L( Y5 k. m) `, n- U5 Y2 d, P
4 v6 i+ e; M3 Y6 M/ |

通常在数据转换这个问题上,涉及到的比较常见几种的数据类型有double,char,cell,struct

1 p, c( Y9 H+ L+ H! W

我给大家准备了一张数据类型转换的关系图,用class判断一下转换前的两种数据类型,然后按照下面这张图处理就完事了

, H U/ x: b+ u7 P8 ?- F8 }
" W2 Y' \) ~3 H# S5 G9 e

2. 字符串的对比

" o6 g/ }8 S) V f V8 _! y7 v

第二个经常需要处理的问题是,字符串的对比

8 y, Y7 R" n- G! r: i3 z* E# n! N

这里不单单指的是字符串,还包括cell元胞里面的字符串定位

. s6 k9 U1 ?! L# A: `

如果单纯只是字符串的话,要判断两个字符串是否相同,strcmp函数可以实现对比

5 M o' O" R) N. l! ^
strcmp(abc,abc)
' D3 G6 ~/ x, |: Q0 y& P

判断字符串中是否包含某种字符串,可以使用contains函数

, Y) V3 b8 U, T* K, q9 q
contains(abc,ab)
N) B7 f5 p7 C8 A/ F% L- P& n% M

判断字符串中在哪几位出现某种字符串,可以使用regexp函数

3 |6 Q9 I5 g6 I% v+ i
regexp(abac,a)
2 l" n7 D3 k' V' g. u' I8 i/ F2 n+ s) G

更常碰到的场景是,在cell元胞里面判断字符串,比如维度1x1000的cell中,定位哪几个cell里面的字符串是‘abc’,还是通过strcmp实现对比,再通过find定位

6 p- k$ R6 g" l& Z( U' R! K# A
a = strcmp(Cell_variable,abc);/ w. b8 i3 f0 t& y8 Y7 P b = find(a == 1)
1 h `2 u, U9 t' f% O2 i

同样,要判断这1x1000的cell中,定位哪几个cell中的字符串,带有‘ab’,可以使用contains函数,再用find定位

/ E8 C7 @! a1 K
a = contains (Cell_variable,ab); E! x) C6 u! K" i3 u+ v' @ b = find(a == 1)
( n. A! i9 b5 c$ I

掌握上面这两点,在平时处理cell的字符串,基本上就够用了

. e: ~& T4 {5 q

3. 文件的读取写入

9 ?4 T3 Z' J, Z

文件的读取写入同样非常重要,在数据分析过程中,对应着信息的获取和数据处理结果的输出

: J: O/ D% D: X" o$ B6 a

mat, txt, excel是平时最常碰到的文件类型

' i6 u3 l- S+ f5 m

mat就不用多说了,MATLAB中的一种文件类型,用于存储workspace中的变量,在数据分析过程中,可以经常把运算结果或中间阶段的数据,作为mat进行保存

( w) C/ v$ O. m8 }

加载mat文件,用的是“load 文件名”命令,也可以双击mat文件,保存mat文件,用的是“save 文件名”命令,也可以workspace右键保存

. H1 ]( L( Z* y: {; {+ E/ b0 `

txt的读取方式有非常多,网上也有各种各样的介绍,我就介绍两种最常用,也是目前我一直在用的两种方法

8 q9 n' h+ m# z

第一种是通过importdata(‘test.txt’)命令,读取的结果是一个多行一列的cell元胞,后续的数据处理也就方便了,cell里面的字符串定位处理在前面也已经介绍过

$ d' ]: S& \. ~+ v0 j

另一种方法是,通过MATLAB工具条里的“导入数据”按钮,这种方法的一个好处是,导入过程中有很多非常人性化的设置,比如数据的分隔,范围定义,数据的输出类型等等

- c% ~$ z3 e1 @ T

导出的选择也有不少,可以选择直接导出到workspace,也可以选择生成脚本或者是function,方便同类型文本的重复使用,对于不太喜欢写脚本导入数据的朋友,我比较推荐这种方式

6 P9 x7 G& N* J% B; p/ |, B' F6 a
# a1 z2 b) f; a& q8 d2 L) q
G4 @) C: Y6 s; L: L: P3 E! R
% R4 P& @! g; p1 M ~5 c3 S

txt的写入,可以通过fopen,fprintf,fclose实现,基本上我所有GUI中关于代码生成的功能,都是通过这个方式将代码写入m脚本的,给大家举一个简单的txt写入的例子代码

& Z8 W' h& _" G
fid = fopen(test.txt,wt); ' Y- ?) k4 N% m# E0 M/ c! p0 Q fprintf(fid,test1\n); - V( w# {4 o! b Q7 U$ Y fprintf(fid,test2\n); ' [+ x% n6 |8 |5 y% {# L* r: ^" p fclose(fid);
: k2 ?' T, f; _/ [5 L. p0 P

关于txt的读取写入,我再多介绍一点,txt是文本文件中的一种,就是那种右键打开能读得懂的文件。类似的文本文件还有很多,像m文件,mdl模型文件,dcm文件,c代码等等,只要是文本文件,都可以用txt处理的方式,对目标文件进行读取写入。

3 A0 f! }- s1 x% P2 N

最后讲一下Excel读取写入的问题,常写MATLAB脚本的朋友,对xlsread和xlswrite肯定不陌生,对应的是Excel的读取和写入

+ u, U. ~" G0 \5 Y! J
[num,txt,raw] = xlsread(filename,sheet,xlRange). v" w- G% t3 Y: @0 ~4 ?) F xlswrite(filename,A,sheet,xlRange)
9 \$ O* |3 y6 `7 h$ f

但是目前MATLAB官方已经不推荐使用这两种方式了,替代的函数是readtable和writetable

& X8 s. S8 a# e: x
T = readtable(filename)+ M% m0 {) m+ R K7 s6 Z% t, w writetable(T,filename) 2 g6 R3 |" Q) S
! d% x6 t; j m" ] L; s7 {) Q# n% ]

如果数据是cell元胞的话,替代的函数是readcell和writecell

7 A# S9 J9 J; Z: G- R0 m
T = readcell(filename) " Q }7 J- ~2 o writecell(T,filename)
& V8 `1 e" C' s r" U: ?! {% Y

大家根据自己的个人习惯选择其中一种方式,两种方式在功能实现上目前并没有太大区别

) l) E# U- n3 e1 R& H6 e/ T

4. 数据可视化

" W2 z& h: B# N" ~% Y

数据可视化,结果的呈现,也是数据分析过程中至关重要的一环

# t. L# _9 L. J& x8 }2 T- Q4 n5 ~% A% n

像大家非常熟悉的函数plot,就可以用来画曲线图,但是有时候仅仅曲线图并不足以来呈现结果,还需要用到比如像三维图,柱状图,饼状图,蜡烛图等等

( ^" O) Y2 Z5 W/ I7 @7 W

这部分我并不打算给大家罗列各种图形对应代码命令,大家也没必要刻意地去死记这些代码,安利一个非常通用的方法

; J# o" f9 m% J" p6 b5 y

在选择需要可视化的数据之后,在MATLAB工具条的绘图窗口,选取你喜欢的图形,就能生成你需要的结果图了

$ b6 y$ {- p$ o( n6 c/ [
( `" M# m) N9 `- R/ B9 ], R" j

不过,至于图片的细节,像title,legend,网格,还是需要自己微调,但这都不是事,再安利大家一个简单的方法,完全不用上网去搜

: P8 \- A8 S6 |, k* e s+ z1 {

在生成窗口中,点击属性检查器,然后根据自己的需要完善图片的细节,最后通过生成代码,就能看到这部分作图操作的原始代码了,大家也能在代码的基础上再微调,或者复用

3 @7 j3 v, A+ [' e
, Y+ T" D: n- G
$ W( n- W) x$ d2 g; U1 [
) K2 W0 ~. |4 s

5. 数据处理的常用函数

4 i2 P+ w2 |9 x9 g: V

关于数据处理的函数,像max,min,mean,std这些函数都是比较常用的函数,分别是最大值,最小值,平均值,标准差

4 N. q; }+ ~3 I7 T& P( X, r( d: o. u

再安利大家几个平时我在处理数据时最常用的几个函数

$ D: [* d' Z3 O* E* B' C; E5 D

第一个是unique函数,可以把数据中重复的数据删去,保留唯一值。unique这个函数不仅仅对数值矩阵有效,在cell中同样起作用

# B) C* P2 y9 {1 j/ A$ R
C = unique(A)
! Q9 X3 u* {, R8 u: p

unique还有一些拓展的语法和功能,有兴趣的朋友可以在MATLAB文档中查看,不过光这个基本功能,就已经非常够用了

" u4 k% ~0 s+ d' z1 O% N* [+ X/ R

第二个要推荐的函数是排序,sort和sortrows,两种函数都有排序的功能,但是使用场景不太一样

& x9 C; Q. A9 Z+ a3 j

sort的功能是,将矩阵或者cell中的每行或者每列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,dim的选择有1和2,分别代表对每列和每行进行排序,direction的选择有ascend或 descend,分别代表升序和降序

5 c. m- D5 a4 `; k$ p( E% k
B = sort(A,dim,direction)
1 D2 t/ r" l8 E& m; l* c

sortrows的功能是,将矩阵或者cell根据某一列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,column代表根据第几列进行排序,direction的选择有ascend或 descend,分别代表升序和降序

% e+ F( d& b1 [4 m
B = sortrows(A,column ,direction)
8 e+ ~0 ~4 d, L" r

最后推荐的一个函数是tabulate,非常强的一个命令,可以实现对数据的统计分析,输出的结果有三列,分别是去重后的数据,出现的次数,已经对应的百分比

# m4 H. w8 a9 E

再结合sortrows对tabulate生成的结果进行排序,就很容易获得各个数据根据频率进行排序的结果

' G, r6 Y1 t7 m( `; `/ H+ l: I, x8 d! ?
+ d+ J/ D' f5 i& v1 L, [

除了上面提到的几个日常比较常用的函数,还有一些我非常推荐的函数,平时我用的不太多,但是如果用到的时候找不到会很抓狂的那种

4 S9 A6 d: B0 o

比如reshape,可以根据自己的需求对数组进行重构

$ E6 }6 R* c9 s& a: \: z

isequal,可以用来确定两个数组是否相等

( U, W, w% V3 V1 m; ]$ @

datenum,datestr相信大家比较熟悉,可以将日期转换成序列值和字符,平时在处理时间相关数据的时候,还可以考虑用years,days,hours,minutes,seconds等等来计算持续时间

; z6 v" V" Y. I4 ?+ t

常用函数这部分内容就介绍到这,其实还有很多非常赞的函数,欢迎大家把自己喜欢的函数发到评论区

4 V7 h% o5 p6 F u9 o5 L# h5 p 0 t, s! l7 n5 w& j1 B; Z4 o( A

6. 数据爬取

' O- y- ^! J: k9 I/ E% t7 l2 I4 k, _

数据爬取部分,其实我想讲的是爬虫,不过也不能算数据分析的技巧,我讲这部分内容,更多的是出于建模竞赛的原因

. s/ F' t- s) A' V4 t2 b% v3 V

建模、仿真和验证,其实是需要数据的支持的。脱离实际意义的建模,靠拍脑门做出来的结果,都是不提倡的

, b( f0 b' H3 {

最简单的情况,如果有现成的数据文件,可以根据今天聊到的第三部分,读取数据文件之后进行分析

0 k) A* f' }; X. F6 }

如果没有这些数据,我推荐大家使用MATLAB读取网页的函数webread进行数据爬取

2 F r; Y% C. u+ W2 z
data = webread(url)
% p, i/ ]- ^, [3 u

爬取到数据之后,再通过regexp函数正则法处理网页数据

0 V9 c/ b! C0 E

这部分聊的比较浅,但也很难三两句话把爬虫讲完,推荐大家一个相关的MATLAB爬虫视频,讲的是我之前用MATLAB爬取B站,视频很短,一共7分钟,大家一边看一边跟着做练习,基本上半个小时也就全整明白了(知乎不给放二维码,有需要的朋友,直接上B站搜打浦桥程序员吧)

% t3 H5 k' ^% K+ K/ M' s

7. 薅系列工具

5 C- K, r8 E% f: D. N% \

最后一部分要安利给大家的是,由我自己开发的薅系列工具

5 I6 R$ N# |; U5 i B: d9 i

目前反响最好的是薅曲线(HaoCurve),从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说,拿薅曲线来做结果验证特别管用

- w. M$ b/ T; o/ O! G

虽然这个工具我平时用到的不太多,不过就冲8000多的下载量来说,我还是很推荐的。需要的朋友,戳下方的文章链接获取工具下载方式

, q" [. T+ C' S9 G% ? 3 A* R$ Y( S1 ?# V2 ~3 l+ f3 _" c
7 |0 E5 P/ ~ A# i: {* P
" j5 `, l8 D6 ~
" N1 j6 J7 D/ M3 U

我个人用的比较多的是另外两款工具,一个是薅文件(HaoFile),里面的历史代码检索功能很强大,可以大大减少找代码写脚本的时间,在数据分析过程中,很多脚本和功能都是可以复用的,有需要的朋友,戳下方的文章链接获取工具下载方式

X( Y6 S w F+ W 5 ~! F2 r6 T4 ~

打浦桥程序员:背几段MATLAB代码就那么难吗?

; e, T \( K+ X* W " Z n& t5 o5 d3 m% L1 Z' ?
: r a$ A! o6 V# E
7 e# r0 }1 _: v$ ]4 B! Z! `
; s9 k) T, h4 h! q/ o' X

另一款工具是薅模版(HaoTemplate),如果最终数据分析的交付文档有格式上的要求,薅模版能就发挥它的作用,可以生成特定格式的Excel或Word模版代码,这可比自己手动去调格式方便很多,有需要的朋友,戳下方的文章链接获取工具下载方式

# f8 i- h% e7 a( x . q! {, s0 d% w1 k
3 M2 X9 A( p4 _
- E- f' j e) y' ^2 c2 q5 k
% f2 z. j1 W3 ]

薅系列工具还有很多,不过在数据分析这部分,我最推荐的是这三款工具

6 M0 [5 V( m1 [* {) n2 H* e, R6 x( U 5 U& \: p) e" z3 I

不知觉间,写了这么多字

D" E& E' K6 k8 w5 T2 k- j) P% ~

今天总结的小技巧,未必是最适合大家的方法,但确实是我这些年养成的一些处理习惯

% d( f; p1 c7 z$ n, f

希望今天总结的方法,对大家平时的工作学习有所帮助,当然大家如果有更推荐的小技巧,欢迎在评论区补充

; j2 n3 ]. h5 _4 T

如果你也对MATLAB感兴趣的话,欢迎关注我的微信公众号“打浦桥程序员”

. A- X# [) }/ b- s/ S5 x. z & \% q2 N4 |9 v8 \ 8 }* D" \5 [( K. Z3 m: W2 C, f3 N + \+ D2 m. x- h% ?
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
三观道人
活跃在前天 18:26
快速回复 返回顶部 返回列表