收藏本站 劰载中...网站公告 | 吾爱海洋论坛交流QQ群:835383472

MATLAB处理数据,掌握这7个小技巧就够了

[复制链接]
: k' D" a7 H5 `/ _

最近一段时间,工作上花了不少时间用MATLAB处理工厂下线的数据,数据庞大不说,复杂度也高,各种推算和统计

% p, n: H* N2 X0 u+ `

所以今天我打算总结一下,平时我在用MATLAB做数据分析时常用的几个小技巧

. ^ n* w1 M" \& W5 T* F2 R+ \" X

正好全国大学生数学建模竞赛下周就要开始了,希望今天的分享对参赛的朋友有所帮助

: L# } v: x R5 H8 j+ F

虽然不知道到时候会有哪些选题,但是能肯定的是,不管是什么题目,都离不开数据分析,这是唯一比赛前能好好准备的

8 @ _8 j7 `- c- f9 P9 D* ]

1. 数据类型的转换

: ^ h- M7 L8 E; t. l

有一类问题,不论你MATLAB水平如何,平时写代码的时候多少总会遇到,就是数据类型不一致,需要转换

- h- `; e$ z* Y# I" z* |

至于什么是数据类型,这个问题我就不科普了,大家可以直接在MATLAB命令栏“doc 数据类型”

% h+ ^4 H r C' b N A
( h/ T/ P( U! [- w% [! u6 ^

通常在数据转换这个问题上,涉及到的比较常见几种的数据类型有double,char,cell,struct

) p. f, q& o7 l! E9 t) j

我给大家准备了一张数据类型转换的关系图,用class判断一下转换前的两种数据类型,然后按照下面这张图处理就完事了

* P% s' ^# n- |' r6 c6 Z, F
' u* G1 k. f x

2. 字符串的对比

1 y5 T2 S: F0 a8 A9 T! c

第二个经常需要处理的问题是,字符串的对比

% ]6 c% O+ F0 ~# m8 t

这里不单单指的是字符串,还包括cell元胞里面的字符串定位

% i" N/ c( s. k7 ~, `

如果单纯只是字符串的话,要判断两个字符串是否相同,strcmp函数可以实现对比

8 U9 K, b, o# N$ A1 o
strcmp(abc,abc)
$ }. [4 x" g) d

判断字符串中是否包含某种字符串,可以使用contains函数

! S1 i; R9 s+ ~1 v; l# |( H+ a$ ?, B
contains(abc,ab)
. R! N3 d1 r- `# K& m' g0 h

判断字符串中在哪几位出现某种字符串,可以使用regexp函数

9 `) ^& M) B, f
regexp(abac,a)
, r. \2 }. r3 f% Y, N

更常碰到的场景是,在cell元胞里面判断字符串,比如维度1x1000的cell中,定位哪几个cell里面的字符串是‘abc’,还是通过strcmp实现对比,再通过find定位

* H% K# F; K8 o% A$ e
a = strcmp(Cell_variable,abc); ! r: A9 ]/ @) H$ F7 [- a b = find(a == 1)
: ~% a5 s$ V9 r* x0 \- G

同样,要判断这1x1000的cell中,定位哪几个cell中的字符串,带有‘ab’,可以使用contains函数,再用find定位

/ v# Q; L! O5 M9 w+ G5 U, p7 I3 X
a = contains (Cell_variable,ab);- j/ t! Q1 C9 p b = find(a == 1)
5 g+ {( m, J1 l6 j: l& C

掌握上面这两点,在平时处理cell的字符串,基本上就够用了

; Q9 @: J6 y) b, `; Y, s! @2 e

3. 文件的读取写入

: T, K1 x: A$ Y" D0 _& n

文件的读取写入同样非常重要,在数据分析过程中,对应着信息的获取和数据处理结果的输出

1 m8 c4 @2 B$ v, d- e

mat, txt, excel是平时最常碰到的文件类型

; D4 R6 A' Q$ K8 z& ^

mat就不用多说了,MATLAB中的一种文件类型,用于存储workspace中的变量,在数据分析过程中,可以经常把运算结果或中间阶段的数据,作为mat进行保存

( r& A5 I1 l- K% L7 Q$ |

加载mat文件,用的是“load 文件名”命令,也可以双击mat文件,保存mat文件,用的是“save 文件名”命令,也可以workspace右键保存

2 \6 Q" ?* k8 J2 S

txt的读取方式有非常多,网上也有各种各样的介绍,我就介绍两种最常用,也是目前我一直在用的两种方法

# K; F. K3 t }$ U+ Y" f

第一种是通过importdata(‘test.txt’)命令,读取的结果是一个多行一列的cell元胞,后续的数据处理也就方便了,cell里面的字符串定位处理在前面也已经介绍过

6 m* O/ N6 S: Q" v- W

另一种方法是,通过MATLAB工具条里的“导入数据”按钮,这种方法的一个好处是,导入过程中有很多非常人性化的设置,比如数据的分隔,范围定义,数据的输出类型等等

+ S6 ?) W7 x. _ z1 a7 p {* t5 p& s

导出的选择也有不少,可以选择直接导出到workspace,也可以选择生成脚本或者是function,方便同类型文本的重复使用,对于不太喜欢写脚本导入数据的朋友,我比较推荐这种方式

! S0 W& O3 D9 l; z
8 ?& c+ G+ V0 b3 z8 p, K! y* c& i
6 L% Q7 r# { |
. b P" J. T: p* d: B. c. P2 z

txt的写入,可以通过fopen,fprintf,fclose实现,基本上我所有GUI中关于代码生成的功能,都是通过这个方式将代码写入m脚本的,给大家举一个简单的txt写入的例子代码

, `7 J5 b( {3 v, B0 O5 P% J
fid = fopen(test.txt,wt);3 f' g$ V2 X4 b# J! j4 C9 Q3 v. c- { fprintf(fid,test1\n);* `! A# J+ v$ Q) m |$ ` V fprintf(fid,test2\n); * z" p4 N- n& A: X3 E1 X fclose(fid);
. N' ?- s0 H8 K$ p! p

关于txt的读取写入,我再多介绍一点,txt是文本文件中的一种,就是那种右键打开能读得懂的文件。类似的文本文件还有很多,像m文件,mdl模型文件,dcm文件,c代码等等,只要是文本文件,都可以用txt处理的方式,对目标文件进行读取写入。

" m: ?# S, C! d- k( \# A' V

最后讲一下Excel读取写入的问题,常写MATLAB脚本的朋友,对xlsread和xlswrite肯定不陌生,对应的是Excel的读取和写入

+ Y7 @* p2 C1 F5 p) M' B0 [6 t
[num,txt,raw] = xlsread(filename,sheet,xlRange) 9 n5 q# E% i: T6 |9 x# P) w6 N xlswrite(filename,A,sheet,xlRange)
3 U$ @4 P) \6 V$ ~; g/ {1 z @) b

但是目前MATLAB官方已经不推荐使用这两种方式了,替代的函数是readtable和writetable

2 P" o# i' B3 F% @
T = readtable(filename) 3 X3 A* ~" l8 K, j; [2 V* F8 H7 I) g writetable(T,filename) 7 Z$ m. e3 f" _; c/ w! i+ ^
$ `5 J p6 o* }' N( l! \

如果数据是cell元胞的话,替代的函数是readcell和writecell

4 }) D; R- j! s- M9 ?+ @- Y8 ]6 p, u4 i
T = readcell(filename): V) c. I" F' m9 C9 u# i7 L& N writecell(T,filename)
. C0 h4 ^4 o/ K @/ u7 F

大家根据自己的个人习惯选择其中一种方式,两种方式在功能实现上目前并没有太大区别

L9 l& o- n0 W, }" w

4. 数据可视化

6 z6 w# u" H+ M2 Z( i9 _0 c

数据可视化,结果的呈现,也是数据分析过程中至关重要的一环

/ d5 I$ v- Z L' A2 F& P; |

像大家非常熟悉的函数plot,就可以用来画曲线图,但是有时候仅仅曲线图并不足以来呈现结果,还需要用到比如像三维图,柱状图,饼状图,蜡烛图等等

# p a y: M* E* H

这部分我并不打算给大家罗列各种图形对应代码命令,大家也没必要刻意地去死记这些代码,安利一个非常通用的方法

+ e g: g8 H' d/ w1 m

在选择需要可视化的数据之后,在MATLAB工具条的绘图窗口,选取你喜欢的图形,就能生成你需要的结果图了

3 D/ m0 K4 {) A. ~: X1 ^3 P. f5 y
" [- F+ y6 S* B1 Y' I! n7 m9 e

不过,至于图片的细节,像title,legend,网格,还是需要自己微调,但这都不是事,再安利大家一个简单的方法,完全不用上网去搜

- J: }5 ^3 W6 M. h) |( t- n$ C3 `& E1 F

在生成窗口中,点击属性检查器,然后根据自己的需要完善图片的细节,最后通过生成代码,就能看到这部分作图操作的原始代码了,大家也能在代码的基础上再微调,或者复用

4 @9 \* W0 W6 ` U$ [( `
6 B; E P; U$ M
$ N) j j1 L" O+ V8 v5 N
3 B; a9 n' Y' K w( t

5. 数据处理的常用函数

) ?- u+ H& ?2 D9 ]7 K+ {

关于数据处理的函数,像max,min,mean,std这些函数都是比较常用的函数,分别是最大值,最小值,平均值,标准差

' J7 Z# q# h+ j. w# U( y

再安利大家几个平时我在处理数据时最常用的几个函数

, _) C1 j9 V% Y, x6 R

第一个是unique函数,可以把数据中重复的数据删去,保留唯一值。unique这个函数不仅仅对数值矩阵有效,在cell中同样起作用

/ d" N2 ~! H. ?
C = unique(A)
; _9 I$ l; |+ c. e7 C- v

unique还有一些拓展的语法和功能,有兴趣的朋友可以在MATLAB文档中查看,不过光这个基本功能,就已经非常够用了

+ N* T% K& q( a/ o: G9 O) `( ~

第二个要推荐的函数是排序,sort和sortrows,两种函数都有排序的功能,但是使用场景不太一样

+ e+ A! J9 R7 ?$ U" k1 A% A) H

sort的功能是,将矩阵或者cell中的每行或者每列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,dim的选择有1和2,分别代表对每列和每行进行排序,direction的选择有ascend或 descend,分别代表升序和降序

. U* U" b$ M2 D
B = sort(A,dim,direction)
7 ]3 ^* G& [( Q0 @

sortrows的功能是,将矩阵或者cell根据某一列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,column代表根据第几列进行排序,direction的选择有ascend或 descend,分别代表升序和降序

* }5 }& P$ P# p" C! i
B = sortrows(A,column ,direction)
3 |! w1 F0 c2 |5 Z; S7 g

最后推荐的一个函数是tabulate,非常强的一个命令,可以实现对数据的统计分析,输出的结果有三列,分别是去重后的数据,出现的次数,已经对应的百分比

- n1 A. K! N6 `8 \9 h8 l

再结合sortrows对tabulate生成的结果进行排序,就很容易获得各个数据根据频率进行排序的结果

T h* w6 w& S
9 ?, p- ~" T( A% R

除了上面提到的几个日常比较常用的函数,还有一些我非常推荐的函数,平时我用的不太多,但是如果用到的时候找不到会很抓狂的那种

! V ]# y4 b. c# K% E

比如reshape,可以根据自己的需求对数组进行重构

6 j1 h3 p1 z \( B4 `$ O! ?& l

isequal,可以用来确定两个数组是否相等

. A, C, f+ H; ?; t' J

datenum,datestr相信大家比较熟悉,可以将日期转换成序列值和字符,平时在处理时间相关数据的时候,还可以考虑用years,days,hours,minutes,seconds等等来计算持续时间

8 |8 h; x& r6 m

常用函数这部分内容就介绍到这,其实还有很多非常赞的函数,欢迎大家把自己喜欢的函数发到评论区

, b( H3 D8 ^7 H3 k2 U; M5 X $ z! s! P4 l' \- e) g2 @

6. 数据爬取

5 p, v6 b3 ?' v3 t: M

数据爬取部分,其实我想讲的是爬虫,不过也不能算数据分析的技巧,我讲这部分内容,更多的是出于建模竞赛的原因

0 j8 r8 N* s6 q

建模、仿真和验证,其实是需要数据的支持的。脱离实际意义的建模,靠拍脑门做出来的结果,都是不提倡的

- e0 N5 |5 x0 Q& \2 P4 Y8 t

最简单的情况,如果有现成的数据文件,可以根据今天聊到的第三部分,读取数据文件之后进行分析

- i& y# W. ]6 ^0 C6 [

如果没有这些数据,我推荐大家使用MATLAB读取网页的函数webread进行数据爬取

8 c/ S' K$ I/ s! q3 `% t5 D$ W
data = webread(url)
$ Y6 O0 N& r* j" B" S) s1 ~

爬取到数据之后,再通过regexp函数正则法处理网页数据

3 m3 f E' R4 \) z# v

这部分聊的比较浅,但也很难三两句话把爬虫讲完,推荐大家一个相关的MATLAB爬虫视频,讲的是我之前用MATLAB爬取B站,视频很短,一共7分钟,大家一边看一边跟着做练习,基本上半个小时也就全整明白了(知乎不给放二维码,有需要的朋友,直接上B站搜打浦桥程序员吧)

: V9 N" C& v' |* A

7. 薅系列工具

+ ~/ }! K5 H! X# g7 k3 S+ O

最后一部分要安利给大家的是,由我自己开发的薅系列工具

' [0 `, F1 I% t7 Z u- t

目前反响最好的是薅曲线(HaoCurve),从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说,拿薅曲线来做结果验证特别管用

4 Z$ R6 x8 s5 i

虽然这个工具我平时用到的不太多,不过就冲8000多的下载量来说,我还是很推荐的。需要的朋友,戳下方的文章链接获取工具下载方式

% @$ z& M0 K) l' X; j' e / i2 l/ Q' g2 j7 s( g5 m+ c6 N
% N' v* ]/ o* t% M
4 U1 q) q6 _; [: {6 m0 z. O
- V+ J! T/ Y2 ~( L" ?9 x

我个人用的比较多的是另外两款工具,一个是薅文件(HaoFile),里面的历史代码检索功能很强大,可以大大减少找代码写脚本的时间,在数据分析过程中,很多脚本和功能都是可以复用的,有需要的朋友,戳下方的文章链接获取工具下载方式

* u6 U8 G5 b) t0 H0 f( m - \% C g4 q% J& k% l E K7 ~6 ^/ D

打浦桥程序员:背几段MATLAB代码就那么难吗?

) Y7 @3 i" f" o9 k5 D 3 e" v" {" u6 G5 _# d5 m X8 f
q& g' d: C$ E6 B2 ]: L5 ?
" s# L& Z) _0 e9 Y S. p( V
: b- s e) e- Y, ]3 v3 z

另一款工具是薅模版(HaoTemplate),如果最终数据分析的交付文档有格式上的要求,薅模版能就发挥它的作用,可以生成特定格式的Excel或Word模版代码,这可比自己手动去调格式方便很多,有需要的朋友,戳下方的文章链接获取工具下载方式

+ b$ _' M& x1 T A* I + v( ~' b: U& E J
8 {2 B0 Q' S. z& i
* g- t' n/ N! i' ^* n, c! ]! P Z
4 d; K& v4 f" t4 L& X. h

薅系列工具还有很多,不过在数据分析这部分,我最推荐的是这三款工具

/ i7 B+ \: m: }' q 8 I$ a9 m* y+ K) M8 d, L H& {, ?

不知觉间,写了这么多字

( u- F* E( p7 u

今天总结的小技巧,未必是最适合大家的方法,但确实是我这些年养成的一些处理习惯

; V& Q' n( r) S' d$ E! o, o

希望今天总结的方法,对大家平时的工作学习有所帮助,当然大家如果有更推荐的小技巧,欢迎在评论区补充

& q2 m' ~) u. {( F4 ^

如果你也对MATLAB感兴趣的话,欢迎关注我的微信公众号“打浦桥程序员”

2 x. t8 E: J( j5 O3 y ; t( Q& n. I' j5 ^8 d1 M ) D b6 ^8 T( @1 j9 W; B: k ; L4 D1 F! j: U3 p2 D " i: w3 ~9 Z" W! g
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
三观道人
活跃在3 小时前
快速回复 返回顶部 返回列表