|
' |; r* C8 k# u$ {' l2 R3 d& Z: f
如何去思考并研究气象问题本身是一个需要不断学习和练习的过程,大量高质量的项目可以加深我们对气象科学中经典模式的深刻理解,从而可以掌握用合适的机器学习方法去进行气象研究和应用。在这里,我们集结了和鲸社区内优质的气象数据科学教程&项目,为气象er们提供了学习+实战的最佳平台!
% A/ s& I; V8 P& ]8 H5 Q5 g 和鲸社区提供了相对自由的学习、研究、应用的方式,你可以在社区获得:
+ F. Q& [- U' J, W 气象数据科学语言教程用 Fortran/Python 语言进行数据读取/数据处理/数据分析/数值计算的实用气象项目气象可视化应用(雷达数据、地理信息数据、海洋数据等)项目阶梯难度的机器学习算法项目优秀气象项目/论文的整体复现 4 o ]; H" h1 M% e5 F. C% c
同时,你也可以系统地精进实战能力!训练营、Workshop 和练习赛等系列活动极大地丰富了气象研究的应用场景,从小白到进阶高手,与20w 数据科学业内人士+近1000位气象人同场竞技:
7 J: E- n; s/ C. @! m 题目全部来自业内大牛提供的气象场景案例不用处理环境装包,精力全放在解决具体气象问题上支持多种气象数据科学主流语言:Python、Fortran、Julia、R活动提供讨论区进行讨论,可以参考别人的思路,灵活交流和分享复现自动出分,实时获取每次代码实践的准确性和算法效率,精确了解个人代码在所有提交代码中运行效率排名 % I2 V4 [- Q$ \( h C! B5 `
另外,在线数据科学平台 ModelWhale提供了学习和研究气象的工具及开箱即用的编程环境:
+ ~4 Y" Z' b7 B/ y" K 环境免安装,一键复现和鲸社区优秀丰富的气象数据科学教程和项目内置 Cartopy 等海量镜像,Python、Julia、R、Fortran 登录即用,并支持 WRF 模式Canvas 无代码图形化建模、Notebook 编程随需选用,还可相互转化GPU 分布式离线训练,训练记录超参数比对多类型数据源灵活接入,数据权限分级管理,数据安全有效保障 ) ^) @1 x/ j+ u l, p. A* g
所有的社区资源,都确保代码的完整,及在对应镜像下一键运行复现!(注:如有疑问欢迎留言与技术小哥切磋)铺垫结束,下面正文开始! - E* \8 L4 X# O* }9 y5 d+ N
1.气象数据科学语言教程(1)Python 基础 ' C" F r+ B& F/ s p1 c
说明:Python 在气象、人工智能、机器学习领域受到火热追捧,很大程度上在于它拥有非常庞大的第三方库,以及强大的通用编程性能。因此,想要逐渐掌握 Python 数据分析,可以通过学习和了解如何利用 Python 调用 Python 的各种第三方库和工具包,感受运用 Python 进行数据分析的便利性。
! j% k; k! G; r% p3 o8 o4 L" U* q A 科赛 x 机器之心从零上手Python关键代码
/ _( E2 Q; s$ x) G Python基础 Python100例 & e0 `" M. E0 l; c3 R% h
Python入门教程
/ p: A# f2 u, {0 \" q# w# D/ Z (2)Numpy教程 1 s3 R: D' I X2 _' z1 u
说明:Numpy 是 Python 数值计算的基石,它提供多种数据结构、算法以及大部分设计 Python 数值计算所需的接口。Numpy 能够赋予 Python 快速处理数组的能力,除此之外,Numpy 的另一个主要用途是在算法和库之间作为数据传递的数据容器。
9 @# [# u. `/ f 教程: $ L# f% H, O b( y
Numpy快速上手指南——基础篇 ' B9 Q4 o& c( A" M+ J' u
Numpy快速上手指南——进阶篇
5 {9 h# e+ _, s- ]# ^# r7 V Numpy入门教程
+ y0 M) Y7 C$ _5 d Numpy实战全集 6 r5 {& @/ i: R% k z4 \9 |
练习题:
0 L- {# v! i* I9 M% ^5 Q9 w 这100道练习,带你玩转Numpy
$ O& A9 X) W' v; x( Q (3)Pandas教程
# ]" Y4 P) |1 l5 p% G 说明:Pandas 为数据分析提供了高级数据结构和函数,使得利用结构化、表格化数据的工作快速、简单、表现力。做数据分析主要使用的 Pandas 对象是 DataFrame(用于实现表格化、面向列、使用行列标签的数据结构)和 Series(一种一维标签数组对象)。
2 J/ N+ l# M# N o0 c; P 教程:
& L! V3 Y# K. k! G# [ Pandas入门教程(1)
' S" g, L7 B3 h5 ^; ]6 L Pandas入门教程(2) + c. c2 Q! o- [
Pandas入门教程(3)
. I3 ?; D N# y' ?' @. E+ V 【Pandas教程】像写SQL一样用Pandas
5 q6 Q) Q* @" H" j4 C! @ 高效分析:如何用pandas快速处理数据 " d. ^* `4 j0 k7 z7 [
Pandas基础命令速查表 ; l) b0 ]& `, L- P1 @- c
练习题:
. u4 B* v, I* ? Pandas120题 2 K" A' A+ y+ n z5 G Y, G' _4 h
50道练习带你玩转Pandas
, a0 W9 Z! g% {% u* ` 这十套练习,教你如何使用Pandas做数据分析 5 x, ]0 e2 o1 {9 K3 k
(4)Xarray实例
2 y7 p% S6 i+ i: y3 r: T 说明:由于气象数据大多为多维数据,Xarray 提供了一种高效读取和处理多维数据的方式方法,它特别适合处理 netCDF 文件,在类似于 NumPy 的原始数组上以尺寸、坐标和属性的形式引入标签,从而能提供给研究人员更直观,更简洁和更少出错的体验。该软件包包括一个庞大且不断增长的功能库,使用这些数据结构可以实现对气象数据的高级分析和可视化。 0 i# d9 W! S+ J% T+ C7 x9 u; K! x
xarray实例大全-目录气象行业数据分析案例 + `# {2 g, r& I3 D8 }1 k4 S
xarray实例大全(一)-气象数据示例 ) Y/ ^; J( c9 B0 P
xarray实例大全(二)-月平均时间序列计算季节性平均值
; \0 {; v4 F. u xarray实例大全(三)-比较加权与非加权平均温度 0 m- Q) X& @; ]: c( z' n8 T
xarray实例大全(四)-多维坐标的使用
* ^9 a) g5 `3 o/ V5 B xarray实例大全(五)-可视化库 ) M Z/ i: q/ i. T6 r) `7 O
xarray实例大全(六)-ROMS海洋模型示例 $ }" q5 R8 W0 M, [3 x+ ^7 n7 e& r
xarray实例大全(七)-GRIB数据示例 8 m1 m' A [8 D
xarray实例大全(八)-使用applyufunc 2 U7 Z+ H2 t6 Z2 h. [: e
xarray高阶利用dask并行读取数据
1 F/ [8 e7 D, x# O 2.气象数据读取/数据处理/数据分析/数值计算
7 y9 E5 \2 o1 g. B L0 F9 V H Workshop第一期:初探气象数据Part1 ; y! V9 N9 q. N' E! W# S
Workshop第一期:初探气象数据Part2 ) k. J* i- F4 y5 Z2 ?) j; Q. w
Python读取气象数据nc格式文件的入门级操作
7 I* ^% s$ Z6 y Python处理HDF格式数据示例
; a0 Q$ `$ Y+ s- R 利用Python的requests和json包获取台风数据 1 ^6 c c( _5 |' M. q; O
基于Python的Grads文件解析
( _& A1 K. k" w( u/ B$ { CALIPSO卫星数据处理
$ l5 t% D# F7 A 摸鱼的气象& ython * r; n4 f) A# x |! M& e8 t# c
Python之以温度为例的气象数据缺测处理方法 " p$ J- d7 I* ]- n- U
Python之一个简单的风数据处理和分析案例
& | B8 _2 h- ~" w8 M# y0 T 常用气象数据下载——ERA5再分析(grib格式)
8 ^& D2 @" l8 A8 h7 [) ]6 T 常用气象数据下载——我国台风历史轨迹数据
9 E9 d$ Z2 ~, q 常用气象数据下载——耦合模式比较计划(CMIP6) 0 N& ?* o% R6 j# [* c% G
常用气象数据下载——TEMIS遥感数据
; |5 M0 P4 F7 d! u: n 常用气象数据下载——实时空气质量数据
! N) s( Q. |- N f1 O1 n0 K 常用气象数据下载——Hamawari8 2 O' ~+ M5 |2 F- y3 p
常用气象数据下载——NCEP再分析资料 % j* ]7 Y: n0 Z% G- {4 [
常用气象数据下载——探空资料
3 o" S& E9 Z$ Z# T) c* s( q 气象之批量下载气象数据(EC;NCEP;CMIP)(python) # _& y% {2 ]# ~0 |7 S
气候变化趋势分析常用方法 ; t/ E& O* q$ F! d4 m' H
气象分析之气候变量场时空结构的分离-EOF
/ T1 s6 B4 N, u5 i6 J: W 气象数据处理——重采样(Regridding)
# M, o) r; F9 z1 j" a: N 气象数据处理——湿位涡剖面分析
/ _1 N s& O+ M6 K 气象数据分析——集合经验模态分解(EEMD) ) j7 ~& e5 ~6 g
气象数据分析——相关系数与时间相关系数 " g/ }- {- ?/ I$ u$ m' H4 `; G
气象数据分析——旋转经验正交函数(REOF) 8 }- F; x9 n5 J% e8 y1 B2 e1 P
气象数据分析——经验正交分解(EOF) k% y+ L4 C( i" t$ `2 {9 i
气象数据分析——我国逐年降水的经验正交分解 - a* v- \/ A* `: b8 E9 `8 j
气象数据处理加速器——cdo , c8 W% z1 r- B$ K+ V I
气象数据统计方法 " M2 ?9 e9 l$ V' V7 n& Q- }5 c' C" d0 X
供水管网压力预测(异常识别与缺失补全) 8 e/ v( h+ g4 ?! b
特征重要性评估——Lasso回归系数 , r/ G1 h7 L; \3 B* t
2020华为杯E题——数据探索性分析 9 R9 o: `/ I& Y; ~- h
WRF模式模拟数据后处理(计算篇)
1 c* Q" c$ y' }, r2 n- Q 结构方程模型(SEM)构建 9 h( q+ Q) _ O! H# t, N
多元多项式回归拟合能见度 : W% l7 p2 B9 v2 {2 }+ A6 Q& G& T
两个变量场的相关分析——SVD分解 1 o) V6 `1 l: \8 z! P H8 E: O
小波分析——海温数据的时频域分解
) Y3 ]' {$ q& F0 r0 H8 w9 s- E& A 基于DEM数据计算坡向、坡度和流向
5 i* {4 |( W, W, s; F 基于随机森林对特征重要性排序 $ N/ h: S$ A6 o- c g: C6 R
基于DBSCAN算法的人类活动GPS数据挖掘
; {% P8 C: Y' m4 c 基于ERA5数据分析中国区域气温与降水数据的时空分布
2 y5 x7 M6 B% N9 G. A* @ 最常见的10种图像滤波方法 ' @6 J& F% `7 E- g" A1 [7 I
3.气象可视化(1)Cartopy绘图教程 1 d5 K! m9 ?0 k [+ ]
气象数据可视化库-Cartopy官网例程大全(中文翻译版) 0 T+ Y& j) W, z" b# N
Cartopy——绘制不同投影的地图 / m H6 r7 P, z* Y
Cartopy 调用天地图在线服务(原创) 2 J, D/ F$ Z" S2 ]9 S- N. u4 T
Cartopy绘图中国地图最正确的使用方式 ! C5 C2 h# ^" ?4 f# U( u/ q6 c
(2)Metpy绘图教程 ' a, Q' ?# t5 \+ ?8 W7 p
Metpy气象数据可视化库官网例程大全——目录
1 T" g1 [& p" x# ?, x7 i4 j' k# i 大气科学可视化示例——降水量 c* C. x" R2 v* p
大气科学可视化示例——AWS S3 NEXRAD 档案存取和绘图 7 Z7 O* ]' J$ x$ m e/ E
大气科学可视化示例——声明300hPa
, v, n$ j/ v+ @+ ^9 M 大气科学可视化示例——飓风追踪器
1 [& P9 H: Z- Y5 O 大气科学可视化示例——观测数据截面
- ~8 t$ l2 R/ k" M8 J 大气科学可视化示例——在旧版DIFAX图表上高空观测 3 w1 Y# w1 B9 F6 Z/ R& B# ?" O
大气科学可视化示例——风切变矢量
& H# t" F% ~! k0 m/ `. n. s3 o, I
6 ~! a( V$ D# R8 Q2 G& a/ ]
; B8 S8 P* Y2 t# H) y% `
( P( `1 n# ]; u( b/ _/ t9 u$ e" |
6 C( W0 A. d5 q0 c
, M3 w1 p* z1 w; h% r6 l! V5 { |