|
LLC4320模式简介 LLC4320是MITgcm 1/48°全球海洋模式，其诞生的直接原因是为即将到来的SWOT任务提供高分辨率的全球海洋模拟。 LLC4320模式在多个方面具有开创性，特别是其高空间分辨率（全球分辨率在 1 到 2 公里之间）、潮汐驱动、高频（每小时）输出，其海面高度信号中包含了内潮、内波、地转平衡等信号。除了在SWOT相关工作取得应用之外，该模式也在海洋亚中尺度、内波等研究方向得到了广泛应用。 J+ O m W6 v4 V! v; n5 ~
该模式主要特征是：
: a2 |% A" U I" X* J' ]2 n) n
- • 全球覆盖（包含极地）
- • 垂向90层
- • 分辨率1/48°
- • 全球海洋分成13个face，每个face的网格数为4320*4320
- • 时间采样是1小时，总计时间维度9030
- • 共14 个月（2011 年 9 月至 2012 年 11 月）
- • 数据量巨大，PB级别
- • 以MDS自定义二进制数据格式存储，为MITgcm独有
- • 模型网格复杂，为lat-lon-cap (LLC) 曲线网格 ，很难在常规地图投影中可视化。/ l0 q) u- Z7 D$ U" Q# z
在数据发布之初，该数据集存储在高度安全的NASA超级计算机上，只有获得NASA资助的研究人员才能访问。 后来，NASA Ames研究中心创建数据共享网站（https://data.nas.nasa.gov/ecco/），开放了LLC4320数据。任何人都可以通过互联网访问数据。在此网站上，您可以单击下载单个大小40GB的二进制文件。除非您知道如何解码其中的内容，否则这些文件毫无用处。
3 q0 I, k9 ~7 T6 Y( N' B & v" b! u _- \9 Y8 t( I3 p: v
xmitgcm.llcreaderxmitgcm 是一个 python 包，可以将 MITgcm 二进制 MDS 文件读入 xarray 结构。通过 dask，xmitgcm可以实现并行计算。
为了使二进制数据方便利用，Ryan Abernathey等开发了xmitgcm的python包，其中llcreader用于读取这些二进制文件。该模块使用xarray和dask从ECCO数据门户网站在线访问数据，使模式大数据的操作变得轻而易举。
( h5 }5 J. g* A2 N# s5 g( z
海面温度读取示例
( i" q: |, A& f- q以海面温度读取为例，展示其基本操作。用到了如下库： - • xmitgcm: 提供llcreader
- • xarray: 基本数据结构和操作
- • dask: 大数据并行和lazy计算
- • sholoviews: 交互式的图像展示; i1 a" v* a% ?9 Y
1 导入库
: @8 ^" z) R! s9 d+ N
& e& N9 `1 N# D% f4 h7 limport xmitgcm.llcreader as llcreader
' _" M- Y) Y& J( I. Y+ Q2 N%matplotlib inline2 P/ L9 @: I9 I% R0 R! t
import holoviews as hv
* @' }# v+ a) ufrom holoviews.operation.datashader import regrid
* Q$ A) S- E9 H, [: \5 B4 ?, whv.extension('bokeh')
B. w$ T/ U! k1 b8 T1 Q# @ B5 Y+ l5 ^* _
2 初始化这里我们使用LLC4320模式数据： model = llcreader.ECCOPortalLLC4320Model()
8 ` F# P: l# Bmodel根据数据分辨率和来源，llcreader 可用模块有： - • llcreader.ECCOPortalLLC2160Model: LLC2160 accessed via ECCO data portal
- • llcreader.ECCOPortal LLC4320Model: LLC4320 accessed via ECCO data portal
- • llcreader.PleiadesLLC2160Model: LLC2160 accessed on Pleaides filesystem
- • llcreader.PleiadesLLC4320Model: LLC4320 accessed on Pleaides filesystem
- • llcreader.CRIOSPortalASTE270Model: ASTE Release 1 accessed via AWS
- • llcreader.SverdrupASTE270Model: ASTE Release 1 accessed on Sverdrup filesystem at UT Austin
0 @( ]" Y3 z( d% H) K$ j
3 海表温度参数设置6 P* d/ k2 M" E! z9 p# b3 I
3 \6 y Q. q0 o6 T/ f& Q$ c% Fds_sst = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')) T6 ^4 s# \/ o. J/ \' @! e
ds_sst这里的Theta是模式中固有的海表温度名称。这一行程序执行的lazy模式，数据并没有存储在本地内存，也不会进行计算。该变量的大小接近10T。 ds_sst.nbytes / 1e129.257148163328
如果想查看其他变量的名称： print(model.varnames)['Eta', 'KPPhbl', 'oceFWflx', 'oceQnet', 'oceQsw', 'oceSflux', 'oceTAUX', 'oceTAUY', 'PhiBot', 'Salt', 'SIarea', 'SIheff', 'SIhsalt', 'SIhsnow', 'SIuice', 'SIvice', 'Theta', 'U', 'V', 'W'] 比如Eta表示海面高度，U,V,W为速度。 get_dataset模块的全部参数设置为 get_dataset(varnames=None, iter_start=None, iter_stop=None, iter_step=None, iters=None, k_levels=None, k_chunksize=1, type='faces', read_grid=True, grid_vars_to_coords=True)
常见操作有： - • ds = model.get_dataset(varnames=['Eta'])
- • ds = model.get_dataset(varnames=['Salt', 'Theta'], k_levels=[1, 10, 40])
- • ds = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')5 \! b6 k; e- Z. _* ~
: } G( U: A1 _; P v
4 动态交互可视化. q7 i# B5 y0 ^& Z) q
- T; t" A* c! X% L7 sdataset = hv.Dataset(ds_sst.Theta.isel(k=0).astype('f4'))& \6 e5 X5 A1 C' |# H7 x) ]
hv_im = (dataset.to(hv.Image, ['i', 'j'], dynamic=True)
/ Y3 A6 p2 ?) E .options(cmap='Magma', width=950, height=600, colorbar=True))
0 N2 U# m; T) c& K1 D, a$ w; ]. O: o4 i, Y7 w9 v" y
%output holomap='scrubber' fps=3, D/ ~0 T' y. i3 B4 x6 p
regrid(hv_im, precompute=True)上图是南非Aghulhas Rings，可以看到强大的洋流和丰富的中小尺度涡旋。下图作为对比是LLC2160的结果，和4320的分辨能力比较有一定差距。
* t0 C, U, t0 J: P' v涡度计算示例下面展示LLC4320涡度计算步骤。 model = llcreader.ECCOPortalLLC4320Model()2 P! V9 Q8 [4 i3 b
print(model)6 J. q) y: w) \4 x( d; Y8 |
; O t& `1 [$ H* s2 V2 H# volecity
* X* t0 h, M1 { w/ ]: |, |ds = model.get_dataset(varnames=['U', 'V'], k_levels=[0], type='latlon',5 l9 c% S! B0 C
iter_start=model.iter_start,
/ O9 {! n$ p2 ?8 Q5 H, m iter_stop=(model.iter_start + model.iter_step),
0 F3 c3 s- K( F( D read_grid=True)
$ ^5 n `0 T+ g: L0 Z! Y; K6 y5 P( A6 X% @ c, p
# Normal gridding0 D: ~0 _0 P# w' n+ z1 m
import xgcm& P2 }. ^' K5 J# H2 Q. D' q, O* @ E
grid = xgcm.Grid(ds, periodic=['X'])5 w; F- a% d" h) I
/ d$ E E0 w& z# F5 j, ~' D
# Calculate vorticity
* |4 F3 K) Y o, [9 T* W- ^zeta = (-grid.diff(ds.U * ds.dxC, 'Y', boundary='fill') + grid.diff(ds.V * ds.dyC, 'X'))/ds.rAz& A: F$ @; q3 X& |1 C
zeta = zeta.squeeze().rename('vorticity').reset_coords(drop=True)
( `1 {2 D7 A0 H0 y) d
2 P: }4 ]5 }6 W5 T4 V; z1 h" p% }# load data
& v" G! @" ?5 O0 h. `( s. S- xzeta.load()2 A! r5 T4 J0 q" F' _
9 |2 n4 k9 n! w& s1 `# Show
' }! A" U" z/ N0 |) p Z) H( y/ M0 V8 Jdataset = hv.Dataset(zeta)
2 R, g6 ~ |! W, P6 n: Shv_im = (dataset.to(hv.Image, ['i_g', 'j_g'])% N8 N1 F1 c, o+ `7 y. p7 \9 @% Z
.options(cmap='RdBu_r', width=950, height=600, colorbar=True, symmetric=True))
* |3 ~" G1 o. ~: h; t7 e* n0 L: n$ ~9 }; a
regrid(hv_im, precompute=True)
/ d( r+ z, W' | T5 f扩展：云虽然 ECCO 门户实现了数据自由访问，但它的带宽有限，国内用户往往难以正常访问。虽然它适合交互探索，但如果想实际处理PB级别的数据，它可能无法提供足够的网络支持。 商业云存储（例如 Amazon S3 或 Google Cloud Storage）具备两全其美的优势。它既可公开访问，又具有极大的数据处理能力。 目前大量的地学大数据已经存储于云端，并可以通过Pangeo进行操作，这其中就包含LLC4320模式。 后面我将介绍云计算平台Pangeo。 ; ]' j8 k) d( ?1 i9 U
# E0 l+ v/ }/ e! w( k
9 n f9 S7 w/ \- ^
+ k. }( ~" S% ]$ @1 @+ G+ D1 S& C- `/ Y
1 @1 K' n: s% j
|
