|
LLC4320模式简介 LLC4320是MITgcm 1/48°全球海洋模式，其诞生的直接原因是为即将到来的SWOT任务提供高分辨率的全球海洋模拟。 LLC4320模式在多个方面具有开创性，特别是其高空间分辨率（全球分辨率在 1 到 2 公里之间）、潮汐驱动、高频（每小时）输出，其海面高度信号中包含了内潮、内波、地转平衡等信号。除了在SWOT相关工作取得应用之外，该模式也在海洋亚中尺度、内波等研究方向得到了广泛应用。
; m U- I2 E1 H! L3 T, T
该模式主要特征是：
9 I0 i) ]$ o5 z6 j6 h
- • 全球覆盖（包含极地）
- • 垂向90层
- • 分辨率1/48°
- • 全球海洋分成13个face，每个face的网格数为4320*4320
- • 时间采样是1小时，总计时间维度9030
- • 共14 个月（2011 年 9 月至 2012 年 11 月）
- • 数据量巨大，PB级别
- • 以MDS自定义二进制数据格式存储，为MITgcm独有
- • 模型网格复杂，为lat-lon-cap (LLC) 曲线网格 ，很难在常规地图投影中可视化。8 W3 U, U+ ]6 E7 S
在数据发布之初，该数据集存储在高度安全的NASA超级计算机上，只有获得NASA资助的研究人员才能访问。 后来，NASA Ames研究中心创建数据共享网站（https://data.nas.nasa.gov/ecco/），开放了LLC4320数据。任何人都可以通过互联网访问数据。在此网站上，您可以单击下载单个大小40GB的二进制文件。除非您知道如何解码其中的内容，否则这些文件毫无用处。
* A* W' h. U* A, i' I ( c, Q! ^6 P4 k2 h4 D" B+ Z2 I( x. x
xmitgcm.llcreaderxmitgcm 是一个 python 包，可以将 MITgcm 二进制 MDS 文件读入 xarray 结构。通过 dask，xmitgcm可以实现并行计算。
为了使二进制数据方便利用，Ryan Abernathey等开发了xmitgcm的python包，其中llcreader用于读取这些二进制文件。该模块使用xarray和dask从ECCO数据门户网站在线访问数据，使模式大数据的操作变得轻而易举。
: a% ]/ ] E! l
海面温度读取示例: K2 z" @" Z3 [6 {+ |" h3 H
以海面温度读取为例，展示其基本操作。用到了如下库： - • xmitgcm: 提供llcreader
- • xarray: 基本数据结构和操作
- • dask: 大数据并行和lazy计算
- • sholoviews: 交互式的图像展示
X+ g: @; p1 O; a
1 导入库+ ` R+ z' Z! g5 B' O4 J. w$ T5 Y& b
. V: T1 |: Z% L& @! W5 @' C$ }5 Rimport xmitgcm.llcreader as llcreader* {2 z7 [7 ^: E$ k
%matplotlib inline
" X1 o3 `$ W" w, v! qimport holoviews as hv
2 b! N8 Z" Q! J; F( Gfrom holoviews.operation.datashader import regrid
7 m. e3 J. {( A/ |$ @hv.extension('bokeh')# V: C1 ` G5 H, \; _; a
/ {4 i9 _+ i9 N1 v' B5 ?% R2 初始化这里我们使用LLC4320模式数据： model = llcreader.ECCOPortalLLC4320Model()7 @7 q! \3 H$ D4 `
model根据数据分辨率和来源，llcreader 可用模块有： - • llcreader.ECCOPortalLLC2160Model: LLC2160 accessed via ECCO data portal
- • llcreader.ECCOPortal LLC4320Model: LLC4320 accessed via ECCO data portal
- • llcreader.PleiadesLLC2160Model: LLC2160 accessed on Pleaides filesystem
- • llcreader.PleiadesLLC4320Model: LLC4320 accessed on Pleaides filesystem
- • llcreader.CRIOSPortalASTE270Model: ASTE Release 1 accessed via AWS
- • llcreader.SverdrupASTE270Model: ASTE Release 1 accessed on Sverdrup filesystem at UT Austin( K0 K6 v$ O8 b A! G
3 海表温度参数设置
, w1 e! h7 A' [
c! A$ V! K0 }, @: D) L3 N6 {ds_sst = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')+ ~2 a( o$ N8 ] f9 Z. B
ds_sst这里的Theta是模式中固有的海表温度名称。这一行程序执行的lazy模式，数据并没有存储在本地内存，也不会进行计算。该变量的大小接近10T。 ds_sst.nbytes / 1e129.257148163328
如果想查看其他变量的名称： print(model.varnames)['Eta', 'KPPhbl', 'oceFWflx', 'oceQnet', 'oceQsw', 'oceSflux', 'oceTAUX', 'oceTAUY', 'PhiBot', 'Salt', 'SIarea', 'SIheff', 'SIhsalt', 'SIhsnow', 'SIuice', 'SIvice', 'Theta', 'U', 'V', 'W'] 比如Eta表示海面高度，U,V,W为速度。 get_dataset模块的全部参数设置为 get_dataset(varnames=None, iter_start=None, iter_stop=None, iter_step=None, iters=None, k_levels=None, k_chunksize=1, type='faces', read_grid=True, grid_vars_to_coords=True)
常见操作有： - • ds = model.get_dataset(varnames=['Eta'])
- • ds = model.get_dataset(varnames=['Salt', 'Theta'], k_levels=[1, 10, 40])
- • ds = model.get_dataset(varnames=['Theta'], k_levels=[0], type='latlon')% z; ?# c6 N# \# B' A! G. o. H
: t8 @" X' w' r
4 动态交互可视化# t: j* I+ a _6 L: h2 _# X- V& [
) W% V- m/ O( I' Jdataset = hv.Dataset(ds_sst.Theta.isel(k=0).astype('f4'))4 M# K9 M8 R1 ^9 q
hv_im = (dataset.to(hv.Image, ['i', 'j'], dynamic=True)9 S8 ?1 a5 c" L
.options(cmap='Magma', width=950, height=600, colorbar=True))
' O8 H& f$ l1 a& m, q# {5 x, T8 Y2 ^9 {. k9 N4 a0 I% b
%output holomap='scrubber' fps=3/ E! p @4 v6 j6 a
regrid(hv_im, precompute=True)上图是南非Aghulhas Rings，可以看到强大的洋流和丰富的中小尺度涡旋。下图作为对比是LLC2160的结果，和4320的分辨能力比较有一定差距。 ; C3 f5 P9 y1 p2 R6 d* g8 \
涡度计算示例下面展示LLC4320涡度计算步骤。 model = llcreader.ECCOPortalLLC4320Model()9 N/ |7 v# ?5 H6 ?# }, L% w: g
print(model)( j. i$ N Z9 C3 _0 `. G) E- b& @
" o* k. v; o# C, V
# volecity
/ Q! l5 b$ R3 |3 W9 w5 Qds = model.get_dataset(varnames=['U', 'V'], k_levels=[0], type='latlon',$ N% P( |9 ^# L% J ^
iter_start=model.iter_start,
; ~! A5 l5 X- ~, ~. X iter_stop=(model.iter_start + model.iter_step),
$ n5 M) C9 Y9 U7 [ read_grid=True)
8 z. X$ ^4 r* g1 b9 O7 S7 V; n+ l; _( ^ X7 |
# Normal gridding, E% n9 z7 }1 F0 G
import xgcm
( @' Q) M) I+ v }; w. f( Zgrid = xgcm.Grid(ds, periodic=['X'])8 C1 g& R' u4 ~8 t
: q. S% O5 l' m% O/ ~1 [: E: A6 c
# Calculate vorticity
; x1 h( ~" s: Pzeta = (-grid.diff(ds.U * ds.dxC, 'Y', boundary='fill') + grid.diff(ds.V * ds.dyC, 'X'))/ds.rAz
# I$ C, N: m/ k6 B( O: gzeta = zeta.squeeze().rename('vorticity').reset_coords(drop=True)
, {) ~9 w# V- Z
. q: n/ T7 z2 |+ u& V* y. D# load data, m0 t+ I0 @9 T L" ?- [- D
zeta.load()9 D8 k6 r+ G# }
( x4 l) p) A6 H( g4 |# Show
# M6 k- B+ p* Z$ ?, Y( z# B$ {dataset = hv.Dataset(zeta): O; r. s/ q6 r" |* ? I$ X& w& p+ Y! J
hv_im = (dataset.to(hv.Image, ['i_g', 'j_g']): h( H j9 v7 \7 d: \; C
.options(cmap='RdBu_r', width=950, height=600, colorbar=True, symmetric=True))
# U Q$ x/ K* B: }; U; K$ M& e& g
regrid(hv_im, precompute=True)
/ _ G1 g9 x5 A- t( k$ f# W扩展：云虽然 ECCO 门户实现了数据自由访问，但它的带宽有限，国内用户往往难以正常访问。虽然它适合交互探索，但如果想实际处理PB级别的数据，它可能无法提供足够的网络支持。 商业云存储（例如 Amazon S3 或 Google Cloud Storage）具备两全其美的优势。它既可公开访问，又具有极大的数据处理能力。 目前大量的地学大数据已经存储于云端，并可以通过Pangeo进行操作，这其中就包含LLC4320模式。 后面我将介绍云计算平台Pangeo。 2 h9 a5 M: n4 q
+ @, u5 e4 `; u7 [
! M X" S$ J" c0 b- J: m% ]
$ B3 Z+ d9 y7 W' J
9 p( Y$ t- }. ?7 I0 M! w
& t" ^& `4 i$ ^) L# F8 R |
