0 引言8 e, G) w, u5 T9 f8 r/ ?) u
( E3 x1 J ]0 S0 l6 M# |& n) C
# _, b1 U) U/ z! r! n0 `地球70%以上的面积被海洋覆盖, 海洋具有调节全球气候、水循环的功能, 并储存大量二氧化碳和热量。厄尔尼诺、台风、暴雨和干旱等对人类活动产生重大影响的天气事件都与海洋息息相关。人类开发利用海洋资源、海洋生态环境保护、防灾减灾和海洋权益维护均离不开对海洋的认知。
7 g2 t9 u C0 I" R' n0 ?进入21世纪, 海洋观测技术得到快速发展, 各种新型传感器得到开发和利用, 加上先进卫星通信技术的推广应用, 使人们获取海洋观测资料的途径不再局限于船只走航观测方式。自动剖面浮标 (autonomous profiling float) 、水下滑翔机 (underwater glider) 、波浪滑翔仪 (wave glider) 、具备实时通信功能的锚碇浮标 (buoy) 和潜标(mooring) 等移动和固定观测平台已经成为人们准实时获取长时间序列海洋观测资料的主要方式。以这些平台为主要观测设备, 应运而生了诸如地转海洋学实时观测阵(Array for Real-time Geostrophic Oceanography, Argo) 、热带太平洋海洋观测系统(Tropical Pacific Observing System, TPOS) 、印度洋海洋观测系统 (Indian Ocean Observing System, IndOOS) 、美国大洋观测计划 (Ocean Observatories Initiative Final Network Design, OOI) 、美国综合海洋观测系统 (Integrated Ocean Observing System, IOOS) 、加拿大“海王星”海底观测网 (NEPTUNE) 和欧洲多学科海底观测网(European Society for Medical Oncology, EMSO) 等观测系统。Argo和TPOS属单一性观测系统, 分别使用自动剖面浮标和锚碇浮标组网, 而其他的则属综合性观测系统,具有一定的可扩展性。值得注意的是, 虽然Argo和TPOS属于单一性观测系统, 但其观测要素并不单一, 如全球Argo海洋观测网中的大部分剖面浮标仅观测海水的温度和盐度两种物理海洋要素, 但近些年部分浮标装载了生物地球化学传感器 (如溶解氧、硝酸盐、pH值、辐照度、叶绿素、黄色物质和颗粒物后向散射等) , 使Argo浮标成为一个综合观测移动平台, 并发起了生物Argo计划 (BGC-Argo) 。相比于单一观测系统, IndOOS、IOOS、NEPTUNE和EMSO等综合观测系统不仅包括各种船基、岸基与遥感, 以及锚系浮标和glider等平台, 而且每个平台通常搭载各种类型的传感器。据统计,针对海底观测的OOI系统的近800个传感器中, 观测物理海洋的占到一半, 观测化学和生物的占43%, 而观测地球物理和化学的传感器只占2.1%;按观测的对象统计, 47%用来观测水柱, 36%观测近表层, 10%观测表层, 只有7%观测海底的地质过程。观测网中的水下固定设备观测数据通过光电复合缆传输数据, 而移动平台的数据则通过卫星或无线传输, 从而实现数据的实时传输以及人-机交互。由此可见, 未来的海洋综合观测系统将包含各种船基、岸基、空基 (主要为卫星) 和各种海面及水下观测平台, 并携带各类物理和生物地球化学传感器, 依靠通信卫星及无线电等手段实现数据的实时传输。总之, 未来智慧海洋观测系统必将是一个立体的、多时空尺度和多学科交叉的实时观测网, 服务于海洋监测、防灾减灾、海上安全保障、海洋权益维护和军事活动等需求。
& v( `8 M, g0 M+ Z/ O9 k7 u然而, 有关海洋观测数据管理技术和共享应用平台建设的进展, 相比观测设备本身的发展则显得有些缓慢, 已严重影响了人们利用各种新颖观测数据探索海洋变化规律的效率。其原因主要有以下几方面。1 e$ Z1 t2 Z/ w d3 K4 R
(1) 建设投入大:要建立一个具有国际影响力的海洋数据共享应用平台, 即使不考虑海上各种观测设备的成本, 也往往需要投入大量的人力和物力。人力消耗主要体现在硬件维护、系统设计和维护、程序开发、数据接收与处理和数据质量控制等方面,而物力投入主要体现在各种计算和储存设施的建设和更新、商业软件的购置和更新,以及高速网络的接入等。3 h8 K, F7 p( q+ `+ Z L! C
(2) 数据处理难度大:现代海洋观测平台往往集成了多学科的传感器, 其采样方式和物理量的正确解码以及计算方法等存在差异, 增加了数据接收后进行第一步处理的难度。如Argo剖面浮标上使用的溶解氧传感器主要有美国Sea-Bird公司和挪威Aanderaa公司提供的两种品牌, 主要包括SBE43_IDO、SBE43F_IDO、SBE63_OPTODE、Aanderaa_OPTODE_3830、Aanderaa_OPTO-DE_4330和Aanderaa_OPTODE_4330F等型号, 而且同一型号的不同时期版本会有不同的输出量类型及溶解氧计算方式。所以, 每个传感器需要找到其对应的计算模型和厂家提供的校正系数, 才能得到准确的物理量。
9 {$ }9 ~2 p4 [: Z" q3 N+ n(3) 缺少统一的数据管理规范或标准:对于不同平台不同传感器的大量观测数据来说, 制定一个高效的数据管理规范或标准是非常重要的。对于全球Argo计划来说, 仅使用一种观测平台, 其管理规范和标准的制定难度比综合观测系统要小得多;而综合观测系统集成多种观测平台, 其数据复杂性高, 所以到目前为止还没有一个相对比较完善的针对综合观测系统的数据管理规范或标准。
0 B R) W! G7 e( B" Y$ u& J(4) 质量控制过程面临挑战:大量新型多学科传感器的使用, 使观测数据质量控制面临众多挑战, 特别是有些要素比如硝酸盐、后向散射、黄色物质等的质控方法, 在国际上也没有一个很成熟的方法。传感器在海上长期工作后, 受电子元器件老化、生物附着和海面油污等影响, 难免会出现漂移或偏移等问题, 如何对这些存在系统性误差的资料进行实时或延时校正, 需要投入大量的人力和物力。
5 S" m: t7 K; H& z R O1 U(5) 系统设计难度大:未来智慧海洋的建设和发展离不开数据共享应用平台的开发和运行, 该平台需要具备友好的人-机交互界面、强大的信息查询、处理和显示功能,能同时满足不同的业务需求和研究兴趣。要设计好这样一个系统, 并具有良好的可扩展性, 是非常关键且难度很大的工作。
& t8 H1 T3 z& t. z% z7 ]6 y+ V9 h本研究将着眼于未来智慧海洋的发展, 通过几个比较成熟的观测系统来分析国际共享应用平台的发展趋势, 提出我国未来打造智慧海洋国际共享应用平台建设的建议和对策, 供决策部门参考。% S: |* M [( v4 S# N
) \) u# u A) E% f) @' a9 u9 Z X5 L6 j& z! S% _7 q5 N3 N
1 海洋共享应用平台现状分析
* [$ C7 k' C! d* @3 M8 v2 p/ N& I1 [* H4 Q# ^
智慧海洋国际共享应用平台, 是集不同平台海洋观测数据智能获取、传输、存储与处理等技术于一体的综合应用平台, 其主要目标是整合各类海洋观测平台获取的数据资源, 建立海洋大数据存储、海洋大数据加工、海洋信息产品推送一体化的软硬件功能平台, 服务于海洋和大气科学研究、业务化预测预报及海上环境安全保障等。" P4 v+ H8 `( K1 @
欧美等发达国家很早就认识到海洋科学数据共享服务平台的重要性, 整合各种资源, 投入大量人力物力建设具有国际影响力的海洋数据共享服务或应用平台。如欧盟2009年启动实施的MyO-cean计划, 专门建立了6个专题数据中心 (Thematic Assembly Centres) , 分别负责海平面、水色、海表温度、海冰与风场和原位观测的收集、处理和分发共享任务;加拿大于2007年创建了海底观测网 (Ocean Networks Canada, ONC) , 包括海王星 (NEPTUNE) 和金星 (VENUS) 两个海底观测网络。该观测网集成了多学科的观测平台, 并为此在维多利亚大学建立了一个数据中心, 来负责整个海底观测网的传感器遥控、数据接收、处理和信息共享服务。2006年10月, 美国正式启动实施IOOS项目, 包含五大湖、近岸和大洋三大部分, 由11个区域子系统组成, 17个联邦机构参与其中, 观测核心变量有34个, 涉及的专业包括物理、生物地球化学、生物和生态系统等。IOOS使用3年时间 (2007—2010年) 建立了数据整合框架(Data Integration Framework, DIF) , 制定了多种有关数据管理和质量控制方法的规范和标准, 建成了综合多种观测平台和学科的数据共享应用平台 (包括基于互联网的人-机交互平台、工具, 以及基于手机操作系统的App) , 是当前最为成功的智慧海洋国际共享综合应用平台;2000年启动实施的全球Argo计划是当前最为成功的全球海洋观测系统, 由30余个国家和地区参与建设和维护。早在Argo计划实施之初, 就初步建立了一套完整的数据流, 9个主要国家建立了国家Argo资料中心, 负责本国布放的所有Argo剖面浮标观测数据的接收、处理和分发交换, 这些数据会在尽可能短的时间内提交至两个全球Argo资料中心 (位于美国和法国) 。Argo计划还专门成立了一个数据管理小组, 来负责制定和更新Argo数据的存储格式、生物地球化学要素的计算方法和质量控制方法等规范, 确保Argo数据的规范性及高质量, 是当前数据管理和质量控制方面做得比较好的一个共享服务平台, 但有关Argo数据的人-机交互平台开发则要比加拿大ONC和美国IOOS落后。除了Argo数据中心, JCOMMOPS专门成立了国际Argo信息中心 (Argo Information Center, AIC) , 主要负责整个Argo观测网的运行监测, 提供每个浮标的元数据信息、漂移位置、观测剖面数量、数据质量等相关信息查询服务, 但并不提供浮标的具体观测数据。此外, JCOMMOPS还为全球海洋观测系统(Global Ocean Observing System, GOOS) 建立了一个庞大的数据监测系统, 负责监测不同子系统中每个平台的运行情况, 这些子系统主要包括Argo、DBCP (DataBuoy Cooperatio Panel, DBCP) 、OceanSITES、GO-SHIP和SOT (Ship Observation Team, SOT) 等, 而这些平台的观测数据则还是由各自子系统来负责接收和处理。* x* m% W4 I- ~* f$ F# H
国内针对海洋大数据的共享应用平台的建设大多还处于概念或探索阶段, 真正进入业务化运行的并不多见。2018年, 由国家海洋信息中心牵头建设的国家海洋科学数据共享服务平台 (http://mds.nmdis.org.cn) 正式上线发布, 内容涵盖海洋实测数据、分析预报产品和专题信息产品等, 数据总量达2.3TB, 是我国目前最为全面的一个海洋数据共享服务平台, 但其最大缺点是大部分数据无法进行实时更新。另外, 像中国科学院海洋研究所、中国科学院南海海洋研究所、中国极地研究中心等单位也建立了海洋数据中心, 但其提供的数据共享服务仍有很大的局限性。自然资源部第二海洋研究所下属的中国Argo实时资料中心 (http://www.argo.org.cn) 是国际Argo认可的9个国家资料中心之一, 虽然其业务范围仅限于Argo观测数据, 但其建立的整套数据接收、处理和分发系统已完全实现业务化运行, 符合国际Argo的要求。同济大学于2017年开始在东海和南海建设海底科学观测网, 该观测网将集成水文、生态和地质等多学科观测平台, 观测数据通过海底光缆传输到岸基站, 该观测网建设目前只处于起步阶段, 针对观测网的数据共享应用平台还处于摸索阶段。2018年, 由青岛海洋科技与技术国家实验室牵头, 正式启动建设智慧海洋大数据共享支撑平台, 该平台拟由一个总平台和若干子平台组成。, d8 o+ o2 }0 O5 j. l9 A4 g6 {
7 m: I Q Z6 n9 l
& }6 j" P$ a: r$ ]2 智慧海洋共享应用平台发展特点0 p- n/ t x* t+ p X, N
3 o5 b& F3 C. Y2.1 强调数据管理的规范化
/ Y) |9 [) q8 d. I9 ?$ I* z/ \8 Z1 o |. \2 a t
未来智慧海洋观测系统将是一个集多平台、多传感器和跨学科的综合性系统, 其观测数据包含各种物理、环境和生物地球化学要素, 采样方式各不相同, 采用的数据传输方式也不统一。面对如此复杂的数据源 (原始数据) , 制定一个有效的数据管理规范或标准显得十分重要, 可以满足智慧海洋共享应用平台对各种数据的高效处理、质量控制、存储和分发共享的要求。如美国IOOS项目启动之初, 就制定了一套数据内容标准 (Distributed Control System, DCS) 来规定各元数据和观测变量的名称、属性和单位等相关内容, 同时还规定了统一的网络服务 (表1) 、基于气候科学模拟语言(Climate Science Modelling Language, CSML) 的原位数据编码、数据目录/显示、格式测试和验证等内容, 只有这样, 才能有效地将各种观测平台和传感器, 以及各区域子系统的数据进行整合。在数据管理规范化方面做得比较好的另一个例子是国际Argo计划。该计划从一开始就制定了严格的数据存储和质量控制规范并不定期地进行修订, 针对近几年生物地球化学传感器的加入, 还专门成立了工作小组来着手制定各类要素的计算和质量控制方法, 同时全球Argo资料中心 (GDAC) 还开发了格式检验工具, 来过滤那些存储格式无法满足规范要求的Argo数据 (包括元数据、剖面数据、轨迹数据和技术信息数据) 。
5 e4 _, O; r$ V; F表1 IOOS数据整合框架内使用的网络服务和数据编码
. I. S/ I0 z4 v6 S
; a7 x8 D* h _$ F) w/ f4 m. @, o2.2 共享应用平台服务功能越来越强大
5 V6 x6 e. f M1 P4 f, w1 e" g& h! E" Q3 @( p0 E
海洋大数据时代的到来使得人们能轻易获取比以往更多观测数据的同时, 也大大增加了快速有效处理这些数据、提取有用信息的难度, 因此需要开发一个功能强大的共享应用平台, 来帮助人们快捷获取数据的同时, 进行信息的挖掘, 甚至实现在线分析。如美国IOOS项目的Glider资料中心 (https://gliders.ioos.us/) 基于UCAR开发的THREDDS (Thematic Real-time Environmental Distributed Data Services) 数据服务工具, 实现基于网络通用数据格式 (NetCDF) 的Glider数据的查询和下载服务。而这些数据的在线显示和分析则使用了RPS ASA公司开发的OceansMap网络入口, 提供所有加入IOOS项目的Glider观测数据的在线显示。OceansMap还为IOOS中的台站、雷达站和模式输出等提供类似的信息服务。另一个类似的例子是加拿大海底观测网 (http://www.oceannetworks.ca/) , 通过不同的平台 (如ERDDAP、手机APP、Oceans2.0和API等) 为用户提供数据在线显示和下载服务。Oceans2.0的功能非常强大, 可按照站点、类型、观测要素等进行排序和查询, 最终向用户提供的是每个传感器观测要素的时间序列图形和选取数据, 而且用户可以自由选择各种画图选项。由此可见, 未来智慧海洋观测系统必将是一个复杂的、集多种平台和传感器的综合性系统, 开发一个功能强大的共享应用平台将大大提高用户检索和应用数据的效率,从而有效扩大数据在基础研究和业务化预测预报中的应用范围。
+ I( f; s2 Y; _& g# Q; M3 对策与建议
0 R! x* B# G% c- W, ~4 u: M% s
' [3 ~$ f8 @# k7 W- Y3 S7 Z随着我国海洋观测技术的快速发展, 特别是智慧海洋观测系统的建设, 建立一个有影响力的国际共享应用平台已迫在眉睫。然而, 无论是在海洋数据规范化管理还是在数据共享服务平台建设上, 我国与发达国家相比还存在明显差距, 已经严重影响到我国智慧海洋建设进程, 为此, 提出以下几点对策和建议, 供决策部门参考。3.1 尽快制定针对不同观测平台数据管理规范
* U0 F' a6 Y$ M" {# G3 c; Y( T! Z4 J6 N5 N1 j4 j* j
智慧海洋观测系统集成了各类观测平台, 每个平台包含不同类型的传感器, 传统的数据管理规范或标准已经无法满足其复杂的观测数据的管理需求, 因此需要主管部门尽快组织力量制定相应的数据管理规范或标准。数据管理规范或标准的内容主要涉及观测平台的数据接收、处理、存储和分发等方面。其中, 数据接收部分包括编码、传输协议和时效性等内容;数据处理部分包括信息解译和质量控制;数据存储部分包括元数据、观测数据和技术信息等文件中各类变量的规范化定义和存储;数据分发部分包括传输协议、分级共享策略和时效性等内容。在制定管理规范时, 应充分借鉴当前比较成熟的观测系统业已制定的规范, 如Argo、美国IOOS Glider和TAO (Tropical Atmosphere Ocean) 等。3.2 加强数据质量控制方法研究
+ l8 I- i7 `& P6 m1 v+ ^% X
2 `( K6 p2 b; u5 P. ^; x* k观测数据质量对于整个智慧海洋观测系统来说是十分关键的环节, 但往往也是最容易被忽视的环节。在现有比较成熟的观测系统中 (如Argo和美国IOOS Glider) , 如何有效开展质量控制一直以来受到高度重视, 并由专门的工作组来从事这项工作, 保证这些观测系统的长期可持续发展。新型观测平台和传感器的使用, 给数据质量控制提出了更高的要求, 而且这种质量控制过程通常需要在24h内由计算机自动完成, 但是国内从事该基础性工作的技术人员非常少, 且无法获得充足的经费支持, 因此需要主管部门尽快出台一些倾斜政策和管理办法, 支持更多的科研人员来从事数据质量控制方法的基础性研究工作。9 G" i# w/ d1 z( I, A: Z/ G' G
3.3 加强具备专业知识的系统设计人才培养
& x# J. C8 U% R3 d# E6 G. U- y8 F+ k- I5 b* f6 l
随着海洋大数据时代的到来, 涉及系统设计、信息挖掘、大数据分析等方面的人才, 特别是同时具备海洋专业知识的人才将十分稀缺。海洋本身具有特殊性和复杂性,依靠缺乏专业知识的人设计的共享应用服务平台, 必将存在众多缺陷, 无法满足专业上的需求。因此, 主管部门应高度重视本专业的系统设计人才培养, 并设立相关的人才培养项目, 通过国际合作等方式, 学习国外先进技术和经验, 服务于我国智慧海洋国际共享应用平台建设。
/ \/ L5 c( I: x& j& e# T* G$ s) ^0 Z5 w. ^; a
文章来源:原刊于《海洋开发与管理》2020年01期: w/ O; G$ `: H! Z1 x
作者:孙朝辉, 自然资源部第二海洋研究所高级工程师;李兆钦,自然资源部第二海洋研究所;刘增宏,自然资源部第二海洋研究所高级工程师 |