模块化海洋观测数据传输系统设计与实现

海洋观测数据传输是整个海洋观测体系中的基础性部分，涵盖观测数据采集、传输、存储和分发应用多个方面，是海区海洋观测预报和防灾减灾工作持续推进的基础性设施。目前我国已初步形成了由岸基监测站、浮标、志愿船、海洋卫星、地面传输网络等组成的海洋环境立体观测传输体系，在海洋观测预报、防灾减灾等领域中发挥了重要作用。
! g+ u6 z! ^! H1 ^/ d6 Q随着海区观测预报和防灾减灾业务工作的不断发展，海洋观测数据传输体系对于基础信息化支撑的依赖度逐年增大，要求实现对海洋业务工作的全覆盖、持续性、常态化的基础信息支撑。现有的海洋观测数据传输体系逐渐暴露出传输效率、安全性低、可扩展性差等诸多弊端，在一定程度上阻碍了海洋业务的可持续发展。
为解决现有海洋观测数据传输体系存在的问题，本文设计了模块化的海洋观测数据传输系统(以下简称“系统”)，从基础传输网络、数据传输软件、安全设施建设等方面，打造稳定、快速、安全、可控的海洋观测数据传输体系。
4 j, r; l  m8 i

                               
登录/注册后可看大图

* b7 V3 ]- z* j' f! V  G9 P% T& L

- Z7 d* i  Q& K, L                               
登录/注册后可看大图

2系统设计
/ \+ p2 J" {2 [# D/ M

                               
登录/注册后可看大图

/ F% z3 Z/ o! J. r2.1系统总体架构

系统基于C/S架构，采用模块化设计把每个功能点设计成为一个独立的模块，模块间采用松耦合的方式进行调用，保持彼此独立性，并预留模块开发接口以适应之后功能扩展。在模块配置层通过模块自定义组合形成不同业务子系统，满足不同的业务需求和服务对象，最大程度上保证系统的灵活性和对需求变更的适应性。系统总体架构分为硬件/网络设备层、数据存储层、数据访问层等6层，系统总体架构图如图1所示。
( S. \' ]5 M8 K

' }3 _  P, o1 u- k% C7 \                               
登录/注册后可看大图

$ T+ k/ E, q! b; T' ~* I

■图1 模块化海洋观测数据传输系统总体架构图

2.1.1 硬件/网络设备层
其为系统的运行提供底层网络硬件支撑，包括 网络服务、主机服务、存储服务、备份服务。
/ M+ j! r) Y  O/ g  |: g/ d2.1.2 数据存储层
- v9 d9 [# l0 |  o, Y(1)系统的数据存储使用了SqlServer数据库、 Access数据库、文件存储3种相结合的方式。其中SqlServer包含了关系数据库和空间数据库两类：关系数据库用来存储系统所产生的历史数据，如观测数据、监控数据、日志数据等；空间数据库应用于平台的GIS地图展示和管理。Access是桌面数据库存储系统产生的本地化存储数据，如传输日志和登录信息等。文件存储用于在本地磁盘上保存接收的原始文件和备份文件。
% I8 r5 h3 K+ M+ ?9 y0 t; u2.1.3 数据访问层
4 K: E$ {3 J& b; p/ ~其为了增强数据库系统的安全，在应用系统和 数据库之间利用中间件技术实现对数据库访问和管理。
/ T  J4 B; Z, J2.1.4 逻辑业务层
按照行业要求和模块化设计的原则将逻辑业务层细分成了6个模块，依次是数据传输模块、数据管理模块、网络管理模块、观测设备管理模块、传输策略管理模块、系统管理模块。另外，为了适应需求的变更，拟预留模块开发接口以实现功能扩展。
2.1.5 模块配置层
9 _- i$ j: e7 F# m* T通过模块自定义组合形成不同业务子系统，满 足不同的业务需求和服务对象。
2.1.6 系统应用层
; S) Y* g) b, p0 l6 u* Z将不同的模块组合封装为独立的子系统并服务 于各自用户对象。
( \* p' _' F; B. P
3 H5 h6 L$ x4 V! E" z/ I2.2系统数据传输 模式设置
: @3 i# S' Z/ g  T! s& N  F
: P! Q% Q+ \  e- e* A2.2.1 4级数据传输模式
6 Z0 u' g/ o1 {+ w# c& z  E当前海洋观测数据传输体系是采用自下而上分级传输方式，共分为海洋站、中心站、海区级、国家级4个层级，每层包含多个传输节点，每个节点通过设定IP实现向上逐级或越级数据上报，构成4级传输模式，如图2所示。

                               
登录/注册后可看大图

图2 4级数据传输模式

这种传输模式存在以下3个弊端。
& I( j- H3 v& o0 Y" d! }* e(1)在管理上，缺少全局控制机制，无法实现对每个节点进行统一控制。
(2)在数据传输上，由于每个节点能独立控制数据发送对象，缺乏数据传输管控机制，这就可能造成整个传输链路的失控。
& o3 B* b# m: ]2 u; L8 Z) h" Y2 j (3)系统架构的扩展性和适应性差。由于当前系统架构固化了传输层级，一旦组织架构层次发生变更，现在的传输体系无法进行适应性改变，导致最终必须对系统流程进行重新开发。
3 a" Q7 `; Z* n/ l/ m* s) Y 2.2.2 无级数据传输模式
1 j, o( b' @( |" F) E7 u为了解决上述问题，更好适应当前业务需求，以及应对将来需求变更带来的风险，拟建立扁平化数据传输模式，弱化层级关系，打破之前的4层分级结构，采用无级数据传输模式，如图3所示。其中，所有节点没有层级之分，不存在前后关系，由后台服务端配置全局性的数据传输策略，每个节点按照制定好的策略向其他节点进行数据传输，且允许双向和并发传输。
+ G  z1 p( n( @/ O7 o* Z2 H" d6 _' `

" B: O4 P6 Q+ d  x+ }                               
登录/注册后可看大图

3 y0 M0 ^4 ]) S0 I+ W- N! b# _

图3 模块化海洋观测数据无级数据传输模式

7 \% V3 `( G* P1 A1 b采用无级数据传输模式优点如下。
(1)传输链路可控性。每个节点在发起数据传输前须先同后台服务端进行连接获取相关数据传输策略，并严格按照策略进行数据传输，便于监控和掌握每个节点数据传输动向，从而实现对整个传输体系统一管控。
0 f  w$ d1 ~6 q0 N* t, ?0 t: E; X(2)需求变更适应性。通过服务端策略设置来控制每个节点数据传输走向，即便将来传输体系组织架构和传输需求发生改变，只需修改部分节点的策略就能够满足新的要求，而无需对系统进行重新开发。因此采用无级数据传输模式能够改好地应对需求变更带来的风险。
' f7 L# s6 j: W (3)节点管理灵活性。当需要新增或删除一个节点，须先同服务端进行连接，由服务端进行审核授权后才将其迁入或移除传输体系，这给节点管理带来极大的便利性和灵活性。
4 L  d7 G% R- I. D( a/ C(4)数据传输安全性。由服务端进行统一数据传输控制，禁止节点自行设定传输目标，避免了人为的干扰，保证数据传输安全性。
0 t6 l2 o" e" \+ K# E

* B( x# H5 E, m5 T- e0 @, B# o                               
登录/注册后可看大图

3 系统主要功能实现

2 I6 I' q5 |8 Q2 ?3 O; `2 n                               
登录/注册后可看大图

& M4 S' K( m) q8 O# V8 D3.1 观测数据传输
8 _& y: _$ M7 X1 s# X& `0 Z
(1) 数据选择 ：选择本地待发送的文件，支持文件多选和文件夹的选择。
  u# [. W# `7 H3 d  C( J7 v* X (2) 数据发送 ：发送前从后端系统服务器获取相应权限和传输策略，根据策略设置，通过FTP协议实现数据的发送。
(3) 数据存储 ：将收集的各类站点数据自动存于服务器，数据文件按照特定的规范与标准进行存储，并可设置本地存储位置。
; H, c' i1 g1 M' u! M# f9 M
3.2观测数据管理
- T% p' v' X" v. E6 t
, n; O7 `; h, {7 M (1)质量控制：通过对数据完整性、合理性、一致性分析实现对数据的质量控制，保证入库数据的真实性与准确性。
(2)数据入库：对海洋观测数据进行标准化处理，使之符合统一的规范和标准，并采用统一的编码和格式对数据进行加载入库。
0 I1 {' K5 q/ s: R9 ] (3)数据检索系统：可即时查阅由志愿船、台站、浮标等监测点监测的历史数据，包括整点数据、半点数据、分钟数据等。可自主选定时间段，查询的主要数据类型有：电压、瞬时风力、瞬时风向、风速、 风向、压力、温度、相对潮湿、水温、盐碱性、波高、波向、小波周期、降水量、潮位、速度、流向、二氧化碳、水质等；可将该查询的数据导出到本地(通过权限管理严格管控)，并可将历史数据转换成曲线，直观反应数据变化趋势。
(4)数据监测：实时观测数据监控，主要实时展示在各监测点所监测到的实时数据。一方面可在GIS地图上直接展示各浮标、志愿船、台站、雷达、应急车辆等的情况信息，可在地图上即时展示对各监测站点的详细监测数据，直观明了地反映各监控点的情况信息，并可即时监测数据传输系统状况。另一方面对数据传输系统状况实施监测，可即时展示各站点之间的数据状况和本站点数据接入情况和数据传递状况。
$ P0 r8 ]- ~% c8 }" v% U6 C
$ g# |; s8 c! D5 }% l3.3数据传输策略管理
0 ~. E$ r) c# K; a: k3 _$ n
/ g( U: E/ A, \7 [, [: U; @) K(1) 注册管理 ：第一次使用前须进行注册登记，后端审核通过方可进行操作。
/ H% k; i2 r% A6 v4 }0 x7 ]5 g" W (2) 节点管理 ：审核前端系统接入申请，增加节点、删除节点，修改节点参数，分配节点权限等。
1 B0 V0 L/ u& U5 z (3) 数据传输策略管理 ：通过服务端权限设置控制前端系统数据传输的流向，即可设置每个节点的发送对象。

3.4数据库设计

考虑存储整个系统的关系数据和空间数据，所构建数据库应具有以下功能 ：
3 ?) s6 ^$ H) y8 p( a1 \0 {(1) 对空间数据存储的支持 ；
(2) 数据检索速度 ；
(3) 管理海量数据的能力 ；
0 O# ?4 {2 V" J9 j; j  B(4) 系统稳定性、安全性 ；
(5) 客户端对 Windows 系统的使用 , 并提供数据库连接 ；
. C" N0 K/ p2 v9 p6 Q4 Z$ g. @(6) 和操作系统的兼容性。
在运行中，一方面考虑到在系统维护中的便推广性，可以选用对安全性、可靠性、扩展性都有上佳效果的 Sql Server 数据库，作为系统后端数据库中的管理软件 ；另一方面由于系统在业务化运行后会产生大量本地化数据 ( 如参数信息、日志信息、文件传输信息等 )，为了方便数据保存以及系统运维，需要在每个前台客户端安装 Access 桌面数据库保存这些数据。
" B+ e0 u/ I' J( S7 E, O  w$ T8 v数据传输中所使用的信息数据库管理系统，一般分为基础理数据库、信息数据库、管理数据库、系统数据库、Access 桌面数据库5个部分。系统数据库总体结构图如图 4 所示。

% y( u, Q' Y, C$ g! F                               
登录/注册后可看大图

$ d6 V' P- b" g0 A2 e0 v

图4 模块化海洋观测数据传输系统数据库总体结构图

) ?" R1 o: T* P+ ^这些数据库在进行储存、使用之后，统一存放到了系统的数据中心内，并通过完善的数据储存技术以及国际领先的互操作技术，有效整合存储了大量的、多源的、异构的海洋数据资源，把大量数据整合在了系统的数据库平台内，根据不同主体、不同领域、不同时段和层次实现高效数据管理，实现了各种层次的数据存取方式以及多维动态处理的数据分析手段，从而有效解决了数据复杂无序、原始数据多而基础层数据少、数据多而信息差的问题，为海洋数据管理领域提供了多源、多维度的数据支持。
2 X6 h" x5 c! }4 结语
- O" f1 L% v( U3 _& W- w海洋观测数据传输系统是海洋观测体系构建的核心，随着近几年观测业务的不断发展，稳定高效的数据传输对于有效地支撑起海洋观测预警报和防灾减灾工作具有重要意义。

该文章来源互联网，如有侵权请联系删除
2 @1 L! a% |! `% b查看原文：www.52ocean.cn