PB级时空数据毫秒级响应相数科技Hubble——不止于快 - 海洋测绘数据包括

弱水三千 · 发表于海洋技术专业 2024-5-12 08:19:35

01 前言

2020年初，一场突如其来的疫情席卷了全球，中国作为疫情阻击战的第一战场，为全世界抗疫斗争提供了宝贵的经验。疫情防控所表现出的“中国速度”不仅是中华民族的意志与决心的体现，同样也得益于数字化防控的先进理念。绘制疫情地图、防控作战图、遥感影像分析...实时海量的时空数据在疫情防控定位跟踪，防疫资源的调度，疫情趋势分析等工作中发挥了不可替代的作用。

2020年第二季度，国家发改委印发《2020年新型城镇化建设和城乡融合发展重点任务》，提出实施“新型智慧城市行动”要求。完善城市数字化管理平台和感知系统。整合多领域信息系统和数据资源，支撑城市健康高效运行，让城市成为“万物互联”，“万物智联”的智能综合体。在这个智能综合体中，无处不在的监测设备、定位设备、通信设备、移动终端、可穿戴设备会产生出动态、高频的海量时空数据，这些数据是“城市大脑”具备灵敏的实时感知能力和智能分析预测能力的关键要素。时空数据库及时空大数据平台已经成为我国新型智慧城市的基础设施，是提升城市现代化治理能力，践行“数字中国”战略的重要抓手。

而只有合理规划和应用城市运行中所产生的海量时空大数据，才能将基础设施与物联网、人工智能、边缘计算等前沿技术结合起来，真正打破城市管理的数字化壁垒。

02 时空大数据具有哪些特点？

时空大数据兼具大数据与时空数据的特性，通常来说，大数据具有：Volume数据量大（计量单位是PB、EB、甚至ZB级）、Variety种类来源多样化、Value数据价值密度相对较低、Velocity数据处理时效性要求高、Veracity数据质量要求高五大特点，即5V特性。

而时空大数据包括时空基准（时间和空间基准）数据、GNSS和位置轨迹数据、空间大地测量和物理大地测量数据、海洋测绘数据、地图（集）数据、遥感影像数据、与位置相关联的空间媒体数据、地名数据及时空数据与大数据融合产生的数据，等等。时空大数据除具有一般大数据的特征外，还具有6个特征。

1、位置特征

定位于点、线、面、体的三维（X,Y,Z）位置数据，具有复杂的拓扑关系、方向关系和度量关系。

2、时间特征

时空大数据是随时间的推移而变化的，位置在变化，属性也在变化。

3、属性特征

点、线、面、体目标都有自己的质量、数量特征。

4、尺度（分辨率）特征

尺度是空间大数据的主要特征之一。尺度效应普遍存在：一，简单比例尺变化（缩放）所造成的地理信息表达效应；二，不同的比例尺地图上经过综合后不同详细程度的表示；三，对于不同采样粒度呈现的空间格局和描述的细节层次不同；四，对地理信息进行分析时由于采用的数据单元不同而引起的悖论，即可塑性面积单元问题。

5、多源异构特征

一是数据来源的多样性，二是地理空间信息的多源异构性。

6、多维动态可视化特征

所有来源的随时间变化的数据都可以与三维地理空间信息融合，并实现动态可视化。

上述时空大数据特征，有助于时空大数据的分析，揭示大数据的时间变化趋势和空间分布规律。但同时也证明了时空大数据在组织、存储、管理和分析计算等方面对数据引擎有着极高的要求。

03 时空大数据存储管理应用有哪些难点？

1、城市感知数据如何收集和解析

如何从大量的传感器和设备中高效而可靠地收集、传送数据将给现有的传感器网络技术带来挑战。此外，人作为传感器参与到城市感知过程是一个新概念。例如，当一场灾难发生后，有些用户会在社交网络上发布消息或上传照片。这些用户其实就是在感知发生在他们身边的事情。用户在出入地铁站时的刷卡行为也间接帮助我们感知了地铁系统的拥挤和人们的出行。人赋予了传统传感器强大的感知能力和前所未有的灵活性，但产生的数据更加随机、无序（如微博上的文字），数据的产生时间也变得难以预测，这给数据的收集和解析带来了挑战。

2、海量异构数据如何管理

城市产生的数据五花八门，属性差别很大。例如：气象是时序数据，兴趣点是空间点数据，道路是空间图数据，人的移动是轨迹数据（时间+空间），交通流量是流数据，社交网上用户发布的信息是文本或图像数据。如何管理和整合大规模的异构数据是一个新的挑战。尤其是在一个应用中使用多种数据时，只有提前建立起不同数据之间的关联，才能使后面的分析和挖掘过程变得高效、可行。

3、如何构建有效的时空索引

有效的索引可以大大提高数据提取的效率。由于空间和时间是城市计算中最常用的两个数据维度，各种空间索引和时空索引都是常用技术。更重要的是利用时空索引技术将不同种类的数据（如文本、车流等）关联和组织起来，为之后的高效数据挖掘和分析做好准备。

——Dataojo Hubble时空大数据引擎应运而生

04 什么是Hubble？

Dataojo Hubble时空大数据引擎，简称Hubble，是一款由相数科技自主研发的运行于分布式云计算环境下的高性能时空数据库组件。主要用于管理海量的 “时空点元”、“时空片元”、“时空轨迹”、“时空网格”、“栅格图元”等多元时空数据，基于高效的时空索引、时空网格模型、空间拓扑分析算法，为用户提供海量异构时空数据的转换集成、实时处理、存储管理、快速查询、弹性计算、建模分析等在线服务和扩展开发支持，可广泛应用于物联网、车联网、城市运营、智能交通、气象分析、环保监测等业务领域的动态时空数据管理和分析。

Hubble时空大数据引擎产品架构

1、Dataojo Hubble时空大数据引擎核心功能

Hubble高性能时空数据引擎主要功能包括时空数据汇聚集成、时空数据存储管理、时空查询、时空计算。

(1)时空数据汇聚集成

Hubble支持文件上传、实时接入和批量写入等三种方式进行时空数据的汇聚集成。Hubble提供空间数据文件上传转换服务接口，支持各类前端采集和业务系统生成的时空点、线、面数据以shp、csv、GeoJSON等常见空间数据格式进行上传。Hubble支持多种时空数据源接入，包括MYSQL、Oracle、PostgreSQL、IBM DB2等主流数据库，以及华为、达梦等国产数据库。Hubble将基于OpenGIS标准规范识别数据的坐标系、投影、时间属性、空间坐标等时空信息进行入库处理，并自动建立高效时空索引。

Hubble提供时空数据实时接入服务接口，针对北斗GNSS、物联网、移动APP等千万甚至上亿终端的数据，基于Kafka进行大并发、低延迟的实时消息接入，结合Spark对接入数据进行流式处理，主要用于支持对动态轨迹数据进行实时纠偏、校正和预警，并建立高效的时空索引，便于在应用中进行历史轨迹查询和时空统计分析。Hubble结合HBase LSM模型（未来还将支持kudu）支持大批量数据的高并发数据写入，最小集群节点写入速度可达到数10万TPS，支持千亿记录级别数据规模。

(2) 时空数据存储管理

针对时空数据的多源特性，需要灵活快速构建数据目录体系，依据实际业务场景对数据进行系统化分类管理；同时，考虑到时空数据在不同应用场景下需要按照不同的逻辑进行筛选组织，单一目录体系可能很难满足复杂多变的数据管理需求，Hubble支持个性化的数据集标签体系，便于用户可灵活地按照区域、时间、类别、用户或其他数据特性进行快速的数据集分类检索和查询浏览。

Hubble通过时空数据工作台来支持时空数据的管理，支持数据集管理、数据目录管理、数据标签管理、数据权限管理、数据导出管理。

(3) 时空查询

Hubble以REST方式提供高效的时空查询服务接口，主要时空查询功能包括空间范围查询、时空关系查询、邻近查询等。

(4) 时空计算

Hubble以REST方式提供高效的时空计算服务接口，主要时空计算功能包括热点计算、密度计算、空间插值计算、网格计算、流量计算、OD分析、栅格计算等。

①网格计算

支持批量空间对象（点、线、面）进行空间网格计算，基于标准空间网格（四边形或六边形）对空间对象属性进行空间分布离散化汇总统计，支持对多个属性字段进行多种统计计算（如最大值、总和、均值、方差等）。可用于统计大范围城市人口、基础设施、物资、事件的空间离散化分布情况。

城市人口分布网格

②密度计算支持对批量空间对象进行离散化时空统计，用于支撑人口、车辆等点状目标，道路、河流等线状目标、地块、湖泊等面状目标在一定时空范围内的密度分布，用于量化特定空间实体的聚集程度。

北京就业密度分布

③热点计算支持对批量空间对象进行离散化时空统计，识别具有统计显著性的高值（热点）和低值（冷点）的空间区域。可用于通过人员、车辆、船只轨迹提取空间区域范围内的热点区域（统计高值聚集区）。

基于上海出租车轨迹点计算车辆分布的热点区域

④等值计算

支持对空间对象（点、网格）进行等值计算和空间插值，生成等值线、等值面，用于支撑空气污染分布、降雨量分布。

平均降水量空间分布图

⑤流量计算

支持沿空间拓扑结构的线数据（道路、航线）对位置、轨迹进行关联分析，常用于道路交通流量计算、航线流量分析等。

道路交通运行监测

⑥OD计算

支持基于时空轨迹进行时空统计分析快速计算输出空间节点流入量/流出量，输出OD计算结果，主要用支撑城市人口迁徙、城市区域通勤分析。

手机信令网格OD分析

2、Dataojo Hubble时空大数据引擎具备哪些优势？

3、具体测试指标

测试指标1

测试指标2

05 Hubble时空大数据引擎应用场景有哪些？

Dataojo Hubble时空大数据引擎凭借其强大的数据、计算处理能力，可以完美契合各类场景的实际应用，为智慧交通、智慧渔业、智慧物流、新零售等业态的运行提供高效保障。以下展示部分Hubble应用场景示例。

1、交通出行

在交通出行领域采用Hubble高性能时空数据引擎，可以支持百万量级车辆动态轨迹的高并发实时接入和分布式存储。通过Hubble提供的专业时空计算服务，可实现车辆轨迹动态纠偏、行驶里程精确计算、电子围栏实时预警、空间分布热力计算、道路轨迹密度实时计算、车辆来源流向分析计算，帮助交管部门和相关交通出行企业快速建立车辆时空数据的汇聚管理和挖掘分析能力，进一步可支持用户展开城市交通出行模型仿真和出行预测分析。

车辆动态轨迹

区域交通OD分析

共享单车空间分布网格分析动态效果演示

2、北斗渔业

采用Hubble高性能时空数据引擎可以对全球AIS（船舶自动识别系统）数据、海量渔船北斗定位数据进行非常高效的存储和管理，支持百亿量级船只历史轨迹的秒级查询，通过时空计算服务可基于船只轨迹的速度、形状、空间关系计算分析出船只的异常行驶、违法捕捞行为。

船只历史轨迹查询

百亿量级船只历史轨迹查询

% V( p! \ \" o; d7 Z5 m
船只历史轨迹查询动态效果演示
2 s3 A; }: U* m

3、即时物流

采用Hubble高性能时空数据引擎存储管理人员信息、车辆信息、订单信息以及骑手实时位置轨迹，通过Hubble提供时空计算服务可支持海量骑手位置实时监控、骑手动态轨迹查询追踪、订单智能派发调度、配送路径智能规划等应用。

物流实时轨迹（隐去订单信息）

物流热力分布

物流轨迹动态效果演示

4、气象分析、环境监测

采用Hubble高性能时空数据引擎动态接入环境智能监测设备实时采集的空气质量、温湿度、噪音、降雨等数据，通过Hubble提供时空计算服务可支持环境数据插值计算、环境质量等值线生成、环境污染网格热力计算、污染源追踪分析等应用。

区域短临降水预报

北京地区降水预测

区域短临降水预报动态效果演示

5、自然资源调查与规划

采用Hubble高性能时空数据引擎对海量的、随时间动态变化的资源调查现状数据、资源规划利用数据进行时空存储，通过Hubble提供时空计算服务可支持土地利用分析、土地合规分析、地块实况分析、林业资源分析、海域资源利用分析等应用。

土地利用类型分析

生物安全格局分析

6、新零售/O2O

采用Hubble高性能时空数据引擎存储管理门店分布、人口网格、用户轨迹、POI数据、AOI数据，通过Hubble提供时空计算服务可支持商业选址、区域客群画像生成、精准广告投放、区域销售预测等应用。

京津冀周边产业空间联系强度

北京周边企业热力分布

商圈外卖订单OD图

特定时段外卖轨迹OD分布

以上是Dataojo Hubble时空大数据引擎在部分场景中的应用，除此之外在智慧城市、智慧人防、智慧公安、应急指挥、疫情防控等领域Dataojo Hubble时空大数据引擎凭借其出色的时空数据处理能力为越来越多的时空大数据平台解决方案助力、赋能。

Dataojo Hubble——不止于快。

PB级时空数据毫秒级响应 相数科技Hubble——不止于快 - 海洋测绘数据包括