/ P$ `8 Z3 M H. q+ W( I( l8 _
什么是时空大数据?
: b' c( Q: I5 p. O$ N) C3 @4 x 时空大数据兼具大数据与时空数据的特性,通常来说,大数据具有:Volume数据量大(计量单位是PB、EB、甚至ZB级)、Variety种类来源多样化、Value数据价值密度相对较低、Velocity数据处理时效性要求高、Veracity数据质量要求高五大特点,即5V特性。
! x$ q7 |- g' ` 而时空大数据包括时空基准(时间和空间基准)数据、GNSS和位置轨迹数据、空间大地测量和物理大地测量数据、海洋测绘数据、地图(集)数据、遥感影像数据、与位置相关联的空间媒体数据、地名数据及时空数据与大数据融合产生的数据,等等。时空大数据除具有一般大数据的特征外,还具有6个特征。
& u& p6 H4 E; j/ ]: L 1、位置特征
, I8 Z+ a: n" ^" f: v
定位于点、线、面、体的三维(X,Y,Z)位置数据,具有复杂的拓扑关系、方向关系和度量关系。
! M0 Y/ V- L4 a7 ~ 2、时间特征
[, L2 z ], u: T( T; Y& D. c 时空大数据是随时间的推移而变化的,位置在变化,属性也在变化。
- N$ ^1 @! e& H) Z8 d
3、属性特征
x9 ~* v8 E$ |3 K$ F
点、线、面、体目标都有自己的质量、数量特征。
7 l0 U! T. P$ Y 4、尺度(分辨率)特征
6 C( M! y0 g' P2 A0 Z( ^0 u
尺度是空间大数据的主要特征之一。尺度效应普遍存在:一,简单比例尺变化(缩放)所造成的地理信息表达效应;二,不同的比例尺地图上经过综合后不同详细程度的表示;三,对于不同采样粒度呈现的空间格局和描述的细节层次不同;四,对地理信息进行分析时由于采用的数据单元不同而引起的悖论,即可塑性面积单元问题。
: v# k! a4 S% @, M$ L& D
5、多源异构特征
7 l) H" Z4 {' X2 v' t5 o' u& z 一是数据来源的多样性,二是地理空间信息的多源异构性。
7 B+ `3 z& c" m9 \3 h/ {" K/ N 6、多维动态可视化特征
, A$ a0 c% O; ~
所有来源的随时间变化的数据都可以与三维地理空间信息融合,并实现动态可视化。
4 `0 w; N0 I8 z
上述时空大数据特征,有助于时空大数据的分析,揭示大数据的时间变化趋势和空间分布规律。但同时也证明了时空大数据在组织、存储、管理和分析计算等方面对数据引擎有着极高的要求。
. F3 k; M/ N; C* p; x6 l- i( [
时空大数据的意义
0 X8 Z, M8 ^- C3 n 1、城市感知数据的收集和解析
2 @+ L) D/ p, n. x3 q8 r: z; N0 I# t
如何从大量的传感器和设备中高效而可靠地收集、传送数据将给现有的传感器网络技术带来挑战。此外,人作为传感器参与到城市感知过程是一个新概念。例如,当一场灾难发生后,有些用户会在社交网络上发布消息或上传照片。这些用户其实就是在感知发生在他们身边的事情。用户在出入地铁站时的刷卡行为也间接帮助我们感知了地铁系统的拥挤和人们的出行。人赋予了传统传感器强大的感知能力和前所未有的灵活性,但产生的数据更加随机、无序(如微博上的文字),数据的产生时间也变得难以预测,这给数据的收集和解析带来了挑战。
3 V" y# N/ {- b* s, z; ^ 2、海量异构数据管理
0 k* H8 i& d2 S4 q 城市产生的数据五花八门,属性差别很大。例如:气象是时序数据,兴趣点是空间点数据,道路是空间图数据,人的移动是轨迹数据(时间+空间),交通流量是流数据,社交网上用户发布的信息是文本或图像数据。如何管理和整合大规模的异构数据是一个新的挑战。尤其是在一个应用中使用多种数据时,只有提前建立起不同数据之间的关联,才能使后面的分析和挖掘过程变得高效、可行。
5 V' B. c& [% |7 ]9 { 3、构建有效的时空索引
( }# N% D4 o4 p1 `: W6 M% r 有效的索引可以大大提高数据提取的效率。由于空间和时间是城市计算中最常用的两个数据维度,各种空间索引和时空索引都是常用技术。更重要的是利用时空索引技术将不同种类的数据(如文本、车流等)关联和组织起来,为之后的高效数据挖掘和分析做好准备。
' k( _; J0 B5 G3 w
来源:
- ~0 h4 h& v6 t# q4 \0 ]* ^+ @
' k$ K) F4 W- p' t