 p/ _4 ~5 p+ R9 Q8 W" [" T
9 w, R* f* A9 C$ D, y- N- b4 d$ X. l9 }$ g( ^' Q
大数据(Big Data),是指需要通过快速获取、处理、分析以从中提取价值的海量、多样化的交易数据、交互数据与传感数据,其规模往往达到了PB(1024TB)级。不同机构对大数据也有不同的定义。——以下数据来源于前瞻产业研究院发布的《中国大数据产业发展前景与投资战略规划分析报告》。- g5 Q: C+ P1 v
, y6 g4 ?7 `, k6 p. _- V% Y3 @
# m! M0 g; ^4 ^" O; I. ^8 [, Z; r" a5 E* F4 C/ d$ F% @
: T- \! {4 ^' VGartner对大数据的定义:大数据是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。6 x7 I; b: Z" B: Z0 n
, v k- b: ]3 F1 u" S5 y" g
0 ]7 I3 I$ A9 v3 K& k
麦肯锡对大数据的定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
/ T' ~" N* g7 v4 ~; x1 g8 _
$ A7 y) m+ i9 n1 R' d, g) Z4 K; B6 a S
移动信息化研究中心对大数据的定义:大数据是帮助企业利用海量数据资产,实时、精确地洞察未知逻辑领域的动态变化,并快速重塑业务流程、组织和行业的新兴数据管理技术。
: i) k. J5 C/ y0 X: \! M) u
2 M* J5 O. p: t1 D# z, `2 u! s& Y: ~
$ E( U" |* U% j! _% k/ [2 B
9 G0 V: F3 z S. W4 g' S, F% I3 F大数据产业链简介 2 B" v# v1 B5 b: b# ?6 @2 i
+ e% O* H: m! d/ X
1 }& D: L+ \' D" z" b4 |大数据产业:是指一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动的集合。主要包括大数据硬件、大数据软件和大数据应用三大块。
9 h: F0 P' S, c% _% Y; w/ J) W6 O' c$ b3 U
8 Y% l) r: s3 M2 R1 T8 f v. L
◆ 大数据提供者' h* M# ?2 ^5 W2 d3 t, j* F$ F6 v2 U
5 n7 U2 L* I2 G
1 I* @) i6 E- W( d% R$ x2 |' N
拥有数据的公司、个人、社会团体以及政府机构等,此类角色属于大数据产业链上的基础环节,包括数据源提供者、数据流通平台提供者和数据API提供者。目前我国大数据提供者包括政府管理部门、企业数据源提供商、互联网数据源提供商、物联网数据源提供商、移动通讯数据源提供商、提供数据流通平台服务和数据API服务的第三方数据服务企业、社会团体或者个人等。/ R( C+ t. a9 G1 U- R# G
( F+ s: k+ G! F* \* M
1 k/ ]9 |1 N0 n$ J, _2 r$ P◆ 大数据产品提供者# e4 v; a7 W. r; L8 [; B
* H- C& n. b% V$ ]; P
' ]# N- K. {( R2 @# p& L提供直接应用于大数据产品的企业,包括提供大数据应用软件、大数据基础软件、大数据相关硬件产品的企业。
9 ]+ k4 c0 J- ]# \8 X- @$ N+ S$ ?8 G) ~' M: b: d4 K
/ G: d. p3 K1 L& _ W' W大数据应用软件产品提供者,包括提供整体解决方案的综合技术服务商,也包括大数据计算基础设施商(与云结合),从简单的文件存储的空间租售模式,逐步扩展到提供数据聚合平台,进而扩展到为客户提供分析业务的服务上。
3 g2 e9 _8 F' F$ k" R
0 S$ Y' d; R7 g) T& ]
; J3 b4 b9 k, P' R: H大数据基础软件提供商,此类企业搭建大数据平台、提供相关大数据技术支持、云存储、数据安全等,此类公司在某些垂直行业或者区域掌握大数据入口与出口,并能对一些数据进行采集、整合和汇集。这样的企业包括传统的IT企业、设备商以及新兴的云服务相关企业。4 ~) W! Q9 Z" ^+ m! Z
9 {% M& s& H) e3 ?
5 o! b) s, `" X( @: [7 p大数据相关硬件产品提供商,此类企业提供大数据采集、接入、存储、传输、安全等硬件产品和设备。5 |. H7 U5 ^! O$ c; c2 w
2 `- K* ^( K" ^. G, A0 P4 I9 l4 f2 k; ~" o
◆ 大数据服务提供者! K3 R1 M% v4 y1 C" l
6 l) S4 `# R1 O' E& S
$ @" |* b1 Q y9 h" g$ e以大数据为核心资源,以大数据应用为主业开展商业经营的企业。包括大数据应用服务提供者、大数据分析服务提供者、大数据基础设施服务提供者。这类企业挖掘数据价值,处于大数据产业链的下游,它们通过发掘隐藏在大数据中的价值,不断推动大数据产业链中各个环节的发展和成熟。从某种角度上说正是此类公司创造了大数据的真正价值,具体包括:9 n' i& f2 r# N( W- D9 z
! Y0 V) I' n; I3 u( ]+ t
6 u. T: f7 d% `, e0 v1)应用服务提供者,基于大数据技术,对外提供大数据服务。8 v* Z5 ~" X' X" p5 O6 ]
t7 F/ W1 x6 H+ Q5 Z- J# L& q2 w+ u) m* W! l, F- T3 j
% Y- @0 J& ]' c$ P& H# Y; f: @; s
2)分析服务提供者,提供技术服务支持、技术(方法、商业等)咨询,或者为企业提供类似数据科学家的咨询服务。 d n$ y- [- A$ [+ `! I, q7 ?$ f
0 z' P8 K4 p; d2 R# x, ?. E. @" Y' [5 S$ S1 F7 A" w" T
3)大数据基础设施服务提供者,提供面向大数据技术和服务提供者的培训、咨询、推广等的基础类通用类的服务提供者。
1 D. Y; h% Y5 Z! |+ i( h) s Z, `3 a9 h. B
7 F1 c6 p" G5 g' m0 ^$ I. _
) ?9 I s0 _* K: e) S# o# i% F8 Q# I/ R5 e
- X8 p$ h0 D; a; _6 i
3 f1 q. ]' T' ?& L6 `/ a; Y3 y
4 j* Z8 l* w& {
" C9 m. K0 A/ j: X% P1 }8 O5 h& Q2 I8 a; K ]+ A* R$ ~1 C
数据爆炸式增长,行业市场规模持续扩大
! C, `, M/ S- ]/ }5 F* i9 Y" j( g
d3 P" ]; E$ t1 [, E& _- X当前网民增长进入了一个相对平稳的阶段,互联网在易转化人群和发达地区居民中的普及率已经达到较高水平,下一阶段中国互联网的普及将转向受教育程度较低的人群以及发展相对落后地区的居民。目前,随着移动互联网的繁荣发展,移动终端设备价格更低廉、接入互联网更方便等特性,为部分落后地区和难转化人群中的互联网推广工作提供了契机。- R6 x- I. p' M0 [% Q
0 w1 ?3 G) p0 A2 U* }9 [
+ v( q0 m( D& l: ^; X$ F
4 |( v1 T5 f3 L: S @
' D$ u L. Q' L+ Q. w
截至2018年12月,我国网民规模达8.29亿,普及率达59.6%,较2017年底提升3.8个百分点,全年新增网民5653万。我国手机网民规模达8.17亿,网民通过手机接入互联网的比例高达98.6%。
+ c F) v4 w i$ ~5 n! ?) \! e1 m# G& F: @0 g3 K6 D* g
! l' T1 d1 Q, g- V5 o
2018年,互联网覆盖范围进一步扩大,贫困地区网络基础设施“最后一公里”逐步打通,“数字鸿沟”加快弥合;移动流量资费大幅下降,跨省“漫游”成为历史,居民入网门槛进一步降低,信息交流效率得到提升。 c, \% i+ n: D, u( @; g- [; g
7 y7 X# q" a ~( U+ M+ c# H
( K3 @4 n4 K& N7 S9 \) d4 _! c
# `1 M; M$ t# K9 q1 k# a+ u6 @( u& S' a3 z3 ~
D" C5 L/ ] z1 C) d& _
当前,我国正在加速从数据大国向着数据强国迈进。国际数据公司和数据存储公司希捷的一份报告显示,到2025年,随着中国物联网等新技术的持续推进,其产生的数据将超过美国。我国产生的数据量将从2018年的约7.6ZB增至2025年的48.6ZB,数据交易迎来战略机遇期。1zettabyte大约是1万亿gigabyte,这是当今常用的测量方法。与此同时,美国2018年的数据约为6.9ZB。到2025年,这个数字预计将达到30.6ZB。
/ E* A9 F0 H i+ S. K1 f4 l4 O" T8 z$ T) t: @* X
3 u! k& ~! E' u& w/ e
) X( E. O4 k v8 L0 G6 T5 O0 Q. y4 k6 D
7 B' P% {- @+ Y _% p6 S
在产业层面,我国大数据产业继续保持高速发展,大数据将深入渗透到各行各业。对于我国大数据产业的规模,目前各个研究机构均采取简介方法估算。中国信息通信研究院结合对大数据相关企业的调研测算,2017年我国大数据市场产值为4700亿元人民币,同比增长31.9%。
. y" K; ?- S3 Q& b% c# o9 d
4 ]8 h& J7 |7 n+ e9 d+ i) M
2 j m6 m. z$ Z3 P) Y
! [! w) O: ]6 J" }( v/ F! j$ j
! @7 C4 j' }: L3 x) [' h L( S' O$ W# G6 y' z* i) C
注:此处大数据统计口径:指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动,包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动,以及相关信息技术服务。" M! [2 e* D3 d" \+ |5 j, ~! g# u0 C
) @. \2 e. n+ d }
9 ^/ |' r( o: B# |' B8 a5 G+ J m
0 p" W! I( N5 q+ R
- l. `1 n: j0 p+ s, K# p5 ?6 g: @7 w. |* c S; i
大数据应用层将占据市场最大份额
$ @0 W& V1 p7 ]' d" r) O7 B/ P' W$ b7 C/ B+ F' b9 k+ c
, b5 h) e* K5 Z1 @/ A
大数据产业包括一切与大数据的产生与集聚(数据源)、组织与管理(存储)、分析与发现(技术)、交易、应用与衍生产业相关的所有活动。大数据产业按照数据价值实现流程,包括数据源、大数据硬件支撑层、大数据技术层、大数据交易层、大数据应用层与大数据衍生层等六大层级,每一层都包含相应的IT硬件设施、软件技术与信息服务等。; @& I. F @; j w2 r
4 d) U3 T! Q o& @' t( x; `4 A; A# w6 O# Q, w; n5 S
: f' e+ C9 P, A2 p" m; a
, y$ p$ p5 c7 ?8 V# d8 v
" K. R; q% _. j- b0 V2 |$ z
5 A: d5 a; {- B0 g' d, W
从发展趋势来看,随着大数据相关产品及应用的不断普及,未来应用层规模将逐步增长。在技术层、数据源层以及衍生层的共同支撑下,2020年中国大数据应用市场规模份额将达到40%。其中,交易市场规模虽然占比最少,但是正是由于它的存在,使得数据的交易从法律上实现数据的合法化问题,以及实现了数据价值兑现。
# [' A" F5 G5 d' j# ?6 N0 |5 U9 c5 W9 b5 Y% @
; W( z! }. y3 E* o
& r/ }% O/ g+ r; c* M( g' k( Z* {# e) a* ~
% h' s# Y1 g) Z2 G$ O% ]2 r5 E
大数据产业园区迅速发展助力数字经济发展
5 {. N# J# _; B, T2 ^+ N" y' j. p3 \. Q
* T+ K& K* v5 j8 u3 a' @国内大数据产业园是集聚大数据产业资源的重要载体。当前,不仅八个国家级大数据综合试验区(贵州、京津冀、辽宁、内蒙古、上海、河南、重庆、珠三角)的大数据产业园/基地快速发展,与这些试验区毗邻的省份,如安徽、湖北、四川、陕西、浙江、山东和江苏,也都加快推进“大数据产业园区/基地”建设,增强数字经济发展实力,加速产业转型升级。- b& z1 d( F5 @$ O _
. m6 a2 n( m% w6 ~! u! d
5 H* I) h7 W- H
7 |7 }- G+ \6 {8 K) ^
) M- G' \* q/ k多数大数据产业园的发展思路:“基础设施建设-数汇集整合开放共享,企业上云-大数据融合应用-大数据产业链延伸”,即首先聚集数据资源,而后通过落地开放共享,协同效应带动开发,最终实现产业链的拓展和完善。
5 a* i- G6 S+ V- l6 |
" p' P, P7 X# Y/ b8 L
. Q b. Y( L: q# J中国的大数据产业园可以分为三类:北京、上海、广州和深圳的大数据产业园多脱胎于原先的各类软件园,具有良好的发展基础和优势;河南、重庆、大连、沈阳、内蒙古、贵州等国家大数据综合试验区,加速推进辖区内大数据产业园建设;部分东南和中部省份,顺应产业发展趋势,也积极布局大数据产业园,力促产业转型升级。
: O/ W9 P& S) |) J" e' Y
8 C+ G- \9 M3 k, @. Z5 c
0 {; ~, m2 Q! S# p
: b1 F5 }# h% z. o* { H6 O. t" g# j: D8 c
- j9 m, z8 r. ]9 k
, s4 V8 y1 a2 \* j( x; z, i% C+ r+ F$ y% l) _. o
政策推动产业细化,产业价值链向上下游延伸
( h, Z/ \, h, @+ N+ T( N5 [3 X5 G) M- Q: r
7 a# w3 k# J5 u! D, T3 D3 Y$ j( P* x
2016年以来,随着大数据底层设施逐渐成熟,大数据分析开始结合具体行业,向下游垂直行业应用延伸。大数据开始由主题概念向业绩兑现转换。包括房地产、商贸零售、金融、汽车等传统行业开始深入布局大数据的行业应用。大数据源的战略性资源属性越来越普遍地得到各方认同,拥有数据源的企业在补齐分析和应用的技术,有望凭借数据链上游核心资源迎来快速发展。2015年,国家印发《关于促进大数据发展的行动纲要》,第一次将大数据上升到国家战略高度,提出了我国大数据的顶层设计。7 D5 O2 b# z+ b
( z( U( c- G( c- m$ P
% _9 N9 U) W" n! R, B; i
( r D; t2 C4 P% P
7 j% \- F& a7 `( i3 O
4 Z% o9 q! t' f5 i1 `* Z4 N6 [3 X4 c9 f2 N/ q: D; U, N
* {$ a# |8 `2 _" |# e( V密集出台的大数据政策表明国家大力推动的意愿,环保部、国务院办公厅、国土资源部、国家林业局、煤工委、交通运输部、农业部的细则侧重指引垂直行业的落地。2016年,大数据已全面从理论研究迈向实际应用;2017年,在政策的推动下,大数据加快了向各行业中的普及,通过实际的经济效益实现,将带动更多的行业开启大数据应用探索。
* B; q/ b5 b; c7 n
0 v' p& w" I1 F( A
. e& i' P0 R- M4 q. S' G1 r7 f% R, T5 w- \& R
5 `, z6 a( h @8 Q' v: E
目前,大数据在金融领域的应用最为广泛,处于领先地位,其他行业应用尚处于初级阶段。在未来,大数据应用将全面覆盖各个产业,应用技术和方法将会更加成熟,应用市场规模也将保持高速稳定的增长态势。预计2020年中国大数据应用最多的为政府,行业应用方面,金融大数据还将占据25%的份额,其次为工业大数据,预计占比6.64%。电力、交通、电信等其他领域也会不断加强大数据应用。& D. p4 Q( F; [: j- ~" n7 u
7 ^" u2 K# x6 L Z4 o: {3 |( F Y% E! l- D0 K, x
9 g5 D9 |' X7 n5 _9 ]1 g" B2 ^2 J
" O5 i" C; N2 W& v4 m
1 V/ A+ i3 @4 I9 \) U; l# }) R& B8 j# h- U
2 f! j: ?- l; Z+ O
4 ^: E" }+ ?9 O9 e6 m& U. E
8 u% @. N1 b8 _/ c! Y
$ K2 @9 Y& Q+ l, O8 C
$ B( I* y+ N# q6 i' T6 B: E* p1 E o8 s7 _( V4 y
数据外包将成为产业新机遇点 8 X' x; S! T3 R5 I
* P# \: X8 K% }" |
! f& D. @5 K3 Q! G0 F3 f" [! K
数据外包是指大数据企业将价值链中原本由自身提供的具有基础性的、共性的、非核心的IT业务和基于IT业务的流程剥离出来后,外包给专业服务提供商来完成,通过重组价值链、优化资源配置,降低成本,增强核心竞争力。( `/ T) ? n( ]$ n
0 o" M6 m: |5 }8 g& e
! N) ]$ ^# y- G! [: i' {数据外包有效地解决了数据孤岛以及清理和标记机器学习培训数据需要花费大量的时间和费用这两个问题,促成了“三赢”。 ]2 V# @: ]4 k8 g
; l5 ?* C, C) c
8 s9 v# G0 O1 y0 J4 ^% }
4 R1 ?3 I( G& L9 D6 x, A. h2 Z% p& Y0 y
8 E: @* z( _# O; R
数据安全防护需求驱动制度和技术变革
3 F# p9 b' P& ]# W& \2 N6 P6 V) _% d6 u+ ]
2 ]5 E1 ^3 L# v; O. i数据安全防护是通过采用各种技术和管理措施,使与数据采集、存储、分析处理等各类系统正常运行,从而确保各类数据的可用性、完整性和保密性。通过采用全面的数据发现能力、快速的安全事件响应,以及有效地云和大数据安全保护,来为用户提供合规的、弹性的、智能的、一站式数据安全解决方案。
- B) f& O1 q) R7 K% F3 [7 I6 k+ b
. k1 A4 n$ } z3 c9 `9 C+ ~5 D8 I" T w. h: p
数据泄露事件持续不断。根据全球知名数据安全公司金雅拓(Gemalto)发布的最新安全违规水平指数调查报告,显示2017年全球共发生1765起数据泄露事件,失窃、丢失或泄露数据总量高达26亿条,约为2016年的两倍。其中,身份盗用占全部数据泄露事件的69%,是最主要的数据泄露类型。而仅2018年上半年,全球就发生了945起数据泄露事件,共计导致45亿条数据泄露。5 H2 B, k2 G9 R4 f; Z; _
5 ?, m9 {) o$ }/ q7 j5 z+ U
1 i. r! |% E5 e2 z/ z9 v/ A/ u1 H6 i- t( t! K
1 [6 B2 |# j7 `9 U- v/ i l q
' n7 J5 f: W3 V: N; f; [国内数据泄露方面,2018年6月,一位ID为“f666666”的用户在暗网上开始兜售圆通10亿条快递数据,该用户表示售卖的数据为2014年下旬的数据,数据信息包括寄(收)件人姓名,电话,地址等信息,10亿条数据已经经过去重处理,数据重复率低于20%,并以1比特币打包出售。
+ ^# B8 u6 |. j+ d
2 e9 @! e0 I7 x9 ^* L/ m% N6 o9 p" Q, O) ?) _* `
2018年6月,弹幕视频网站AcFun发布公告称,因网站受到黑客攻击,已有近千万条用户数据外泄。
( z: }5 s1 u' U2 ~% g7 E/ r: P8 \2 p& H5 G( M! V. H
$ o- v0 @* q4 Q- M: G
2018年7月,一个ID为“bijiaodiao1688”的暗网用户在“暗网”售卖顺丰快递数据,其称掌握了顺丰快递客户数据总量高达3亿条,售价两个比特币。! }; G2 ~" j4 I
9 |" ]9 r! @& p M# C9 Q$ T! B( t3 a8 ^+ n1 Z8 X
2018年8月,华住旗下多个连锁酒店开房信息数据正在暗网出售,受到影响的酒店包括汉庭酒店、美爵、禧玥、漫心、诺富特、美居、CitiGo、桔子、全季、星程、宜必思、怡莱、海友等,泄露数据总数更是近5亿。
5 C* B$ A% ~9 Y7 S) C
3 c0 i) j" V4 j' P- Q! H; x8 H4 ` |# N9 g8 r' |& e
目前国内的数据安全市场也正处于成长期,随着数据泄露事件数量激增、性质不断恶化,以及企业数字化转型加速、业务上云,物联网、区块链等新技术的落地,国内对于数据安全相关领域和应用的重视程度正在不断增加。0 X0 a3 l) {8 `; X% y) R; T
9 x# M0 S& L) \) J S8 Y [* P& v( Q) A7 c E
5 D2 I% L4 T+ _4 b线下场景营销成为大数据应用新机遇
/ H& W) H5 _3 Z0 r2 ~, I
* `9 ]% d& Q7 z* @* t5 h. I" e! O+ J, H) a+ s: n! t% [
随着“互联网流量红利”达到饱和,线上营销服务逐步由增量竞争转变为存量竞争。在此背景下,以新零售为代表的“线下场景营销”成为破局关键。
* [& V5 @% N/ p) J$ E+ C& P. k3 F: i* L% e9 G' ~
, H" L3 h s- ?8 _
根据新零售理论,线上销售将会与线下销售结合,同时会结合现代物流、大数据、云计算等技术。未来可能会有60%-80%的零售属于新零售。数据驱动是新零售的内核之一。
8 s6 F9 M0 w, S5 Z b. U- p1 H9 v! V4 j. H) O$ @# R
5 j, }! M* ?! t6 a0 N! o% g
数字营销供应商,通过收集线下场景数据,制作“人物画像”,精准刻画线下客户群体。进一步,通过与各类“广告主”合作,协助其将品牌精准推送给目标客户。
i( s9 K' G. L) c8 d; }, m; r. j
- R5 S0 l: M* @( r& o8 x( Y: G' `
转自丨前瞻产业研究院! g9 R0 L" g3 A+ T
选自丨《中国大数据产业发展前景与投资战略规划分析报告》
& w; ^! Q1 b- D2 o- \( G G : H9 t" Z6 ?8 Q
7 ~3 O; z9 X! a5 d2 e( d( C$ ^, V: K" R7 Q8 h: q7 B6 y
研究所简介
7 o3 n' t. T0 {. Y4 J2 {% ]9 v8 g7 x9 _& B; G5 d; w; j- Y
3 m! \2 _$ H) f( G; x. c国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。1 x" h- [0 N" [- k' [1 c9 n
/ D% h# o3 e/ Q- W0 b3 R6 {5 G1 O, a
# C$ ]3 i0 F7 z" X7 X$ V9 |4 e+ t6 v9 E5 y s( \4 T
地址:北京市海淀区小南庄20号楼A座8 o+ H/ K" A5 t* T+ Z6 G
电话:010-82635522
3 L$ ]9 N7 A5 b4 \1 t7 E/ e微信:iite_er; @- m: F8 a, b2 ]
0 l& ^+ s! w, ^1 A z
( @2 ?, J* L" B/ W4 k" A
+ g1 S7 x" i4 O. O; n, }
: a0 W- y' W) D) S3 r0 E R- V! T# z x) J: a; D2 ?8 `
8 C9 ^( b5 n: M! o L
2 v) G# G5 s+ ^2 H* u, p! D+ F& e& e
来源:http://mp.weixin.qq.com/s?src=11×tamp=1573646405&ver=1972&signature=H4I3nhntACK54exyQKi1H8oPDN5eQSqmohlVvesdrr*DBmmIioGps8kTX785XgCM8v8FI-AR2OQZjNAyrAiwTR-XI7hc0RSvMKNwWERG3dB0cWVqg3Ovvhw2Y4uPpRKp&new=1' B4 [# f+ n/ n
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |