当今是一个数据爆发增长的时代。移动互联网、移动终端和数据传感器的出现，使数据以超出人们想象的速度增长。据调查机构估测，数据数量一直在增加，这个速度不仅是指数据流的增长，而且还包括全新的数据种类的增多。目前数据容量增长的速度，已经大大超过了硬件技术的发展速度，并正在引发数据存储和处理的危机。据统计，2013年全球产生的数据达到3.5泽字节，到2020年产生的数量将增至44泽字节。

“大数据”一词来自于未来学家托夫勒于1980年所著的《第三次浪潮》。早开始对大数据进行应用探索的是2005年雅虎公司的Hadoop项目。Hadoop其初只是用来解决网页搜索问题的一个项目，后被Apache Software Foundation公司引入并成为开源应用。Hadoop是由多个软件产品组成的一个生态系统，这些软件产品共同实现功能和灵活的大数据分析。

世界上许多都已经认识到了大数据所蕴含的重要战略意义，纷纷开始在层面进行战略部署，以迎接大数据技术革命正在带来的新的机遇和挑战。以美国为代表的发达在推进大数据上已经形成了从发展战略、法律框架到行动计划的完整布局。

美国在《大数据研究和发展倡议》中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国科学基金会、卫生研究院、国防部、能源部、国防部研究局、地质勘探局等6个联邦部门和机构。

拥有世界第二多人口的印度，近两年也持续运用大数据，期许打造出一个更便利、更亲民的智慧城市。印度全国软件与服务企业协会(Nasscom)预计，印度大数据行业规模在三年内将增长，是当前规模的六倍，同时还是全球大数据行业平均增长速度的两倍。对于印度的整个IT行业来说，大数据时代的到来会创造更多更新的机遇。

英国政府2012年时计划在未来两年内，在大数据和节能计算研究上投资1.89亿英镑，以带动企业在该领域的投资。大数据被英国看作是自己的优势所在，且英国认为已在政府层面为大数据做好了准备。

法国政府在2013年投入近1150万欧元，用于7个大数据市场研发项目。目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。”法国政府在《数字化路线图》中列出了五项将大力支持的战略性高新技术，大数据就是其中一项。

日本在2012新一轮IT振兴计划中，将发展大数据作为战略层面提出，重点关注大数据应用技术，如社会化媒体等智能技术的开发、新医疗技术的开发、以及交通拥堵治理等公共领域的应用。

新加坡政府在大数据发展过程中充当了关键角色，抓住了大数据发展的五大关键要素：基础设施、产业链、人才、技术和立法，弥补了企业的短板。新加坡政府很早就提出支持新加坡企业采用大数据技术，利用大数据提升政府服务水平。

此外，澳大利亚、加拿大、新西兰、德国和印度等国也在大数据领域进行了研究部署，还纷纷推出本国的公共数据开放网站，以使更多的人可以使用大数据资源，并从中获得利益。目前，全球至少拥有大大小小的数据开放网站50余个。

2.1 欧盟大数据的发展

目前，欧盟及其成员国已经明确制定大数据发展战略，数据价值链不同阶段产生的价值将成为未来知识经济的核心，利用好数据可以为运输、健康或制造业等传统行业带来新的机遇。

欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。

（1）数据价值链战略计划

欧盟委员会正在研究制定数据价值链战略计划，以实现数据的大价值，重点是通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值。数据价值链的概念为数据的生命周期，从数据产生、验证以及进一步加工后，以新的创新产品和服务形式出现的利用和再利用。

数据价值链战略计划遵循的主要原则是：高质量数据的广泛获得性，包括公共资助数据

的免费获得；作为数字化单一市场一部分，欧盟内数据的自由流动；寻求个人潜在隐私问题与其数据再利用潜力之间的适当平衡，同时赋予公民以其希望形式使用自己数据的权利。

这一计划的重点是培育一个连贯的欧洲数据生态系统，促进围绕数据的研究和创新工作，采纳数据服务及产品，采取具体行动，改善数据价值提取的框架条件，包括基础能力、基础设备、标准以及有利的政策和法规环境。目前正在单一战略框架下制定一系列重点行动，解决数据价值链中与价值创造相关的大量交叉问题。

数据价值链战略计划包括开放数据、云计算、高性能计算和科学知识开放获取四大战略。

•数据开放战略

欧盟认为，为加强创新潜力，应尽可能的以好的方式使用资源，这些创新资源就是数据，开放数据将成为新的就业和经济增长的重要工具。为了应对这一变革，2010年11月欧盟通信委员会向欧洲议会提交了“开放数据：创新、增长和透明治理的引擎”的报告，报告以开放数据为核心，制定了应对大数据挑战的战略。

•云计算战略

2012年9月，欧委会通过公布了“释放欧洲云计算服务潜力”战略，战略计划通过两年时间，把欧盟打造成云计算服务的强势集团，为2014-2020年期间的欧盟云起飞（夯实基础。欧盟云计算战略及三大关键行动分别为：规范和简化的云计算标准；云计算安全和公平的合同条款及条件；建设欧盟云计算伙伴关系，驱动创新和增长。其它的具体行动举措还包括：数据保护、网络安全、信任举措、云计算互操作性、宽带部署、在线服务、公共行业首先参与云计算和国际对话与合作等。目前欧盟已成立6个战略实施工作小组，具体涉及云标准协调、服务标准协议、认证计划、行为守则、研究小组和云伙伴关系。

•高性能计算战略

在欧盟第七框架计划和“地平线2020”计划下的研究和创新支持可扩展的高性能计算系统。小型“数据中心式开箱”可以单独部署或集中在嵌入式系统在汽车或交换机，或者可以在大规模地聚集成为一个云服务器——如处理单元（GPU）或者高性能计算（HPC）系统。

•科学知识开放获取

科学知识开放获取的目标是提高欧盟层面和成员国层面政府资助的科学研究的影响力，2012-2013年，欧盟委员会投入4500万欧元建设支持开放共享和科学信息长期保存的基础设施，并与各个相关利益团体就开放共享和数字信息保存工作进行对话，同时建议各成员国：制定本国的公共资助科研论文开放共享政策，探索科学数据开放共享和科学信息长期保存，支持相应的基础设施建设。2012年7月17日，欧盟委员会发布开放共享政策，宣布欧盟Horizon2020计划所资助科研论文全部实行开放共享。2013年12月25日，欧盟委员会宣布启动试点，开放公共资助研究数据，2014-2015年，参与开放研究数据试点的关键领域的项目将获得约30亿欧元的经费。

（2）资助“大数据”和“开放数据”领域的研究和创新活动

欧盟委员会在资助“大数据”和“开放数据”领域的研究和创新活动外，还启动“连接欧洲设施”（CEF）计划，采取权益和债务证券及补助相结合的形式促进数字基础设施的建设。在2014年1月的信息和网络日上，欧盟委员会确定了“地平线2020”连接欧洲设施计划的2014-2015年工作内容。

（3）实施开放数据政策

开放数据政策一方面制定公共信息再利用的法规和执行规则以及欧盟委员会自身数据再利用规则；另一方面支持公共部门信息开放活动，此外还搭建开放数据平台。

（4）促进公共资助科研实验成果和数据的使用及再利用

促进公共资助科研试验成果和数据的使用和再使用也称科学知识开放获取。

2.2 亚洲大数据的发展

整体来说，相比欧洲，亚洲大数据发展相对落后，在大数据发展过程中，更多的还是探索及学习阶段。目前，亚洲的很多大数据公司都在海外市场进行了相关市场探索。未来，亚洲市场将有望成为大数据业务的主战场，因为世界总人口的60%都居住在亚洲，且亚洲上网人数在不断上升。

3.1 全球大数据现状

对于海量并且瞬息万变的大数据来说，存储已然不是最终目标，如何从数据中获得包括商业价值在内的红利，才是其真正的意义所在。全球各个行业的数据存储量，每年都在以50%多的速度暴增。由于缺乏规范的数据共享和渠道，不同行业间很难形成数据互利共享，数据平台乃至所也就成为了迫切需求。

美国Factual公司成立于2008年，不仅向大公司提供数据，同时也面向规模较小的软件开发商，每一条信息都有17到40条的相关描述。按浮动价格向公司和独立软件开发商出售数据，小规模的数据提供是免费的，大型客户需要支付的费用则会达到成百上千万美元。包括Facebook、CitySearch、AT&T及其他一些公司都会使用Factual来获取相关信息。

2013年4月，富士通公司也宣布建立自己的“大数据”市场“Dataplaza”，并将中介服务培育为主力业务之一，计划在2016年之前将参与企业增加至千家左右。

对于数据安全方面的问题，大数据平台也已经有所准备。通过数据脱敏技术，对数据源的属性进行描述和标注，如果涉及到敏感数据的调用，将进行实时的数据清洗、技术屏蔽、审核处理，最终提供给需求方的数据也将在完成安全测试之后，再行提供。即使调用成功，也会在使用次数用尽或使用期限到期之后，对权限进行收回。这一系列流程，不仅避免了用户敏感数据的流出，也照顾到了开发者在线的便捷性。

3.2 全球大数据市场规模

近两年来，大数据发展浪潮席卷全球。随着社会的进步和信息通信技术的发展，信息系统在各行业、各领域拓展。这些系统采集、处理、积累的数据越来越多，数据量增速越来越快，以至用“海量、爆炸性增长”等词汇已无法形容数据的增长速度。

2014年，全球大数据市场规模达到约285亿美元，实现53.23%的增长，比2013年57.63%的增速略有回落，但增长态势不变，且呈现出应用成为新增长动力、竞争态势愈加激烈、融资并购成为市场热点、产业生态不断优化和基础设施建设更加合理等特点。

2015年，全球大数据总体加速发展趋势不变，全球大数据市场规模将达到421亿美元，预计2020年全球大数据市场规模将达到1263.21亿美元，同比增长17.51%。

大数据成为全球IT支出新的增长点。数据显示，2014年数据中心系统支出达1430亿美元，比2013年增长2.30%。预计2015年大企业对与大数据有关的项目的平均开支将达到1800万美元，目前，70%的大企业和56%的中小企业已经部署或者正在计划部署与大数据有关的项目和计划。

3.3 全球大数据市场结构及应用领域

2014年，全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。

全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额靠前的细分市场，分别占据35.40%、17.30%、14.70%、12.50%和7.90%的市场份额。云服务的市场份额为6.30%，基础软件占据3.90%的市场份额，网络服务仅占据了2.00%的市场份额。

目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的创新型公司，希望为市场带来创新方案并推动技术发展。另有一些则是以数据库/数据仓储业务为主的知名公司，利用自身资源与技术优势地位冲击大数据领域。

(1)IBM

IBM（国际商业机器公司），总公司在纽约州阿蒙克市，1911年托马斯•沃森创立于美国，是全球大的信息技术和业务解决方案公司。根据Wikibon发布的报告，作为2013年大数据业务营收成绩好的公司，IBM2013年从大数据相关产品及服务中获得了13.68亿美元收益。其具体产品包括服务器与存储硬件、数据库软件、分析应用程序以及相关服务等。在IBM围绕大数据开发出的产品中，DB2、Informix与InfoSphere数据库平台、Cognos与SPSS分析应用可谓为知名。IBM同时也为Hadoop开源数据分析平台提供支持。

IBM定位于商业智能分析软件，致力于为大型企业提供数据库平台和分析服务。因此IBM对于大型企业内部数据具有深厚的积累和洞见。企业内部数据价值之一在于通过分析企业内部数据，提高生产运营和管理效率。尤其是规模较大的大型集团，急需从过去的数据中寻找到规律，并进行预测。IBM的商业分析软件正是满足了这些企业的需求，也是IBM数据价值

所在。与初创型公司相比，IBM对的另一优势在于提供多个行业的解决方案，对于各行业的数据理解更为深刻。

（2）惠普公司

惠普总部位于美国加利福尼亚州的帕罗奥多，是一家全球性的资讯科技公司。惠普在2013年获得的大数据营收总值为8.69亿美元。这家供应商还提供与之相关的硬件、软件以及服务，其为知名的方案当数Vertica分析平台。惠普的大数据解决方案包含策略、设计、实施、保护和合规性方案。

惠普的大数据服务主要包括大数据分析工具产品以及大数据解决方案。大数据分析工具可以帮助企业了解大数据分析的模式以及对现有数据进行更好的利用；解决方案主要包括数据保护、信息存档、信息管理以及Haven大数据平台，其中Haven可充分利用所有结构化和非结构化数据进行决策和解决问题。Haven既可在内部部署，也可在云中部署，以较快的速度和规模提供大数据分析和下一代应用，同时，也对社区资源加以利用。

（3）Splunk公司

Splunk是大数据处理领域家上市公司，公司成立于2003年，是家大数据处理的上市公司，于2012年4月19日在纳斯达克成功上市，并在个日以109%的涨幅撑开了人们对大数据的想象空间。作为一家商业智能软件提供商，其软件平台可以实时对任何APP、服务器或网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表，在此基础上帮助客户避免服务性能降低或中断。Splunk从2011年起，毛利率高达80%以上。2013年该公司营收总额为2.83亿美元。

Splunk专注于商业智能软件，除了积累企业服务器和网络上的数据，在数据可视化领域也具备技术优势。Splunk展开全球化策略后开拓了多个行业的客户，也积累了一定的企业数据。相对于IBM这一类的巨头，Splunk的积累仍处于起步阶段。而可视化分析技术、数据挖掘技术可能为Splunk带来数据应用的机遇。

（4）戴尔公司

戴尔是一家总部位于美国德克萨斯州朗德罗克的世界五百强企业，由迈克尔•戴尔于1984年创立。戴尔以生产、设计、销售家用以及办公室电脑而闻名，不过它同时也涉足高端电脑市场，生产与销售服务器、数据储存设备、网络设备等。

DELL的大数据解决方案主要定位是对存储基础架构应需而变的要求，基于戴尔流动数据体系架构的存储解决方案，为客户提供智能的端对端数据管理，重新定义数据经济：数据库优化解决方案，帮助国内企业更加轻松地利用的数据库开发与管理解决方案深耕细作，提升个人和开发团队的工作效率；Toad，大幅提升数据库管理效率，并实现数据库开发和管理自动化；服务器端缓存解决方案，大幅加快应用响应速度、加强数据中心技术之间联系并简化IT运营，重新划定IT边界；存储虚拟化解决方案，打造数据存储解决方案，实现容量扩展、文件交互共享，数据安全备份保护，迎接大数据时代；SharePlex，利用强大的复制和集成功能，确保数据库的高可用性。

（5）Opower公司

Opower创立于2009年，是一家家庭能源数据分析公司，产品专注于能源软件和数据。公司让大数据变成有效营销手段，以帮助电力公司向它的客户推广绿色能源。同时，Opower还可主动帮助客户管理能源使用量。与来自8个的93个电气公司合作，并帮助数千万个家庭减少能源消费上的支出。

Opower大的积累在于能耗数据。消费者用电量特征、电器能耗规律，这些数据可以服务多个群体：电力公司、家庭用户，未来还可能服务工业用户。能源大数据行业的进入壁垒在于技术，Opower是全球的能源大数据公司，无论是数据积累还是大数据分析技术，都将为能源行业带来很大的应用价值。

（6）Teradata公司

Teradata天睿公司，是美国前十大上市软件公司之一。经过逾30年的发展，Teradata天睿公司已经成为全球大的专注于大数据分析、数据仓库和整合营销管理解决方案的供应商。Teradata凭借自家硬件平台、数据库以及分析软件而声名远播。它同时针对零售及运输行业推出了专门的分析工具。目前，Teradata天睿公司大中华区设有8个分支机构，逾1200名员工，涵盖市场、研发、技术和解决方案推广、销售、咨询服务、售后技术支持，以及在大连的全球咨询中心等业务。

主营产品包含：企业级数据仓库；动态数据仓库、动态企业智能。主要的软硬件产品包括：Teradata数据库软件；Teradata专用平台系列；Teradata逻辑数据模型和Teradata分析应用程序和服务。主要的服务包括，Teradata专业顾问服务；Teradata客户支持服务和培训服务。提供应用的领域涉及商业和储蓄银行、通信运营商、航空公司、旅游及交通、零售商、医疗保健供应商、制造业。

（7）Oracle公司

甲骨文总部位于美国加利福尼亚州的红木滩。1989年正式进入中国市场。目前甲骨文已超越IBM，成为继Microsoft后全球第二大软件公司。甲骨文一直以其冠绝群雄的数据库产品闻名，但事实上他们也是大数据领域的主要竞逐者之一。

甲骨文大数据设备将英特尔服务器、ClouderaHadoop发行版以及甲骨文的NoSQL数据库结合到了一起。Oracle大数据机与OracleExalogic中间件云服务器、OracleExadata数据库云服务器以及OracleExalytics商务智能云服务器一起组成了Oracle广泛、高度集成化系统产品组合，为企业提供了一个端到端的大数据解决方案。Oracle提供了大数据软硬一体优化集成解决方案，其行业解决方案包括移动应用用户行为统计分析、基于日志和访问内容的用户画像、机顶盒用户使用习惯和精准营销、语义分析和搜索引擎实时处理、海量指纹识别以及人脸识别查询系统、分布式大数据存储和管理系统、海量历史数据分析平台、基于互联网的舆情监控系统等。

（8）微软公司

微软是一家总部位于美国的跨国电脑科技公司，由比尔•盖茨与保罗•艾伦创办于1975年，公司总部设立在华盛顿州的雷德蒙德市。以研发、制造、和提供广泛的电脑软件服务业务为主。微软的大数据发展战略可谓雄心勃勃，包括与Hortonworks建立合作关系、建立一家大数据新兴企业以及推出基于Hortonworks数据平台的HDInsights工具，微软的SQLServer数据库也颇具知名度。

微软大数据方案--整合Hadoop和客户的核心数据库，并借助日常使用的办公工具通过丰富的3D数据可视化技术将非结构化数据和结构化数据带入现实。借助Microsoft的大数据解决方案，客户可以使用用于SQLServer的相同技术部署一个Hadoop群集，并在数分钟内做好查询与合并关系型和非关系型数据的准备。

（9）亚马逊公司

亚马逊是美国大的一家网络电子商务公司，位于华盛顿州的西雅图。是网络上早开始经营电子商务的公司之一，成立初期专注书籍销售业务，现在销售范围已相当广泛，成为

全球商品品种多的网上零售商和全球第二大互联网企业。Amazon向来以企业云平台闻名于世，但同时也推出过一系列大数据产品，其中包括基于Hadoop的ElasticMapReduce、DynamoDB大数据数据库以及能够与AmazonWebServices顺利协作的Redshift规模化并行数据仓储方案。

在亚马逊近二十年的历史中，自建物流不但是其发展过程中的关键环节，同时也与大数据挖掘结合在一起，帮助亚马逊在营销方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。首先，亚马逊经由以云计算为依托的电商开放平台，通过客户数据收集、目标客户甄选、营销组合设计和营销信息推送四个步骤来实现精准营销。整个过程的核心在于对目标客户的准确定位，从而在分析客户偏好的基础上有针对性地发布营销信息。其次，有了数据分析系统的支撑，智能物流也得以发展。对于亚马逊这样一家秉承“客户至上”的企业来说，其智能物流方面的创新是其他电商企业难以企及的物流的精准实现了更高层次的消费者体验满足。

（10）Google公司

谷歌是一家美国的跨国科技企业，致力于互联网搜索、云计算、广告技术等领域，开发并提供大量基于互联网的产品与服务。Google是个被公认为全球大的搜索引擎，在全球范围内拥有无数的用户谷歌公司推出的大数据产品包括BigQuery—一款基于云的大数据分析平台。

谷歌通过搜索引擎积累大量的用户搜索数据，又通过三项开创性的大数据技术打造开源的大数据平台，最终实现谷歌闭合的大数据生态圈。公司几乎积累了互联网各个环节的数据，具有其他厂商不可的优势。这些数据通过广告转化成谷歌的销售收入，也为企业实现了精准营销的价值。

（11）SAP公司

SAP公司（纽交所代码：SAP）成立于1972年，总部位于德国沃尔多夫市，拥有覆盖全球的合作伙伴网络。作为全球的企业管理软件解决方案提供商，SAP帮助各行业不同规模的企业实现卓越运营。

SAP大数据解决方案已深入社会多个领域。目前提供的主要大数据类型及市场价值有：政府大数据，降低政府基金的浪费和管理风险；医疗大数据，甑别出带有癌症DNA需要治疗

的病人，通过模型分析提升医疗诊断的效率；市场营销，预测客户购买意愿，降低开销；利用自身存储的数据仓库，洞察客户信号；分析客户行为发现优质客户，通过发掘合适的目标客户提升投资回报率；更好的开辟新市场和新产品；预测潜在的设备质量状况；体育赛事分析，高度并发，根据客户需求高度自由的数据互动；电子商务，通过分析模型预测进行推送，使网页访问量提升30%，跳转访问推送产品访问量提升500%。

（12）EMC公司

易安信为一家美国信息存储资讯科技公司，主要业务为信息存储及管理产品、服务和解决方案。EMC公司创建于1979年，总部在马萨诸塞州霍普金顿市。EMC一方面帮助客户保存并分析大数据，另外也充当着大数据分析智囊“营销科学实验室”的所在地——这家实验室专门分析营销类数据。EMC推出的新爆炸性消息是与VMware及通用电气一道支持Pivotal公司。Pivotal将对Hadoop与EMC的Greenplum数据库与HAWQ查询工具进行整合。EMC的主要产品为企业级服务器存储硬件和软件，以及与存储相关的网络产品。

（1）成为重要战略资源

在未来一段时间内，大数据将成为企业、社会和层面重要的战略资源。大数据将不断成为各类机构，尤其是企业的重要资产，成为提升机构和公司竞争力的有力。企业将更加钟情于用户数据，充分利用客户与其在线产品或服务交互产生的数据，并从中获取价值。此外，在市场影响方面，大数据也将扮演重要角色——影响着广告、产品推销和消费者行为。

（2）数据隐私标准将出台

大数据将面临隐私保护的重大挑战，现有的隐私保护法规和技术手段难以适应大数据环境，个人隐私越来越难以保护，有可能会出现有偿隐私服务，数据“面罩”将会流行。预计各国都将会有一系列关于数据隐私的标准和条例出台。

（3）与云计算深度融合

大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的模式，大数据则为云计算提供了新的商业价值。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。

（4）分析方法发生变革

大数据分析将出现一系列重大变革。就像计算机和互联网一样，大数据可能是新一波的技术革命。基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据里的很多算法和基础理论，这方面很可能会产生理论的突破。

（5）网络安全问题凸显

大数据的安全令人担忧，大数据的保护越来越重要。大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制提出更高的要求。网络和数字化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。

（6）以数据为中心的解决方案与应用的兴起

世界已经不再将应用作为独有的优势，相反，数据则能够带来在B2B和B2C领域内确立独特优势的关键点。在数据管理中，以数据为中心的模式将会取代传统以应用为中心的模式。

学大数据，上小牛学堂就对了~