Hadoop将存储企业一半的数据

随着Hadoop的用户增加,项目开始兴起,增长在预料当中。

Hortonworks公司的架构师Arun-Murthy在Hadoop峰会上演讲

Hadoop将经历大规模增长。有雄心勃勃的预言称,到2020年Hadoop将存储企业接近一半的数据。然而,在布鲁塞尔举行的Hadoop 峰会上,用户和开发人员都在忙着应用和扩展千变万化的大数据平台。

“到2020年,百分之五十的企业数据的将存储在Hadoop里,”Hortonworks 公司首席执行官Rob Bearden说道。Forrester公司分析师Mike Gualtieri对这个预测补充了一些细节,而英国天然气公司(British Gas)和JustGiving等用户解释了他们是如何使用该系统的。同时,Apache基金会内外的全球Hadoop项目继续增长。

该平台的正面新闻很快淹没了有关Hadoop标准化的争议。

数据的操作系统

“我将Hadoop看成是数据的操作系统,”Gualtieri说道。 Hortonworks公司架构师 Arun Murthy 解释道,Hadoop推动了数据存取的的民主化,就像早期颇为流行的计算机操作系统打破计算机使用的垄断一样。

Murthy表示:改变数据的角色就是释放创造力。如果采用个人应用存储数据,那么用途会比较有限,甚至可能成为“黑数据”,变成存储起来却从未使用的数据。相比之下,“数据操作系统在数据普遍存在的世界里具有很大的意义。”

他表示,Gualtieri所称的“Hadooponomics”使得采用成为必然。 Hadoop集群将实时处理的数据分发到大型存储池当中,并使用开源经济学进行扩张,提供了一种廉价和存取速度快的解决方案,以代替非常昂贵且存取速度缓慢的数据仓库产品。

英国天然气公司大数据服务负责人Dee Mitra表示,能源电力公司计划采用Hadoop管理由英国的智能测量项目(smart meter program)产生的大量数据。这些测量项目产生的持续不断的信息将能够让“实时客户服务”成为可能。

Mitra表示,英国天然气公司使用Hortonworks公司的Hadoop已经有十八个月时间了,在这个时候,其易用性和生态系统的可靠性将大幅增强。“一年前,英国天然气公司不得不在Hadoop上做很多工作。现在,这样的工作已经非常多了。”

同时,在线募捐网站JustGiving首席分析官Mike Bugembe表示:已经搭建了一个有关用户、公益事业和影响人的平台“GiveGraph”。

“这不只是向人们展示(公益)事业那么简单,”Bugembe说道。他指出,人与人之间的关系会影响到他们的捐献。“我们不能只做粗略分析,我们需要获得对有影响力的人更为精细的理解。”

该GiveGraph采用了运行在Azure云上且配备有微软分析软件HDInsight的Hadoop。Bugembe表示,通过JustGiving,约2200万人帮助筹集了30亿美元。

管理和治理

处理和控制Hadoop集群是另一个主要的主题,同时还要确保它处理数据的方式可以进行跟踪,以满足合规的要求。Hadoop存在几种不同的框架,其中Apache Spark 是正在获得关注的一个框架。

Hortonworks公司的Janos Matya最近购买了SequenceIQ,展示了这个技术是如何在AWS的云上搭建Hadoop集群,而竞争性产品Cloudera和MapR 则被描述为基于公有云的技术——MAPR覆盖了所有主要的云服务,Cloudera运行在亚马逊平台上。

MapR 还在这次活动上宣布将Hadoop带入传统数据仓库领域的合作消息——这是通过与商务情报提供商Information Builders缔结合作协议而实现的。

英文原文链接:

http://www.datacenterdynamics.com/it-networks/hadoop-to-hold-half-of-all-enterprise-data/93740.article