2019-11-06 16:56

亚马逊宣布AWS Lake Formation全面上市

导读拥有大量数据集的企业今晚可以轻松一点-至少如果他们是Amazon Web Services订户。亚马逊今晚宣布全面推出AWS Lake Formation,这是一项

拥有大量数据集的企业今晚可以轻松一点-至少如果他们是Amazon Web Services订户。亚马逊今晚宣布全面推出AWS Lake Formation,这是一项完全托管的服务,可促进数据湖的构建,保护和管理。从今天开始,在美国东部(俄亥俄州),美国东部(弗吉尼亚北部),美国西部(俄勒冈),亚太地区(东京)和欧洲(爱尔兰)地区拥有实例的客户可以利用。

“我们的客户告诉我们,Amazon S3是容纳其数据湖的理想场所,这就是为什么AWS托管的数据湖数量最多的原因-每天都有成千上万的数据湖,并且每天都在增长。他们还告诉我们,他们希望更轻松,更快速地设置和管理数据湖。” AWS数据库,分析和机器学习副总裁Raju Gulabani说。“这就是我们构建AWS Lake Formation的原因,因此客户可以花更多时间从他们的数据中学习和创新,而不是将这些数据浪费到正常运行的数据湖中。看到客户如何将其用作发展和转变其业务及客户体验的基础之一,[W] e感到很兴奋。

对于刚起步的人来说,Lake Formation是去年11月在拉斯维加斯举行的AWS re:Invent会议上宣布的,它使创建数据湖通常涉及的许多步骤自动化,包括收集,清理,重复数据消除和分类数据以及制作数据。可用于已配置和已配置存储中的分析。通过使用Lake Formation,客户可以使用预定义的模板将数据从一系列来源中带入数据湖,然后定义策略来管理组织内不同组的访问,同时自动对数据进行分类和准备。

那不是湖形成所能做的。除了提供描述可用数据集及其用途的可搜索目录外,它还提供了一个集中式仪表板,管理员可以在其中管理上述数据访问策略,治理和跨多个分析引擎的审核。在接下来的几个月中,它将使工程师能够使用他们选择的AWS分析和机器学习服务来分析这些数据集中的数据,这些服务包括(但不限于)Amazon Redshift,Amazon Athena和AWS Glue,以及Amazon EMR,Amazon QuickSight和Amazon SageMaker。

松下航空电子公司,埃森哲,在线时尚和生活方式平台Zalando,人工智能以及大数据软件公司Quantiphi,Life360,眼保健产品巨头爱尔康(Alcon)和生物技术公司安进(Amgen)都是AWS Lake Formation的早期采用者。松下航空电子公司云与数据服务总监安南德西坎说:“我们希望创建一个能够管理环境中所有不同应用程序安全设置的数据平台。” “有了AWS Lake Formation,我们现在可以一次定义策略,并在任何地方以相同的方式针对我们使用的多种服务(包括AWS Glue和Amazon Athena)实施这些策略。增强的控制级别使我们可以安全地访问列和表的数据和元数据,而不仅仅是批量对象,这是我们数据安全和治理标准的重要组成部分。

根据 Advanced Market Analytics的数据,到2024年,全球数据湖市场预计将达到120.1亿美元。微软在Azure Data Lake中提供了自己的完全托管解决方案,而Google在Cloud Datalab,Dataproc和Dataflow中拥有一套数据湖处理和分析工具。