2019-11-05 20:50

Databricks推出用于模型构建和部署的AutoML Toolkit

导读Databricks今天推出了AutoML Toolkit,这是一种自动化的端到端机器学习服务,旨在为开发人员提供一系列的经验。DataMLicks Labs提供了Aut

Databricks今天推出了AutoML Toolkit,这是一种自动化的端到端机器学习服务,旨在为开发人员提供一系列的经验。

DataMLicks Labs提供了AutoML Toolkit,它可以使诸如超参数调整,批处理预测和模型搜索之类的操作自动化。AutoML Toolkit建立在现有Databricks工具(例如MLflow)上,MLflow是一个开放源代码的机器学习平台,与TensorFlow和Amazon SageMaker等框架集成。AutoML Toolkit的执行使用MLflow进行自动跟踪。

该工具包还使用Apache Spark,这是一个由Databricks创始人创建的开源项目,并于2014年移交给Apache Spark软件基金会。

AutoML工具包与其他AutoML解决方案的不同之处在于,它允许具有不同专业知识水平的数据科学家和工程师一起工作,Databricks的ML项目管理负责人Clemens Mewald在电话采访中告诉VentureBeat。

有时候有些人对底层代码非常熟悉,并且想要完全访问权限,然后同一团队中的另一个人可能对代码不太熟悉,或者可能对基于UI的解决方案感到满意。因此,我们在AutoML空间中提供的不同级别的解决方案可以满足许多不同的需求和专业水平。”他说。“由于它们都在同一技术堆栈上,因此,如果您愿意,可以在它们之间切换。因此,您基本上可以从最高抽象级别开始,而根本不编写任何代码。然后,一旦完成并且需要更多的灵活性,您就可以降低一层,并可以使用更多可能需要的旋钮和杠杆。”

某些形式的自动机器学习以前可用于Apache Spark。

随着Google的AutoML的推出,可以自动创建和部署机器学习模型的机器学习在2017年开始变得越来越流行。从那时起,Azure的机器学习服务等公共云领导者也推出了用于自动机器学习的解决方案。

在先前建立的合作伙伴关系的基础上,Databricks的AutoML产品还与Azure机器学习集成。

最近几个月,Databricks推出了一系列更改以支持其AutoML产品。

随着6月Databricks Runtime 5.4 ML 1.1版本的发布,Databricks通过Hyperopt集成实现了自动超参数优化。4月份,Databricks开源了Delta Lakes,这是一项协作计划,旨在创建支持可靠的机器学习项目的数据湖。

今年2月,Databricks在其数据和AI平台上筹集了2.5亿美元,资金来自Andreessen Horowitz,微软和NEA。