秀站网,秀执着,秀梦想,一个爱秀的地方!

自媒体资讯网

热门关键词:  as  i hone  阿萨德  网站
Spark团队开源新作:全流程机器学习平台MLflow
来源:
作者:
时间:2018-07-17
浏览热度:
#评论#
[ 导读 ] 在昨天开幕的 Spark+AI Summit 大会上,Spark 和 Mesos 的核心作者兼 Databrick 首席技术专家 Matei Zaharia 宣布推出开源机器学习平台 MLflow,这是一个能够覆盖机器学习全流程(从数据准备到模型训练到最终部署)的新平台,旨在为数据科学家构建、测试和部署
在昨天开幕的 Spark+AI Summit 大会上,Spark 和 Mesos 的核心作者兼 Databrick 首席技术专家 Matei Zaharia 宣布推出开源机器学习平台 MLflow,这是一个能够覆盖机器学习全流程(从数据准备到模型训练到最终部署)的新平台,旨在为数据科学家构建、测试和部署机器学习模型的复杂过程做一些简化工作。Matei 表示,研究工作主要围绕着“如何为开发者提供类似谷歌 TFX、Facebook FBLearner Flow 等平台类似的好处,但是要以开放的方式——不仅在开源的意义上开放,而且是可以使用任何工具和算法的意义上开放"的想法展开。

Matei 为 MLflow 撰写了一篇介绍文章,这个全新的机器学习平台到底有何新特性?让我们来一探究竟。

每个做过机器学习开发的人都知道机器学习的复杂性,除了软件开发中常见的问题之外,机器学习还存在很多新的挑战。作为一家大数据解决方案公司,Databricks 与数百家使用机器学习的公司合作,所以能够清楚地了解他们的痛点,比如工具太过复杂、难以跟踪实验、难以重现结果、难以部署模型。由于这些挑战的存在,机器学习开发必须变得与传统软件开发一样强大、可预测和普及。为此,很多企业已经开始构建内部机器学习平台来管理机器学习生命周期。例如,Facebook、谷歌和优步分别构建了 FBLearner Flow、TFX 和 Michelangelo 来进行数据准备、模型训练和部署。但这些内部平台存在一定的局限性:典型的机器学习平台只支持一小部分内置算法或单个机器学习库,并且被绑定在公司内部的基础设施上。用户无法轻易地使用新的机器学习库,或与社区分享他们的工作成果。

Databricks 认为应该使用一种更好的方式来管理机器学习生命周期,于是他们推出了 MLflow,一个开源的机器学习平台。

MLflow:开放式机器学习平台

MLflow 的灵感来源于现有的机器学习平台,但以开放性作为主要设计目标:

开放接口:MLflow 可与任何机器学习库、算法、部署工具或编程语言一起使用。它基于 REST API 和简单的数据格式(例如,可将模型视为 lambda 函数)而构建,可以使用各种工具,而不只是提供一小部分内置功能。用户可以很容易地将 MLflow 添加到现有的机器学习代码中,并在组织中共享代码,让其他人也能运行这些代码。

开源:MLflow 是一个开源项目,用户和机器学习库开发人员可以对其进行扩展。此外,利用 MLflow 的开放格式,可以轻松地跨组织共享工作流步骤和模型。

Mlflow 目前仍处于 alpha 阶段,但它已经提供了一个可用的框架来处理机器学习代码。接下来将详细介绍 MLflow 和它的组件。

MLflow 的组件(alpha 版)

MLflow 的 alpha 版本包含了三个组件:

 

Spark团队开源新作:全流程机器学习平台MLflow

 

MLflow 的跟踪组件

支持记录和查询实验数据,如评估度量指标和参数。MLflow 的项目组件提供了可重复运行的简单包装格式。最后,MLflow 的模型组件提供了用于管理和部署模型的工具。

MLflow 的跟踪组件MLflow 的跟踪组件提供了一组 API 和用户界面,用于在运行机器学习代码时记录参数、代码版本、度量指标和输出文件,以便在后续进行可视化。通过几行简单的代码就可以跟踪参数、度量指标和文件:

 

Spark团队开源新作:全流程机器学习平台MLflow

 

用户可使用跟踪组件(通过独立脚本或 notebook)将结果记录到本地文件或服务器上,然后通过 Web UI 来查看和比较多次运行结果。团队也可以使用这些工具来比较不同用户的运行结果。

MLflow 的项目组件

MLflow 的项目组件提供了一种用于打包可重用代码的标准格式。项目可以是一个包含代码的目录或 Git 仓库,并使用一个描述符文件来描述依赖关系以及如何运行代码。MFflow 项目通过一个叫作 MLproject 的 YAML 文件进行定义。

 

Spark团队开源新作:全流程机器学习平台MLflow

 

项目可以通过 Conda 来指定依赖关系。一个项目可能包含多个带有命名参数的运行入口。用户可以使用 mlflow run 命令行工具来运行项目,项目代码可以在本地,也可以在 Git 仓库里:

 

Spark团队开源新作:全流程机器学习平台MLflow

 

MLflow 将自动为项目设置合适的环境并运行它。另外,如果在项目中使用了 MLflow Tracking API,MLflow 将记住执行过的项目版本(即 Git 的提交操作)和参数,这样就可以很轻松地重新运行完全相同的代码。

无论是在企业还是在开源社区,项目格式让共享可重用代码变得更加容易。结合 MLflow 的跟踪组件,MLflow 项目为可重现性、可扩展性和实验提供了很好的工具。

MLflow 的模型组件

MLflow 的模型组件提供了一种将机器学习模型打包成多种格式的规范,这些格式被称为“flavor”。MLflow 提供了多种工具来部署不同 flavor 的模型。每个 MLflow 模型被保存成一个目录,目录中包含了任意模型文件和一个 MLmodel 描述符文件,文件中列出了相应的 flavor。

 

Spark团队开源新作:全流程机器学习平台MLflow

 

在这个例子中,模型可以与支持 sklearn 或 python_function 的工具一起使用。

MLflow 提供了将常见模型部署到不同平台的工具。例如,任何支持 python_function 的模型都可以部署到基于 Docker 的 REST 服务器或云平台上(如 Azure ML 和 AWS SageMaker),也可以作为 Apache Spark 的用户定义函数,用于进行批量和流式推断。如果使用 Tracking API 将 MLflow 模型输出为文件,MLflow 还会自动记住它们是由哪个项目运行生成的。

MLflow 入门

要使用 MLflow,请按照 mlflow.org 上的说明进行操作,或使用 Github 上的 alpha 版代码。

在 Databricks 上托管 MLflow

如果要使用 MLflow 的托管版本,可以在 databricks.com/mlflow 注册。Databricks 上的 MLflow 与 Databricks Unified Analytics 平台集成,包括 Notebooks、Jobs,Databricks Delta 和 Databricks 安全模型,为用户提供了安全、生产就绪的方式大规模地运行现有的 MLflow 作业。

后续计划

MLflow 刚刚展露头角,因此还有很多事情要做。后续计划引入新组件(如监控)、与其他库的集成以及扩展已发布的组件(例如支持更多环境类型)。

MLflow 官网:http://www.mlflow.org

MLflow GitHub 地址:https://github.com/databricks/mlflow

英文原文

https://databricks.com/blog/2018/06/05/introducing-mlflow-an-open-source-machine-learning-platform.html

相关文档:

Hadoop和大数据最炫目的60款顶级..

开源模式下的云计算和大数据现状..

全球十大数据治理解决方案提供商..