MLflow系列4:MLflow模型
英文链接:https://mlflow.org/docs/latest/models.html
本文链接:https://www.cnblogs.com/CheeseZH/p/11946260.html
一个MLflow模型是打包机器学习模型的基本格式,可以方便的应用到不同下游工具,例如实时RESTful服务或者批量推理的Apache Spark。这个格式定义了一系列规范,让你的模型可以被不同的下游工具使用。
存储格式
每个MLflow模型都是一个包含各种文件的目录,根目录包含一个MLmode文件,用于定义模型的多个flavors(这是个关键的概念,不知道如何翻译,就使用原词了)。
Flavors是让MLflow模型强大的关键因素,是一套部署工具可以理解的规范,这使得能够开发一套工具兼容多种机器学习库。MLflow定义了一些基础的flavors,所以内置部署工具都支持,例如“Python function”flavor描述了如何通过Python函数的方式来运行模型。机器学习库也可以定义或使用其他的flavors,例如MLflow的mlflow.sklearn
库允许将模型以scikit-learn Pipeline对象来加载或者当作通过的Python函数来使用。
All of the flavors that a particular model supports are defined in its MLmodel file in YAML format. For example, mlflow.sklearn outputs models as follows:
一个模型支持的所有flavors都在它的MLmodel文件中定义,这个文件是YAML格式。例如mlflow.sklearn输出模型目录结构:
# Directory written by mlflow.sklearn.save_model(model, "my_model")
my_model/
├── MLmodel
└── model.pkl
它的MLmodel文件描述了两个flavors:
time_created: 2018-05-25T17:28:53.35
flavors:
sklearn:
sklearn_version: 0.19.1
pickled_model: model.pkl
python_function:
loader_module: mlflow.sklearn
这个模型可以被任何支持sklearn或python_function模型flavor的工具使用。例如mlflow models serve
命令能够serve带有sklearn
flavor的模型:
mlflow models serve my_model
mlflow sagemaker
命令行工具可以讲一个带有python_function
flavor的模型打包并部署到AWS SageMaker:
mlflow sagemaker deploy -m my_model [other options]
Fields in the MLmodel Format
除了flavors, MLmodel YAML文件可以包含下列信息:
- time_created
- run_id,如果模型是通过MLflow Tracking保存的,会有一个run id
模型API
你可以通过多种方式保存和加载MLflow模型。首先,MLflow集成了很多通用库,例如mlflow.sklearn包含了用于scikit-learn模型的save_model, log_model, 和 load_model方法。其次,你可使用mlflow.models.Model
类来创建和保存模型。这个类有四个关键方法:
- add_flavor:为模型添加一个flavor。每个flavor有一个字符串名字和字典形式的key-value属性,value可以是任意能够被YAML序列化的对象。
- save:将模型保存到本地目录。
- log:使用MLflow Tracking将模型保存为当前run的产品。
- load:从本地目录加载模型或者从之前的一个run的产品加载模型。
内置Model Flavors
- Python Function (python_function)
- R Function (crate)
- H2O (h2o)
- Keras (keras)
- MLeap (mleap)
- PyTorch (pytorch)
- Scikit-learn (sklearn)
- Spark MLlib (spark)
- TensorFlow (tensorflow)
- ONNX (onnx)
模型定制化
如果MLflow不支持你想使用的机器学习库,那么就需要进行模型定制化,主要包括Custom Python Models和Custom Flavors。
内置部署工具
MLflow提供的部署工具可以将MLflow模型部署到本地机器或者一些生产环境。并不是所有的部署方法都适用于所有模型flavors。
部署MLflow模型
MLflow可以将模型部署成本地REST API或者直接得出评分文件。MLflow可以将模型打包成支持REST API的Docker镜像。这个镜像可以被部署到类似Kubernetes的各种环境。
你可以通过mlflow.models模块的命令行来本地部署模型或者生成Docker镜像。
REST API服务接收通过POST请求发送到/invocations路径的下列数据格式:
- split orientation格式的JSON-serialized pandas DataFrames. 例如, data = pandas_df.to_json(orient='split'). 这个格式需要在请求头指定Content-Type=application/json 或 application/json; format=pandas-split.
- records orientation格式的JSON-serialized pandas DataFrames。不建议使用。
- CSV-serialized pandas DataFrames. 例如data = pandas_df.to_csv(). 这个格式需要指定请求头Content-Type=text/csv。
例如:
# split-oriented
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json' -d '{
"columns": ["a", "b", "c"],
"data": [[1, 2, 3], [4, 5, 6]]
}'
# record-oriented (fine for vector rows, loses ordering for JSON records)
curl http://127.0.0.1:5000/invocations -H 'Content-Type: application/json; format=pandas-records' -d '[[1, 2, 3], [4, 5, 6]]'
常用命令
- serve:将模型部署成本地REST API服务
- build_docker:将模型打包成支持REST API的镜像
- predict:通过模型根据CSV或JSON文件生成预测结果
详情查看:
mlflow models --help
mlflow models serve --help
mlflow models predict --help
mlflow models build-docker --help
部署python_function模型到Microsoft Azure ML
部署python_function模型到Amazon SageMaker
部署python_function模型到Apache Spark UDF
最新文章
- 我的MYSQL学习心得(一) 简单语法
- [转]通过Visual Studio为Linux编写C++代码
- HTML基础篇之视频音频
- Nop源码分析三
- ADO.NET 访问数据库
- java中的Static class
- 【iOS】desctiption和debugDescription
- 在IE6、IE7中实现块元素的inline-block效果
- Tree树形结构案例+源码
- 【MySql】5.6.14版本的安装和测试
- linux的webserver配置与管理——创建用户个人主页
- 海量数据存储之Key-Value存储简介
- nodejs中异步
- java根据HashMap中的值将其元素排序
- VS2012环境下C#调用C++生成的DLL
- BUILD FAILED D:\build.xml:2: 前言中不允许有内容。
- 数码相框(LCD、I2C)
- 2017沈阳站 Tree
- H5 video播放视频遇到的问题
- vsftpd安装配置以及常见问题解决
热门文章
- RedHat 6 安装 MySQL 5.5 流程记录及相关问题解决方案
- rf中的条件判断与循环
- Golang: 解析JSON数据之一
- Docker以http访问Harbor私有仓库(一)
- 分页查询——Hibernate Criteria实现一次查询取得总记录数和分页后结果集
- Socket网络编程-SocketServer
- ShareSDK For Unity集成
- Ueditor 自动设置上传图片的宽度或高度
- 一个兼容IE7\IE8,H5的多功能视频播放器,H5视频播放器兼容Flash视频播放器
- 摘:Selenium api学习