MLflow系列2:MLflow追踪
英文链接:https://mlflow.org/docs/latest/tracking.html
本文链接:https://www.cnblogs.com/CheeseZH/p/11945089.html
MLflow Tracking
MLflow Tracking组件提供了API和UI,用于记录并可视化展示机器学习代码运行过程中的参数,代码版本,评价指标和输出文件。MLflow Tracking可以让你通过Python,REST API,R API或Java API来记录和查询试验。
一些概念
MLflow Tracking围绕着runs的概念进行组织,runs是一些数据科学代码片段的执行。一个run记录了以下信息:
Code Version/代码版本
如果run是来自一个MLflow项目,那么版本就是代码的Git提交对应的hash值。
Start&End Time/起止时间
run的开始时间和结束时间。
Source/源文件
启动run的文件名,或者MLflow项目的项目名和入口。
Parameters/参数
所选输入参数的Key-Value对,Key和Value都是字符串。
Metrics/评价指标
Key-value指标,value是数值。每个指标都可以在run的执行过程中被更新(比如记录模型损失函数的收敛曲线),MLflow记录并可视化指标的完整历史。
Artifacts/模型产品
任何格式的输出文件。你可以记录图片,模型或者数据文件。
你可以通过MLflow Python,R,Java或者REST APIs来记录runs。比如你可以记录一个单独的程序,可以记录远程及其或者交互式notebook。如果你记录MLflow项目的runs,MLflow会记住项目URI和源文件的版本。
你可以通过experiments来组织runs,experiments是用于特定任务的一组runs。你可以通过以下方式创建一个experiment
:
mlflow experiments
命令- mlflow.create_experiment()
- 使用对应的REST API
- MLflow API和UI让你可以创建和搜索experiments
当你的runs被记录之后,你可以通过Tracking UI或者MLflow API来查询。
Runs被记录在哪?
MLflow runs可以被存储在本地文件,SQLAlchemy兼容的数据库或者远程的服务器。默认情况下,MLflow Python API会把runs记录在你的运行程序所在的目录的mlruns
子目录。你可以使用mlflow ui
查看记录的runs。
如果把runs存储到远程服务器,需要配置环境变量MLFLOW_TRACKING_URI
或者调用mlflow.set_tracking_uri()
。
URI可以有多种形式:
- 本地路径,格式为
/my/local/dir
- 数据库,格式为
<dialect>+<driver>://<username>:<password>@<host>:<port>/<database>
,Mlflow支持mysql,sqlite,postgresql等多种SQLAlchemy数据库 - HTTP服务器,格式为
https://my-server:5000
,该服务是一个MLflow tracking server。 - Databricks工作空间,格式为
databricks
或者databricks://<profileName>
,一个Databricks CLI profile。更多信息参考文档或者Databricks社区版快速入门。
把数据保存成runs
你可以通过MLflow Python,R,Java或者REST API来把数据保存成runs,本章节主要介绍Python API。
Logging Functions/日志函数
mlflow.set_tracking_uri() 连接一个记录URI,也可以通过环境变量MLFLOW_TRACKING_URI
来配置,默认是本地的mlruns
目录。
mlflow.tracking.get_tracking_uri()返回当前的记录URI。
mlflow.create_experiment()创建一个新experiment并返回ID。通过将ID传入mlflow.start_run
可以启动experiment下面的runs。
mlflow.set_experiment()激活一个experiment。如果experiment不存在,则创建一个。
mlflow.start_run()返回当前激活的run,或者启动一个新的run并返回一个mlflow.ActiveRun
对象。不需要显示调用start_run,如果没有激活状态的run,日志函数会自动创建一个。
mlflow.end_run()结束当前处于激活状态的run。
mlflow.active_run()返回一个mlflow.entities.Run对象。
mlflow.log_param()记录一个当前run的key-value参数。使用mlflow.log_params()可以记录多个参数。
mlflow.log_metric()记录一个当前run的key-value指标。MLflow会记录每个metric的所有历史值。使用mlflow.log_metrics()可以记录多个指标。
mlflow.set_tag()给当前run设置一个key-value标签。使用mlflow.set_tags()设置多个标签。
mlflow.log_artifact()把一个本地文件或目录存储为一个artifact,可以通过artifact_path指定run的artifact URI。Run artifacts可以通过目录的方式组织。
mlflow.log_artifacts()把指定目录下的所有文件存储为一个artifact。
mlflow.get_artifact_uri()返回当前run指定的artifact URI。
在一个程序中启动多个runs
有时候你希望能够在一个程序中启动多个runs,比如你在执行一个超参数搜索程序或者你的experiments运行非常快。mlflow.start_run()返回的ActiveRun对象是一个python context manager。你可以通过以下代码块来限定每个run的范围。
with mlflow.start_run():
mlflow.log_param("x", 1)
mlflow.log_metric("y", 2)
...
在with语句中,这个run会保持打开状态,语句退出或者有异常时会自动关闭。
通过指标记录模型表现
你通过log方法来记录各个指标,log方法提供了两个可选方法用于区分指标的x-axis:timestamp和step。
timestamp是metric被记录的时间,默认是当前时间。
step是训练过程的量化值,可以是迭代次数,轮数或者其他值,默认是0并且有以下要求和特性:
- 一定是个合法的64位整型
- 可以是负数
- 可以是非连续的,比如(1,3,2)也是合法的
- 可以有跳跃性的,比如(1,5,74,-10)也是合法的
你可以同时指定timestamp和step,MLflow会分别存储。
Python示例:
with mlflow.start_run():
for epoch in range(0, 3):
mlflow.log_metric(key="quality", value=2*epoch, step=epoch)
可视化指标
下图取自quick start,包含一个step x-axis和两个timestamp x-axis。
自动记录TensorFlow和Keras的日志(experimental)
在训练之前调用mlflow.tensorflow.autolog()或mlflow.keras.autolog()即可,参考Tensorflow和Keras的例子。
自动记录以下信息:
注意 tf.keras 使用 mlflow.tensorflow.autolog(), 而不是 mlflow.keras.autolog().
组织experiments中的runs
MLflow允许你在experiments中组织runs,这样可以方便的对比处理同个任务的不同runs。你可以通过命令行mlflow experiments
或者python API mlflow.create_experiment()创建experiments。你可以在命令行中为单独的run指定experiment,例如mlflow run ... --experiment-name [name]
或者通过环境变量MLFLOW_EXPERIMENT_NAME
来指定。或者用experiment ID(--experiment-id命令行参数或者MLFLOW_EXPERIMENT_ID环境变量)也行。
# Set the experiment via environment variables
export MLFLOW_EXPERIMENT_NAME=fraud-detection
mlflow experiments create --experiment-name fraud-detection
# Launch a run. The experiment is inferred from the MLFLOW_EXPERIMENT_NAME environment
# variable, or from the --experiment-name parameter passed to the MLflow CLI (the latter
# taking precedence)
with mlflow.start_run():
mlflow.log_param("a", 1)
mlflow.log_metric("b", 2)
通过追踪服务API来管理Experiments和Runs
MLflow提供了更详细的追踪服务API来管理experiments和runs,主要是用mlflow.tracking模块的client SDK。这样就可以查询过去runs的数据,记录更多日志,创建experiments,添加tag等。
from mlflow.tracking import MlflowClient
client = MlflowClient()
experiments = client.list_experiments() # returns a list of mlflow.entities.Experiment
run = client.create_run(experiments[0].experiment_id) # returns mlflow.entities.Run
client.log_param(run.info.run_id, "hello", "world")
client.set_terminated(run.info.run_id)
为Runs添加标签
mlflow.tracking.MlflowClient.set_tag()方法可以为runs添加个性化标签。一个标签一次只能有一个唯一值。例如:
client.set_tag(run.info.run_id, "tag_key", "tag_value")
注意:不要用mlflow作为tag的前缀,以下是系统tags
。
追踪UI
追踪UI能够可视化,搜索,对比runs,也能下载run的产品或者元数据。
如果将runs记录在本地mlruns目录,只需要在mlruns的上层目录中运行mlfow ui就可以。
或者你也可以通过MLflow tracking server来访问远程的runs。
UI主要包括以下功能:
- 基于experiment的run列表和对比
- 根据参数或者指标搜索runs
- 可视化run的指标
- 下载run的结果
通过编程查询runs
引用artifacts
- /Users/me/path/to/local/model
- relative/path/to/local/model
- /. 例如:
- s3://my_bucket/path/to/model
- hdfs://:/
- runs:/<mlflow_run_id>/run-relative/path/to/model
例如
# Tracking API
mlflow.log_artifacts("<mlflow_run_id>", "/path/to/artifact")
# Models API
mlflow.pytorch.load_model("runs:/<mlflow_run_id>/run-relative/path/to/model")
MLflow Tracking Servers
你可以通过mlflow server
命令启动一个tracking server,一个样例配置:
mlflow server \
--backend-store-uri /mnt/persistent-disk \
--default-artifact-root s3://my-mlflow-bucket/ \
--host 0.0.0.0
存储
一个MLflow tracking server包含两个存储组件:后端存储和产品存储。
后端存储用于保存experiment和run的元数据,比如参数,指标,标签等。后端存储支持两种类型:文件存储,数据库存储。通过--backend-store-uri
来配置后端存储类型。
- ./path_to_store 或者 file:/path_to_store
- SQLAlchemy database URI:+
最新文章
- React.js入门笔记
- Python中的高级特性
- WCF传输大数据的设置2
- AX7: Install a deployable package
- linux文件系统简介
- MUI - Dialog 提示窗
- 新安装的ubuntu系统如何设置中文输入法的方案
- 20160727noip模拟赛zld
- SICP的一些练习题
- but has failed to stop it. This is very likely to create a memory leak(c3p0在Spring管理中,连接未关闭导致的内存溢出)
- jsp验证码页面笔记
- ejs简单教程
- Android 快速选择联系人
- Windows Azure Camp---漫步云端,创意无限
- 四色GDOI&;GDOI2015滚粗记
- 微软云Linux服务器 Mysql、tomcat远程连接错误解决办法
- Android破解学习之路(六)——Android游戏 方块冒险 破解
- HDU 5144 NPY and shot(物理运动学+三分查找)
- .net core 并发下的线程安全问题
- JSONCkecker(C语言版本)
热门文章