ModelArts Autosearch 训练任务用例：强化学习rllib trainer

本案例提供利用 ModelArts 上的 Autosearch 训练作业服务实现对强化学习算法库 rllib trainer 的超参搜索的一些配置方案。

1. 超参搜索配置（autosearch_config）
   

   以 bayes 超参搜索为例（注意 bayes要求连续性搜索空间）

   

2. 简易强化学习训练脚本（bootstrap_file）示例

   

3. 注意配置 ray 的训练环境：autosearch 本身镜像里的 TensorFlow 版本过低，安装环境时除了安装 gym, ray 或 rllib 外，还需要重新安装 TensorFlow（如本例重安装 tf==1.13匹配 ray==0.8.0）

   

   若是云道环境，直接重新安装可能会引发 protobuf 版本错误，建议用以下代码安装

   

4. 通过以上配置，可以调用 autosearch 服务进行超参搜索，各 trials 结果存储在 {train_url}/log/trials.csv 中。