前言

本文章会介绍如何将训练好的AI模型部署到ModelArts上，成为一个在线API服务，并通过互联网对外提供服务。

本文章不考虑自定义镜像的场景，因为方式比较复杂。

本文章会大量复用ModelArts的帮助文档，但是会添加一些自己的见解和评论，并将帮助文档中的内容组织成一个工作流。

模型部署流程介绍

如果想要将训练好的模型部署到ModelArts上，并通过互联网对外提供服务，需要完成以下几个步骤。

• 第一步，需要将模型保存成ModelArts部署支持的模型格式。请参考：保存模型为平台支持的格式。

• 第二步，编写推理配置文件，config.json。在该文件中定义模型推理环境。请参考：编写推理配置文件。

• 第三步，编写推理代码， customize_service.py 。在该文件中编写推理逻辑。请参考：编写推理代码。

• 第四步，将模型、推理代码、推理配置文件组织成模型包，导入到ModelArts，成为一个ModelArts模型。请参考：导入模型。

• 第五步，将ModelArts模型部署成一个在线API服务，并通过HTTPS请求访问这个在线API服务。请参考：如何调用在线API服务。

由于篇幅过长，接下来，我们将分多篇文章依次详细介绍这几个步骤。

保存模型为平台支持的格式

要想将模型部署到ModelArts上，需要将模型保存为ModelArts部署支持的格式。

各个AI框架支持的部署格式见此文档。

关于如何将模型保存成这些格式，见此示例。请参考其中的各个AI引擎的训练代码的写法，在训练结束的时候，会保存模型为ModelArts平台支持的格式。

这里特别提一点，由于Keras非常简单易用，很多开发者喜欢使用Keras。目前TF2.X对Keras的支持特别好，可以直接将Keras模型保存成TensorFlow的pb模型（平台支持的模型部署格式），使用如下代码即可完成：

model.fit(x_train, y_train, epochs=10)
tf.keras.models.save_model(model, "./mnist")

附：

如何部署模型到ModelArts并远程调用 （二）：编写推理配置文件

如何部署模型到ModelArts并远程调用 （三）：编写推理代码

如何部署模型到ModelArts并远程调用 （四）：导入模型

如何部署模型到ModelArts并远程调用 (五)：如何调用在线API服务