前期准备

进入案例

点击下方链接进入案例，AI作画 Dreambooth 生成自定义主体。

https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=851e43ca-85ea-4ece-bc48-7de0c95cb5eb&ticket=ST-8670187-PLkJXegjtqG0uLGqs6Cgtnwr-sso

点击 Run in ModelArts。

资源切换

大约30s等待时间。

初始化中

具体步骤

步骤一：安装依赖

步骤二：下载预训练模型和准备训练代码

• 出现 Download success 表示下载成功。

• 下载 diffusers 0.13.0 中提供的dreambooth示例代码train_dreambooth_lora.py

mox.file.copy('obs://modelarts-labs-bj4-v2/course/ModelBox/train_dreambooth_lora.py', 'train_dreambooth_lora.py')

步骤三：训练生成主体

使用以下代码进行训练，成功运行后可以看到运行的进度条。

!accelerate launch train_dreambooth_lora.py \
  --pretrained_model_name_or_path="{pretrained_model}"  \
  --instance_data_dir="{instance_dir}" \
  --output_dir="{output_dir}" \
  --instance_prompt="{instance_prompt}" \
  --resolution=512 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=1 \
  --checkpointing_steps=100 \
  --learning_rate=1e-4 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --max_train_steps=500 \
  --validation_prompt="{instance_prompt} in the garden" \
  --validation_epochs=50 \
  --seed="0"

大概要等十分钟左右时间，等出现以下提示，说明模型训练结束。

步骤四：加载模型推理

运行以下代码进行模型加载。

from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
import torch

pipe = DiffusionPipeline.from_pretrained(pretrained_model, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.to("cuda")
pipe.unet.load_attn_procs(output_dir)

negative_prompt

negative_prompt = "disfigured, bad art, deformed, poorly drawn, extra limbs, weird colors, blurry, lowres, bad anatomy, bad hands, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality"

步骤五：推理图片展示

问题记录并解决

问题一

在训练模型的时候可能会出现以下报错。主要是当前运行环境的问题。

提了一下工单，解决如下：“问题原因是依赖版本更新，导致有个参数被更改，现已更改指导文档。”

问题二

在运行到下面这行代码的时候可能会出现以下报错。主要是当前运行环境的问题。

改成如下的运行环境：（改成限时免费的GPU就行）

当前运行环境：
CPU：8核
内存：64GB
GPU：nvidia-p100(16GB) * 1
架构：x86_64
规格：modelarts.vm.gpu.free
价格：限时免费

总结

DreamBooth是一种深度学习模型，可以微调现有的文生图模型，通过示例代码 train_dreambooth_lora.py对两三张图片进行训练，之后通过使用不同的prompt输出更加精细化和个性化的图片。

参考文献

• [1]https://developer.huaweicloud.com/develop/aigallery/notebook/detail?id=851e43ca-85ea-4ece-bc48-7de0c95cb5eb&ticket=ST-8670187-PLkJXegjtqG0uLGqs6Cgtnwr-sso