部署finetune模型进行推理

1. 当该训练任务完成，我们可以在 S3 中找到生成的模型文件，路径是：(注意修改下面命令中 S3桶名为自己的桶，替换 REGION为部署区域代码，account id 即可)

1
s3://sagemaker-REGION-YOUR_ACCOUNT_ID/stable-diffusion-webui/models/

2. 我们取最后一个模型文件（比如jp-style-model_2500），主要 ckpt 和 yaml文件，用于接下来的部署。

3. 连接至最初创建的EC2，通过 awscli 将上面两个文件下载，打包成 model.tar.gz 文件，然后再上传到 S3。

1
2
cd ~ mkdir jpstyle && cd jpstyle 

4. 下载模型文件：(注意修改下面命令中 S3桶名为自己的桶，替换REGION为部署区域代码， account id 即可)

1
2
aws s3 cp s3://sagemaker-REGION-YOUR_ACCOUNT_ID/stable-diffusion-webui/models/jp-style-model_2500.ckpt ./ aws s3 cp s3://sagemaker-REGION-YOUR_ACCOUNT_ID/stable-diffusion-webui/models/jp-style-model_2500.yaml ./ 

5. 打包

1
tar -czvf model.tar.gz ./* 

6. 最后上传到 SageMaker 默认 S3 存储桶：(注意修改下面命令中 S3桶名为自己的桶，替换REGION为部署区域代码， account id 即可)

1
aws s3 cp model.tar.gz s3://sagemaker-REGION-YOUR_ACCOUNT_ID/stable-diffusion-webui/assets/jpstyle/model.tar.gz

7. 上传完成后，我们再到 All in one ai portal 去部署一个模型端点，操作步骤与部署模型相似。在左边栏，行业模型下的概览，可以看到一个创建好的 名为 stable-diffusion-webui的对象，点击开始体验。

8. 在新页面下点击部署。

9. 在新的页面下，自定义模型名称和终端节点名称（如aigc-train），填入模型数据位置（替换REGION为实验部署区域，即account id），即 s3://sagemaker-REGION-YOUR_ACCOUNT_ID/stable-diffusion-webui/assets/jpstyle/model.tar.gz，实例类型可以选择 ml.g4dn.2xlarge，然后提交。

10. 在endpoint状态变为InService后（约20分钟），部署状态可通过此界面查看：

11. 回到 WebUI 界面，登陆后，进入 设置 tab。点击 Stable Diffusion 模型(ckpt)旁的刷新按钮，即可选择模型。选择完毕后，保存设置，即可正常使用。

在文生图界面，输入我们 finetune 模型时设定的 prompt 词 jpstyle，即可生成相同风格的图片。

注意：因为我们模型训练用的是 sd 2.1，该模型的出图尺寸建议是 768×768，在界面上做相应的调整，如果是 512×512，出图效果可能不佳。