在aws 上自动创建机器学习模型

要开始新的 SageMaker Autopilot 实验，请单击 + 图标以访问新的启动器窗口。在启动器窗口中，向下滚动到 ML tasks and components（ML 任务和组件）。单击 + 图标，以新建 Autopilot 实验。

接下来，您要对您的实验进行命名。单击 Experiment name（实验名称）框并输入名称 autopilot-experiment。

 

然后，您要将实验与暂存在 S3 中的数据关联起来。单击 Enter S3 bucket location（输入 S3 桶位置）框。在 S3 bucket address（S3 桶地址）框中，粘贴以下 S3 路径：s3://sagemaker-sample-files/datasets/tabular/uci_bank_marketing/bank-additional-full.csv

保留清单文件选项设置为 Off（关）。在 Target（目标）下拉列表中，选择 y 作为目标特征，而我们的模型将尝试预测该特征。

在 Output data location (S3 bucket)（输出数据位置（S3 桶））表中，选择您自己的 S3 桶。在 Dataset directory name （数据集目录名称）字段中，输入 sagemaker/tutorial-autopilot/output。这是当实验完成以后，将用于保存输出数据的位置。

保持 Auto deploy（自动部署）选项为开启，而 Auto deploy endpoint（自动部署端点）字段为空。这样做会自动将我们的模型部署为 API 端点，并为它分配名称。

接下来会有一些可选的高级设置，它们控制着问题类型的详细信息、完成实验、运行时间详细信息、IAM 访问、安全性和加密，等等。单击 runtime button（运行时按钮）以显示可选设置。

在本教程中，将 Max candidates（最大候选数量）从 250 减少到 5。这样做将会以更快速度运行较少模型。完整实验是真正优化您的模型的最佳方法，但可能需要几个小时才能完成。本教程将保留原来的可选设置。

单击 Create Experiment（创建实验）按钮，以开始启动 SageMaker Autopilot 实验的第一个阶段。SageMaker Autopilot 将开始运行实验的各个阶段。在实验窗口中，您可以追踪预处理、候选定义、特征工程、模型调优、可解释性和洞察阶段的进度。

单击 Create Experiment（创建实验）按钮，以开始启动 SageMaker Autopilot 实验的第一个阶段。SageMaker Autopilot 将开始运行实验的各个阶段。在实验窗口中，您可以追踪预处理、候选定义、特征工程、模型调优、可解释性和洞察阶段的进度。如果您看到弹出通知，询问 “Are you sure you want to deploy the best model?”（您确定想要部署最佳模型吗？），单击 yes（是）。

一旦 SageMaker Autopilot 作业完成，您将可以访问报告，其中显示候选模型、候选模型状态、目标值、F1 分数和准确率。SageMaker Autopilot 将自动部署端点。

在 SageMaker Autopilot 实验完成后，您可以打开排名最高的模型，以获取有关模型性能和元数据的更多详细信息。在模型列表当中，突出显示第一个，然后右击以打开模型选项。单击 Open in model details（在模型详细信息中打开），查看模型的性能统计数据。

在新窗口中，点击 Explainability（可解释性）。您看到的第一个视图名为 Feature Importance（特征重要性），它表示数据集中每个实例的每项特征的聚合 SHAP 值。特征重要性分数是模型可解释性的重要组成部分，因为它显示数据集中的哪些特征有可能对预测产生最大影响。在此使用案例中，客户时长或任期和就业变化率是优化模型结果的两个最重要的字段。

现在，单击 Performance（性能）选项卡。您将看到有关模型性能的详细信息，包括准确率、精确率和召回率。您还可以解读模型性能，确定是否应进一步对模型进行调优。

接下来，提供可视化以进一步说明模型性能。首先，观察混淆矩阵。混淆矩阵常被用于理解模型标签如何区分预测和真实分类。在此例中，对角元素显示正确预测标签的数量，非对角元素则表示误分类记录。混淆矩阵适用于分析因假正例和假负例而导致的误分类。

然后，查看精确率和召回率曲线。该曲线将标签解释为概率阈值，并将权衡显示为模型精确率和召回率的不同概率阈值。SageMaker Autopilot 会自动优化这两项参数，以提供最佳的模型。

接下来，查看被标记为受试者工作特征（ROC）的曲线。该曲线显示各种潜在概率阈值的真正率和假正例之间的关系。对角线表示基于随机猜测的假设模型。曲线越趋向图表的左上角，则该模型的性能越出色。

虚线则表示预测值为 0 的模型，它常被称作空模型。空模型会随机分配 0/1 标签，其位于 ROC 曲线下方的面积为 0.5，代表它在 50% 的时间里是准确的。

然后，单击 Artifacts（生成物）选项卡。您可以找到 SageMaker Autopilot 实验的支持性资产，包括特征工程代码、输入数据位置，以及可解释性生成物等。

最后，单击 Network（网络）选项卡。您将看到有关网络隔离和容器流量加密的信息。

单击 + 图标以显示新的 Python 笔记本。选择 Python3 作为内核。在第一个单元格中，复制并粘贴以下代码。此代码将创建有效负载，提交请求到模型端点，并对响应进行解析。

为了解将请求发送到哪里，请查询模型端点的名称。在左侧窗格中，单击 SageMaker Resources（SageMaker 资源）图标。在 SageMaker Resources（SageMaker 资源）窗格中，选择 Endpoints（端点）。单击与您在开始本教程时所创建的实验名称关联的端点。此时将显示 Endpoint Details（端点详细信息）窗口。记录端点名称并导航返回至 Python 3 笔记本。

复制并粘贴以下代码片段到笔记本的单元格中，然后按 Shift+Enter 以运行当前单元格。此代码将设置环境变量 ENDPOINT_NAME 并运行推理。在代码完成时，您将看到由模型标签和关联概率分数组成的结果。

import os
import io
import boto3
import json
import csv

#: Define the endpoint's name.
ENDPOINT_NAME = 'autopilot-experiment-6d00f17b55464fc49c45d74362f284ce'
runtime = boto3.client('runtime.sagemaker')

#: Define a test payload to send to your endpoint.
payload = {
    "data":{
        "features": {
            "values": [45,"blue-collar","married","basic.9y",'unknown',"yes","no","telephone","may","mon",461,1,999,0,"nonexistent",1.1,93.994,-36.4,4.857,5191.0]
        }
    }
}

#: Submit an API request and capture the response object.
response = runtime.invoke_endpoint(
    EndpointName=ENDPOINT_NAME,
    ContentType='text/csv',
    Body=str(payload)
)

#: Print the model endpoint's output.
print(response['Body'].read().decode())

恭喜！ 您已学习如何使用 SageMaker Autopilot 来自动训练与部署机器学习模型。

如果您在第 1 步运行 CloudFormation 模板来创建新的 SageMaker Studio 域，请继续执行以下步骤以删除由 CloudFormation 模板创建的域、用户和资源。

要打开 CloudFormation 控制台，请在 AWS 管理控制台搜索栏中输入 CloudFormation，然后从搜索结果中选择 CloudFormation。

在 CloudFormation 窗格上，选择 Stacks（堆栈）。从 Status（状态）下拉列表中，选择 Active（活动）。在 Stack name（堆栈名称）下方，选择 CFN-SM-IM-Lambda-Catalog 以打开堆栈详细信息页面。

在 CFN-SM-IM-Lambda-Catalog 堆栈详细信息页面上，选择 Delete（删除）以删除堆栈以及在第 1 步中创建的资源。