使用 Amazon SageMaker 自动化机器学习模型审批流程

关键要点

在本文中，我们探讨了如何利用 Amazon SageMaker 的模型注册和管道功能来自动化机器学习模型的审批流程。这种方法可以帮助企业在遵循安全合规要求的同时，加快将概念验证推向生产环境的速度，同时提升质量信心。我们会介绍主要的挑战、解决方案框架及其实现步骤。

随着人工智能 (AI) 和机器学习 (ML) 的快速发展，越来越多的组织开始重新审视这些技术所能提供的潜力。然而，在将概念验证推向生产阶段时，组织可能面临与严格安全合规要求对齐的挑战。在这些挑战面前，MLOps 提供了一条重要路径，通过自动化治理流程来缩短生产时间，同时提升部署负载的质量信心。

生产中的 ML 模型并不是静态的物品。它们反映了被部署的环境，因此，需要全面的监控机制以确保模型质量、偏见和特征重要性。组织通常希望在模型被部署之前引入额外的合规性检查，以验证模型是否符合组织标准。这些频繁的人工检查可能导致客户获取价值的时间变得较长。自动化这些检查，则可以使其定期一致地重复执行，而不必仅依赖于不定期的人工检查。

本文将演示如何使用常见的架构原则，从手动监控过程过渡到自动化过程。您可以利用这些原则和现有的 AWS 服务，如 Amazon SageMaker 模型注册 和 Amazon SageMaker 管道 为客户提供创新解决方案的同时，保证 ML 工作负载的合规性。

挑战

随着 AI 的普及，其在敏感场景中用于处理信息和与客户互动变得越来越普遍。假设某税务机构正在通过聊天机器人与用户互动。重要的是，这一新系统能够与组织的指导方针保持一致，使开发人员能够高效地确保其响应的准确性和无偏见。随着模型数量的增加，组织可能在生产中拥有数十甚至上百个模型。那么，如何保证每个模型在部署前都经过适当审核，并在每次部署时保持这种审核呢？

传统上，组织会创建手动审核流程，通过如企业审核委员会 (ERC)、企业评审委员会 (ERB) 或变更咨询委员会 (CAB) 等机制来防止代码更新过早公开。

随着持续集成CI和持续交付CD机制的演进，MLOps 可以减少对手动流程的需求，同时提高质量检查的频率和深入程度。通过自动化，您可以扩展需求技能，如模型和数据分析，在跨多个产品团队中引入和强制实施深入的模型分析。

在本文中，我们使用 SageMaker 管道将所需的合规性检查定义为代码。这使您能够引入任意复杂度的分析，而不再受限于高度技术人员的繁忙日程。由于自动化处理了重复的分析任务，技术资源可以专注于不断提升 MLOps 管道的质量和全面性，以改善合规立场，并确保检查按预期执行。

解决方案概述

以下图示展示了使用 SageMaker 管道自动化模型审批的解决方案架构。

该工作流程涵盖了在不同 AWS 账户中的模型构建、训练、评估和审批的全面过程，集成了多个 AWS 服务。详细步骤如下：

产品团队的数据科学家使用 Amazon SageMaker Studio 创建 Jupyter 笔记本，以促进数据预处理和模型预构建。代码被提交到 AWS CodeCommit，这是一个托管的源代码控制服务。可选地，您也可以提交至第三方版本控制系统，如 GitHub、GitLab 或企业 Git。提交到 CodeCommit 触发 SageMaker 管道，运行多个步骤，包括模型构建和训练，以及使用 Amazon SageMaker Clarify 执行处理作业以生成偏见和解释性报告。SageMaker Clarify 处理并存储其输出，包括模型工件和以 JSON 格式的报告，存储在 Amazon Simple Storage Service (Amazon S3) 桶中。模型在 SageMaker 模型注册表中注册，并被分配版本。Amazon S3 的 PUT 操作触发 AWS Lambda。此 Lambda 函数将开发账户中的所有工件复制到 AI/ML 治理账户的另一个 S3 桶中，以提供受限访问和数据完整性。本文假定您的账户和 S3 桶位于 同一 AWS 区域。有关跨区域复制的信息，请参阅 使用 AWS CLI 从一个 S3 桶复制数据到另一个账户和区域。注册模型会触发与 SageMaker 模型注册表操作相关的默认 Amazon CloudWatch 事件。CloudWatch 事件被 Amazon EventBridge 消费，调用另一个 Lambda。此 Lambda 函数的任务是启动 SageMaker 审批管道。SageMaker 审批管道根据预定义基准评估工件，以确定它们是否满足审批标准。根据评估结果，管道相应地更新模型状态为已批准或被拒绝。

该工作流程提供了一种强大、自动化的模型审批流程，利用 AWS 的安全、可扩展基础架构和服务。每个步骤都旨在确保只有符合设定标准的模型才能获得批准，从而保持模型性能和公平性的高标准。

结论

本文探讨了一个示例解决方案，以帮助自动化模型进入生产的合规检查。随着 AI/ML 的日益普及，组织需要新的工具以将高技能员工的专业知识编码化。通过嵌入您的专业知识作为代码，并利用事件驱动架构运行自动化检查，您可以提高模型的速度和质量，而不必依赖于个人的手动审批或质量保证审查。通过将熟知的 CI/CD 技术应用于 ML 建模生命周期，组织能够在生成式 AI 时代进行扩展。

如果您有任何想法或问题，请在评论部分留言。

从自管理的 Db2 迁移到 Amazon RDS for Db2，使用 AWS DMS 数据库博客

使用 LlamaIndex 和 Llama 2