利用 Amazon SageMaker AI 并发扫描优化生成式 AI 端点规模

在部署生成式 AI 模型时，盲目增加实例数量可能导致预算浪费，而配置不足则会引发延迟飙升。Amazon SageMaker AI 推出的并发扫描（Concurrency Sweeps）功能，通过自动化基准测试帮助开发者找到最佳并发水平。本文以 NVIDIA Nemotron-3 Nano 30B 模型为例，演示如何利用 CreateAIBenchmarkJob API 进行负载测试，从而确定端点的饱和点，实现成本与性能的最优平衡。

先看重点

• 并发扫描通过逐步增加并发请求量，测量吞吐量与延迟，识别端点的性能饱和点。
• 该功能集成于 Amazon SageMaker AI Inference Recommendations，无需构建自定义负载测试基础设施。
• 示例使用 NVIDIA Nemotron-3 Nano 30B 模型部署在 ml.g7e.2xlarge 实例上，利用 vLLM 容器进行推理。
• 通过 CreateAIBenchmarkJob API 可自动化执行扫描，并支持基于 SLA 阈值的自动并发搜索。
• 关键指标包括吞吐量、p99 延迟、p50 至 p99 延迟差值以及首字延迟（TTFT），用于判断服务是否过载。

背景：解决端点规模配置的难题

生成式 AI 端点的容量规划通常面临两难：实例过多导致 GPU 闲置浪费预算，实例过少则导致请求排队和用户体验下降。传统的做法是手动部署、测试、调整并重复，缺乏系统性。并发扫描提供了一种系统化基准测试方法，通过向端点发送受控的、逐步增加的并发流量，分析其性能表现。这意味着开发者可以基于数据而非猜测来决策，从而在满足延迟要求的前提下最大化性价比。

工作原理：识别饱和点与关键指标

并发扫描在每一级并发水平下测量两个核心指标：吞吐量（每秒生成的 token 数）和延迟（每个请求的耗时）。通过逐步增加并发数（例如从 64 到 256，再到 1024），可以绘制出性能曲线，揭示端点的“饱和点”。饱和点是吞吐量不再提升且延迟开始显著恶化的临界点。对于生产环境规划，这提供了三个关键数据点：理想平衡点（吞吐量最大且延迟可接受）、崩溃点（延迟超过 SLA 阈值）以及规模适配因子（覆盖峰值流量所需的实例数）。

实施步骤：从部署到自动化测试

整个工作流分为四步。首先，使用原生 vLLM 容器将模型部署到 SageMaker AI 端点。在示例中，NVIDIA Nemotron-3 Nano 30B 模型被部署在 ml.g7e.2xlarge 实例上，该实例由 NVIDIA Blackwell GPU 提供支持。配置时需设置 SM_VLLM_ENFORCE_EAGER 标志以支持 Mamba-Transformer 混合架构，并调整 GPU 内存利用率以预留 KV 缓存空间。其次，定义工作负载配置文件，模拟真实的推理模式，如 RAG 或摘要任务，并启用流式传输以捕获首字延迟（TTFT）。

执行与分析：数据驱动的容量决策

第三步是通过 CreateAIBenchmarkJob API 运行并发扫描。基准测试引擎 AIPerf 会顺序执行每个并发级别，确保测量结果的隔离性和统计稳定性。结果以 JSON 格式写入 Amazon S3。第四步是分析结果，重点关注吞吐量是否平台期、p99 延迟何时突破 SLA、p50 与 p99 延迟差值是否扩大（信号排队）以及 TTFT 表现。在示例场景中，饱和点出现在 256 个并发请求处，低于此值为安全运行区域，高于此值则端点过载。

进阶应用：自动化 SLA 搜索

除了手动指定并发级别，用户还可以利用自动化的 SLA 基于并发搜索功能。通过在同一 API 调用中提供搜索配方和 SLA 阈值，系统可以自动寻找满足所有 SLA 条件的最高并发数。这对于跨模型版本或实例类型进行容量规划尤为有用。可以理解为，这一功能将容量规划从一次性手动任务转变为可自动化的持续过程，帮助团队更灵活地应对模型迭代和流量变化。

参考资料与编写说明

• 事实来源：AWS Machine Learning：Right-size generative AI endpoints with concurrency sweeps on Amazon SageMaker AI
• 本文由 AiNav 根据公开材料独立整理与解读，事实陈述与编辑分析分别表达，不逐段转载或翻译发布方全文。来源链接用于溯源和查看后续更新，本站正文已提供本篇完整内容。
• 尚未公开或来源未证实的信息不作确定性结论。具体产品条件、法规进展和服务变动以发布方后续公告为准。