Amazon SageMaker HyperPod 推出模型缓存功能，加速推理冷启动

在 Amazon SageMaker HyperPod 上部署大型语言模型（LLM）时，推理冷启动通常受限于容器镜像和模型权重的网络下载时间，导致自动扩缩容响应滞后。AWS 近日推出模型缓存功能，允许在 Pod 启动前将数据预加载至节点本地 NVMe 存储。这意味着用户无需等待漫长的网络传输，即可在秒级时间内让新 Pod 开始处理流量，从而优化大规模推理服务的弹性能力。

先看重点

• 模型缓存包含权重缓存和镜像缓存两个独立功能，可单独或同时启用。
• 启用后，Pod 从本地 NVMe 读取数据，典型速度约为 7 GB/s，避免网络下载延迟。
• 对于 600GB+ 的大型模型，冷启动时间可从 30 分钟以上缩短至秒级。
• 具备回退机制，若节点无缓存，Pod 仍可从原始存储源正常下载，不会导致服务失败。
• 基准测试显示，启用权重缓存可使扩缩容速度提升约 60%，镜像缓存可减少高达 97% 的拉取时间。

冷启动瓶颈与解决方案

在 Amazon SageMaker HyperPod 上部署 LLM 推理服务时，从请求 Pod 到其就绪服务之间存在显著延迟。这一延迟主要由两个顺序下载过程主导：从 Amazon ECR 拉取推理服务器容器镜像，以及从 Amazon S3、Amazon FSx for Lustre 或 HuggingFace Hub 下载模型权重。对于较小的模型，这一过程可能需要几分钟；但对于如 DeepSeek-R1 这样超过 600GB 的大型模型，冷启动时间可能超过 30 分钟。这意味着自动扩缩容的实际响应时间受限于网络吞吐量，而非调度策略。AWS 推出的模型缓存功能旨在消除这一瓶颈，通过预加载机制让 Pod 在启动时直接读取本地数据。

权重缓存与镜像缓存机制

模型缓存提供两种独立能力：权重缓存和镜像缓存。权重缓存会将模型权重预先下载到节点的本地 NVMe 存储。启用后，HyperPod Inference Operator 会自动创建 ModelDataCacheConfig 资源，并在所有目标节点完成下载并标记为 cache-ready 后，才创建推理部署。此时，Pod 启动时以约 7 GB/s 的速度从本地 NVMe 读取权重，而非通过网络下载。镜像缓存则通过 DaemonSet 预先拉取容器镜像至节点，Pod 启动时跳过 ECR 拉取过程，节省 5-7 分钟时间。值得注意的是，镜像缓存不会阻塞部署创建，若节点缓存未完成，Pod 将正常从 ECR 拉取。

对读者影响与性能提升

对于依赖自动扩缩容的推理服务用户，这一功能意味着更快速的流量处理能力。基准测试显示，在 57-145GB 的模型范围内，启用权重缓存可使扩缩容速度提升约 60%。镜像缓存可消除超过两分钟的冷启动镜像拉取时间，相比每次从 ECR 新鲜拉取，最高可实现 97% 的时间减少。由于收益随模型大小增加而扩大，对于部署超大模型的用户，冷启动时间可从数十分钟缩短至秒级。可以理解为，这显著降低了高并发场景下的服务延迟，提升了用户体验。

使用限制与回退机制

模型缓存采用首选调度而非强制调度，确保服务可用性。如果调度器将 Pod 放置在无缓存的节点上（例如快速扩缩容超出缓存节点数量），Pod 将从原始存储源（如 Amazon S3）读取权重，并从 Amazon ECR 拉取镜像。这种行为与未启用缓存时相同，不会导致失败或需要用户干预，仅存在正常的下载时间延迟。此外，缓存配置在 Pod 重启后保留在同一节点上，扩缩容时若新 Pod 落在已缓存节点，可立即启动。用户只需在 InferenceEndpointConfig 或 JumpStartModel 资源中添加 modelCacheConfig 部分即可启用，无需额外基础设施设置。

参考资料与编写说明

• 事实来源：AWS Machine Learning：Reduce inference cold starts on Amazon SageMaker HyperPod with model caching
• 本文由 AiNav 根据公开材料独立整理与解读，事实陈述与编辑分析分别表达，不逐段转载或翻译发布方全文。来源链接用于溯源和查看后续更新，本站正文已提供本篇完整内容。
• 尚未公开或来源未证实的信息不作确定性结论。具体产品条件、法规进展和服务变动以发布方后续公告为准。