Jamf 构建 Amazon Bedrock 实时支出管控系统:基于 IAM 与 Lambda 的 Token 成本治理实践
Jamf 针对生成式 AI 支出不可预测的问题,利用 AWS IAM、Amazon Athena 和 AWS Lambda 构建了生产级实时成本管控架构。该系统通过分层限制模型访问权限,在保障工程师工作连续性的同时,实现了个人维度的 Token 成本问责。
随着生成式 AI 在企业中的普及,基于 Token 消耗的支出模式给传统成本管控带来了挑战。Jamf 作为服务超过 76,000 个组织的 Apple 设备管理服务商,在扩大 Amazon Bedrock 访问权限后,面临 AI 支出难以实时追踪和问责的问题。为此,Jamf 开发了一套生产级系统,通过 AWS 服务组合实现了对工程师个人每日支出的近实时监控与分层限制,旨在平衡开发效率与成本可控性。
先看重点
- Jamf 利用 Amazon Athena 视图直接查询 Amazon S3 中的调用日志,计算每位工程师的每日 Token 支出。
- 系统采用分层限制策略:当支出达到日预算 80% 时限制 Anthropic Claude Opus,达到 100% 时限制 Anthropic Claude Sonnet,但保留 Anthropic Claude Haiku 访问权限。
- 通过 AWS Lambda 每 15 分钟运行一次,自动更新 IAM Customer Managed Policies (CMPs),限制措施在无需重新认证的情况下即时生效。
- 提供基于 Slack 的例外流程,允许管理员为特定工程师授予有时限的更高限额,并通过 DynamoDB TTL 自动清理过期例外。
AI 支出管控的新挑战
传统计算成本通常与预置容量成正比,而生成式 AI 的支出则与用户行为高度相关。原文指出,单个工程师运行代理式编码循环可能在几小时内消耗比团队一周更多的 Token,这种‘Tokenomics’问题导致成本在账单到达前不可见,使得 ROI 证明和成本控制变得困难。Jamf 在赋予工程团队广泛访问 Amazon Bedrock 权限后,虽然生产力提升,但也迫切需要建立个人维度的成本可见性和问责机制。这意味着企业需要在扩大 AI 访问权限前,明确回答人均支出、限额对效率的影响以及生产力增益是否抵消成本这三个核心问题。
基于 AWS 服务的实时架构设计
Jamf 的解决方案由三个无服务器组件构成:测量、决策通知和执行。首先,Amazon Bedrock 将包含模型 ID、Token 计数和用户身份的调用日志记录到 Amazon S3。其次,Amazon Athena 视图直接读取这些日志,根据发布的模型费率计算每位用户的每日支出,避免了独立数据管道的复杂性。最后,AWS Lambda 函数由 Amazon EventBridge 每 15 分钟触发一次,读取 Athena 视图和 Amazon DynamoDB 中的例外表,计算受限用户列表。这种设计确保了成本计算的实时性和准确性,为后续的执行动作提供数据基础。
分层限制与无感执行机制
在执行层面,系统采用分层模型限制策略。当工程师支出达到日预算的 80% 时,系统拒绝其访问 Anthropic Claude Opus;达到 100% 时,拒绝访问 Anthropic Claude Sonnet,但保留对低成本模型 Anthropic Claude Haiku 的访问,以确保工作不中断。Lambda 函数通过发布新的 IAM Customer Managed Policies (CMPs) 版本来实施限制,策略通过 saml:sub 条件键针对特定用户。由于 CMPs 附加在 IAM permission set 上,限制在工程师下一次调用时由 IAM 即时评估生效,无需重新认证。这种机制实现了近实时的支出执行,且限制会在每日重置时自动解除,无需维护单独的解锁代码路径。
例外流程与生产环境考量
为了应对合法的高支出需求(如大型迁移或客户升级),Jamf 设计了基于 Slack 的例外工作流。管理员可通过 /bedrock-limit 命令授予有时限的自定义限额,该操作会写入 DynamoDB 例外表并记录审计轨迹。通过设置 DynamoDB TTL,过期例外会自动清理。此外,Athena 视图将未映射的模型定价为最高层级作为安全失败机制,防止未知模型绕过管控。这一生产级实践表明,AI 成本治理不仅需要技术架构,还需结合清晰的例外流程和审计机制,以平衡灵活性与合规性。
参考资料与编写说明
- 事实来源:AWS Machine Learning:Tokenomics at scale: How Jamf built real-time spend enforcement for Amazon Bedrock
- 本文由 AiNav 根据公开材料独立整理与解读,事实陈述与编辑分析分别表达,不逐段转载或翻译发布方全文。来源链接用于溯源和查看后续更新,本站正文已提供本篇完整内容。
- 尚未公开或来源未证实的信息不作确定性结论。具体产品条件、法规进展和服务变动以发布方后续公告为准。