跳转至

Part VIII 部署与基础设施

本部分目标

Part VIII 讨论 Agent 平台从“能够运行”进入“能够稳定交付”以后必须建立的基础设施边界。四章形成一条连续生产链:GPU 调度负责把算力变成可承诺资源,模型服务负责把权重变成稳定 API,LLM 网关负责把模型调用变成受治理入口,GitOps/IaC 负责把这些状态变成可复现的生产环境。

这四层不能互相替代。GPU 还有空闲,不代表某个模型能立即扩容;模型 Service Ready,不代表当前租户有权调用;网关能够路由,不代表生产配置已经经过受控 Promotion。只有算力、服务、调用治理和交付证据同时成立,Agent 平台的基础设施才真正闭环。

本部分章节

主题 核心问题
第43章 GPU 调度与 Kubernetes 节点池、队列、Gang、配额、弹性 高价值任务怎样按 SLO 获得 GPU
第44章 模型部署 KServe、Runtime、Revision、Canary、回滚 模型怎样变成稳定、可升级的 API
第45章 LLM 网关与多租户 身份、路由、配额、fallback、缓存 每次模型调用怎样被统一治理
第46章 GitOps、IaC 与边缘推理 Terraform、Helm、ArgoCD、Promotion、Edge OTA 生产状态怎样可复现、可审计、可回退

四个贯穿全 Part 的生产承诺

算力承诺回答“这类任务能否在约定时间拿到合适 GPU”;模型服务承诺回答“上层是否只依赖稳定服务名和接口”;调用治理承诺回答“谁能调用什么模型、花多少、失败时怎么降级”;交付承诺回答“谁改了什么、何时进入哪个环境、如何恢复上一稳定状态”。

这四个承诺相互依赖。第43章的节点池容量会影响第44章的模型副本,第44章的服务健康会影响第45章的路由与 fallback,第45章的租户和模型策略最终由第46章进入生产。Part VII 的 Trace、成本和 SLO 则贯穿这条链路,为每一层提供运行证据。

阅读建议

架构师建议顺序阅读第43–46章,重点看职责边界和跨层契约。应用开发者可以重点读第44、45章,理解为什么业务代码不能直连 Pod 或供应商 API。平台负责人、SRE 与 FinOps 应重点关注第43、45、46章,因为 GPU 配额、模型路由和变更治理最终都会落到资源承诺、成本和业务连续性。

本部分的重点不是教读者堆一套 Kubernetes 工具链,而是说明算力、模型、入口和交付怎样组成一套可运营的生产系统。