14. Serverless 与 AI

Serverless 把「缩到零、按事件触发」带进 Kubernetes；AI/数据栈把「GPU、模型、批处理、工作流」带进来。两者的共同点是：不能直接套用无状态 Web 服务的副本数与 HPA 策略。

层级:

L4 · 实战

难度:

进阶

预计:

30 分钟

前置:

Deployment、HPA、GPU/存储基础

技术栈地图

• Serverless / 事件：Knative Serving/Eventing、Dapr、Argo Events、NATS。

• AI / 模型服务：Kubeflow、KServe、Ray、vLLM。

• 数据 / 工作流：Spark on K8s、Airflow、JupyterHub、Temporal。

• 关键约束：GPU 调度、模型缓存、冷启动、弹性与成本。

选型要点

事件驱动、可缩到零选 Knative/KEDA；模型推理先看是否需要 GPU 常驻，再决定 KServe/vLLM/Ray。数据与训练任务优先用队列与批调度（Volcano/Kueue），不要和在线服务抢同一套节点池。

本域文章

• 14.1. Serverless 与 AI/数据栈：Knative、KServe、Ray 与 vLLM

关联章节

• 微服务商城：服务拆分与链路追踪。

• Prometheus 监控：GPU/推理指标。

• 调度策略：GPU 节点亲和与污点。

• KEDA 与 HPA：事件驱动伸缩。