Dynamo ai dynamo

dynamo ¶

Dynamo 是开源的数​​据中心级推理编排平台，位于 SGLang、TensorRT‑LLM、vLLM 等推理引擎之上，把多 GPU/多节点集群变成协同推理系统。它提供预填充/解码解耦、KV 感知路由、多层 KV 缓存与外存卸载、SLA 驱动自动扩缩容、快速冷启动权重流式加载、故障迁移，以及 K8s 部署与调度支持，面向大模型、推理、多模态和视频生成等高吞吐低延迟场景。