Aibrix vllm project

vllm-project aibrix ¶

AIBrix 是一个开源云原生项目，旨在提供构建可扩展生成式 AI (GenAI) 推理基础设施的核心组件。它专为满足企业需求而设计，支持大型语言模型 (LLM) 的部署、管理与扩展。基于 Kubernetes 架构，其核心功能包括高密度 LoRA 管理、LLM 网关与路由、应用定制化自动扩缩容、统一 AI 运行时、分布式推理、分布式 KV Cache、成本效益的异构推理服务以及 GPU 硬件故障检测。