Semantic router vllm project

vllm-project semantic-router ¶

vLLM Semantic Router 是专为 vLLM 设计的系统级智能中间件，位于用户请求与模型之间。其核心功能包括：基于信号驱动的语义自适应路由与缓存、多模型协作优化、实时幻觉检测及安全防护（防越狱、隐私泄露）。系统通过捕捉请求、响应及上下文信号实现智能决策，支持自学习机制，提供 CLI 工具进行配置管理，旨在提升混合模型（MoM）场景下的推理效率、安全性与集体智能。