跳转至

Exo exo explore

exo-explore exo GitHub Repo stars

exo 是一个将多台设备连接成 AI 集群以在本地运行前沿大模型的工具。核心功能包括设备自动发现、基于 Thunderbolt 的 RDMA 低延迟通信、拓扑感知自动并行与张量并行化模型拆分,以及 MLX 推理后端支持。项目内置仪表盘和 API 用于集群管理与模型交互。支持 macOS(GPU 加速)和 Linux(CPU 运行),通过多设备协同突破单设备显存限制并提升推理速度。