LocalAI
LocalAI 是一个开源的本地化人工智能平台,提供大语言模型(LLM)的本地部署与运行能力。其核心功能包括支持多种硬件加速(如 NVIDIA CUDA、AMD ROCm、Intel oneAPI、Apple Metal 等),集成 llama.cpp、whisper.cpp、diffusers 等后端服务,适用于文档问答、语音处理、图像识别等场景。用户可通过 Kubernetes 部署或本地安装使用,支持与 Discord、Slack、Telegram 等应用集成,并提供多种前端界面(如 WebUI、VSCode 插件等)。主要特性包括模块化架构、丰富的社区资源、支持自定义模型和容器,以及兼容多种硬件平台。项目提供详细的安装指南、调优文档及集成案例,适用于个人开发、企业部署及教育研究等场景。