nexa sdk NexaAI

NexaAI nexa-sdk ¶

NexaSDK 是一个高性能的本地 AI 推理框架，旨在以最低能耗在 NPU、GPU 和 CPU 上跨平台（Android、Windows、Linux、macOS、iOS）运行最新的多模态 AI 模型。其主要功能包括：

1. 广泛硬件支持：优先支持 NPU（涵盖 Qualcomm、AMD、Intel、Apple ANE），兼容 CPU 与 GPU。
2. 全功能模型：支持 LLM、多模态、ASR、OCR、图像生成、嵌入及重排序等任务，兼容 GGUF、MLX、NEXA 格式，并率先支持最新模型（Day-0 支持）。
3. 多方式集成：提供 CLI 命令行、Python/Android/iOS SDK 及 Linux Docker 方案，支持 OpenAI 兼容 API 及一行代码快速运行。
4. 双重许可：CPU/GPU 组件采用 Apache 2.0 协议，NPU 组件个人使用免费，商业用途需联系授权。