Skip to content

archgw

核心内容总结:
Arch 是一个结合大语言模型(LLM)与 API 调用的网关系统,用于处理用户请求并路由到后端服务。用户可通过配置文件定义 LLM 提供者(如 OpenAI)、系统提示词、提示词目标(对应不同 API 端点)及后端服务的接口信息。启动后,用户可通过 HTTP 接口(如 curl)与网关交互,实现自动化任务处理(如货币汇率查询、天气信息获取等)。

主要特性:

  • 支持多种 LLM 提供者(如 OpenAI)及可配置的提示词模板,包含输入保护机制(如防止越狱)。
  • 支持将用户请求路由到多个后端服务,每个目标可定义独立的 API 路径和参数。
  • 集成可观测性功能,支持追踪、指标、日志(符合开放标准)。
  • 提供调试日志功能,可通过调整日志级别(如 debug)获取详细运行信息。
  • 支持 Docker 容器部署,使用 Supervisord 管理进程。

使用方法:

  1. 创建配置文件(arch_config.yaml),配置监听端口、LLM 提供者、系统提示词、API 路由规则及后端服务地址。
  2. 通过命令行启动 Arch 网关。
  3. 使用 curl 等工具向网关发送 HTTP 请求,触发 LLM 处理或 API 调用。