Skip to content

roubao

项目核心内容总结:

1. 项目概述
”肉包自动导航”是一款安卓自动化工具,通过自然语言指令控制手机操作,结合AI代理(VLM视觉语言模型)与GUI自动化技术,支持打开应用、执行任务等场景。

2. 核心功能

  • 智能应用搜索:支持拼音、语义、分类多维度匹配应用。
  • 双模式操作
    • Delegation模式:高置信度指令直接DeepLink跳转(如”打开微信”)。
    • GUI自动化模式:通过截图+AI分析,模拟点击、滑动、输入等操作。
  • 安全限制:设置操作超时、失败次数限制,防止异常行为。

3. 使用方法

  • 安装Shizuku框架(设备控制依赖)。
  • 配置VLM API密钥(如通义千问等视觉语言模型)。
  • 输入自然语言指令(如”在淘宝搜索手机”),系统自动匹配Skill并执行。

4. 主要特性

  • 原子能力工具层:封装搜索应用、剪贴板操作、Shell命令等基础功能。
  • Skill技能层:预置”打开应用""执行任务”等Skill,支持用户自定义扩展。
  • 日志与调试:导出操作日志、崩溃信息,便于问题反馈。
  • 无障碍服务混合模式(v2.0开发中):结合AccessibilityService实现更精准的UI操作。

5. 技术架构

  • 基于Kotlin开发,模块化设计(Agent、Tools、Skills、UI等)。
  • 依赖Shizuku框架实现设备控制,通过VLMClient调用视觉语言模型。
  • 支持离线使用(v2.0计划加入本地模型)。

6. 开发与贡献

  • 需Android Studio JDK17环境,支持Gradle构建。
  • 开源MIT协议,欢迎提交Issue和Pull Request。