> 技术文档 > 全网首发!AgentCPM-GUI通过adb操控手机教程

全网首发!AgentCPM-GUI通过adb操控手机教程


1. 背景

  • 随着多模态大模型的发展,​​AgentCPM-GUI​​作为清华大学与ModelBest联合研发的安卓GUI智能体,首次实现了通过​​视觉推理+ADB协议​​对手机界面进行自动化操控。其核心在于将MiniCPM-V模型的图像理解能力与Android Debug Bridge(ADB)的底层控制命令结合,形成“思考-执行”闭环:模型解析屏幕截图后生成操作指令(如点击坐标、输入文本),再通过ADB协议转发至手机执行。这一技术突破不仅替代了传统脚本的硬编码操作,更为无障碍辅助、自动化测试等场景提供了自然语言交互新范式。本教程将详解如何部署AgentCPM-GUI并打通ADB控制链路,实现“一句话操控手机”
  • 特性:实现AgentCPM-GUI通过adb操控手机
  • 官方GitHub :参考AgentCPM-GUI
  • 全网首发!AgentCPM-GUI通过adb操控手机教程
  • AgentCPM-GUI模型:https://www.modelscope.cn/models/OpenBMB/AgentCPM-GUI
  • 官方演示:演示案例(1倍速):
    https://github.com/user-attachments/assets/5472a659-cd71-4bce-a181-0981129c6a81

2.电脑安装并连接adb

2.1 安装adb

  • 电脑安装adb用于连接手机
  • 下载platform-tools-latest-windows.zip
  • 设置环境变量(网上查教程即可)
  • 这个网上很多教程,不展开介绍

2.2 连接手机adb

  • 安卓手机,开发者模式
  • 打开电脑命令行,输入指令“adb devices -l”,查看输出结果,就可以看到设备是否连接成功
C:\\Users\\21702>adb devices -l</

生命起源探索