前言
来论坛这么久了,天天白嫖大佬们的资源和技术,一直没啥贡献。今天想着自己也出点力,把最近在搞的一个项目开源出来,回馈一下社区。
项目介绍
这是一个 Android 端的 Phone Agent(手机智能体)项目,目标是实现手机操作的自动化和智能化。
本项目深受智谱 AI 开源的 AutoGLM 启发,是其在 Android 端的一种探索与实现。在此特别感谢智谱开源团队的贡献!
智谱官方其实已经有鸿蒙和 iOS 版本的相关实现了。但由于我手头缺乏这两类设备,暂时只完成了 Android 版本的开发。
目前鸿蒙和 iOS 的底层机制与 Android 略有不同(不支持通用的 ADB 连接),因此实现方式会有所区别。如果论坛里的各位大佬有设备也有兴趣,欢迎一起动手,把这两个平台的坑也填上。
这里我有一些初步的技术构想,供大家参考:
点击查看跨平台实现构想
-
HarmonyOS (鸿蒙)
- 方案:内网穿透 + HDC
- 思路:通过 HDC (HarmonyOS Device Connector) 建立连接,配合内网穿透技术实现远程控制和指令下发。
-
iOS (苹果)
- 方案:内网穿透 + WebDriverAgent
- 思路:利用 Facebook 的 WebDriverAgent 项目 (通常用于 Appium) 在 iOS 设备上运行个 Server,配合内网穿透暴露接口,从而实现点击、滑动和截图等操作。
-
安卓
- 方案:内网穿透 + adb
- 思路:同理安卓也行,通过内网穿透技术,将安卓设备的 ADB 端口暴露到外网,从而实现远程控制和指令下发。
目前项目还在持续迭代中,欢迎大家试玩、Star 或者提 PR 一起完善。
项目截图
开源地址
GitHub: GitHub - jieyou-io/phone-agent-xiaozhi
