1. 先把“Hermes”和“Robot Phone”这两件事想明白先说个亲身感受我最早看到“Robot Phone”这个词时脑子里浮现的是那种科幻电影里会自己变形、会说话的机械手机。真做下来才发现这个词在当前智能体语境下的含义更朴素也更实用——让手机变成一台能“自主感知、自主决策、自主执行”的机器人终端。而Hermes就是这套系统里的“大脑”。Hermes本质上是一个以智能体为核心的自动化框架它能对接本地大模型比如通过Ollama部署的DeepSeek量化版也能调度手机上的各种能力读取通知栏、模拟点击、唤起应用、执行Shell命令、甚至调用摄像头和传感器。换句话说手机不再是一个被动等着你手指戳的屏幕而是一个能自己“看消息、做判断、点按钮”的执行体。这个项目适合谁我个人觉得三类人最值得折腾一是想入门本地大模型和智能体开发的技术爱好者Hermes的部署链路非常典型能一次把模型加载、服务编排、端侧交互全串起来二是做自动化工具的人比如想给自己的旧手机找个新用途让它乖乖当通知管家、定时巡检工具或会议纪要助手三就是纯粹爱折腾的玩家享受把一台普通手机“调教”成机器人的过程。这套方案最吸引我的点是它可以完全本地化运行。数据不出设备不依赖云端的黑盒服务模型、配置、操作日志都在自己手里。对隐私敏感的人来讲这一点非常关键。不过在动手之前大家要对“部署”有个正确预期Hermes Robot Phone不是装一个App那么简单它是一条完整的链路——模型仓库、智能体服务、手机端代理、自动化权限配置任何一个环节断了整个系统就趴窝。所以下文我会按照从底层到上层、从服务端到手机端的顺序把整条链路一步步搭起来。2. 部署架构与核心方案选型2.1 整条链路分成哪几层我的经验是先别急着敲命令花十分钟把架构图画清楚后面能少踩一半的坑。Hermes Robot Phone的部署架构大致分成四层底层是推理引擎。目前主流选择是Ollama它负责加载和运行大语言模型对外提供OpenAI兼容的API接口。模型方面可以用DeepSeek的量化版比如deepseek-r1:7b或14b的Q4版本资源占用和智商水平最平衡。第二层是智能体框架也就是Hermes本体。它负责理解用户指令、拆分任务、调用工具、维护多轮对话状态。Hermes要能读取手机端上报的状态也要能把“下一步动作”下发给手机执行。第三层是手机端代理Agent Client。它有两种形态一种是轻量级App常驻后台监听指令另一种是通过ADB或Termux跑起来的脚本服务。手机端负责采集状态、执行动作把结果回传给大脑。顶层是控制入口。可以是Web UI、命令行也可以是微信/Telegram这类聊天界面。如果你把控制端接进聊天软件就真有了“指挥机器人”的感觉。2.2 为什么选Hermes而不是其他方案我并不是没试过别的路子。早期我也用过纯ADB脚本Tasker的组合指令写死手机就是一具提线木偶换个场景就得改一堆规则。也试过直接在大模型API基础上自己写任务规划器结果上下文管理、工具注册、错误重试全得自己造轮子两周就把热情耗光了。Hermes这类智能体框架的价值是它把“大模型推理”和“外部动作”之间的胶水层做成了通用能力。你只需要把手机端的能力封装成工具Tool注册给Hermes它就能通过大模型的函数调用机制自动选择工具、组织参数、处理结果。这比自己维护一套状态机要优雅得多。选型时有个特别容易犯的错误只看模型智商不看框架对端侧设备的适配程度。Hermes对手机端的支持做得比较全无障碍服务、悬浮窗、Shell通道都有现成接口这能省掉大量底层适配工作。2.3 部署形态本地一体机还是服务端手机分离接下来的问题就是Hermes跑在哪里手机算力有限尤其是老的骁龙机型本地硬跑7B模型会卡到怀疑人生。我更推荐“分离式”部署服务端Hermes Ollama 模型方案A跑在你家里一台闲置迷你主机或旧笔记本上内存16GB以上最好方案B跑在一台合规的云服务器上方便随时随地访问。手机端Hermes Agent / 控制终端只承担采集和执行的轻量任务。这样部署的好处是模型推理不吃手机资源手机电池不尿崩而且服务端统一管理模型换了手机也不用重新灌模型。手机端只要保证网络能和Hermes服务端通信就行同一局域网最稳定跨网就用合规的端口映射或内网穿透方案解决但要注意做好鉴权和加密不要裸奔在公网上。3. Hermes服务端部署完整实操3.1 基础环境准备我先按Ubuntu 22.04 LTS系统为例来讲Windows用户可以用WSL2或者Docker Desktop流程基本一样。先更新软件源、装好基础工具sudo apt update sudo apt upgrade -y sudo apt install -y curl git build-essential docker.io docker-compose-v2这里有个细节docker-compose不要装那种老旧的独立版本直接用docker-compose-v2配置语法跟新版Compose文件兼容更好。装完记得把当前用户加进docker组否则后面每条命令都要sudo非常烦躁sudo usermod -aG docker $USER newgrp docker3.2 安装Ollama并选择合适模型Ollama的安装非常无脑curl -fsSL https://ollama.com/install.sh | sh装完后先确认服务状态再拉取模型。我个人实测下来手机自动化场景对模型有两个要求一是指令遵循能力要强能准确输出JSON格式的工具调用参数二是中文理解不能太拉胯毕竟很多人会让它读中文通知和微信消息。按手机内存和CPU性能我给出三档选择模型参数量量化精度内存需求适合场景qwen2.5:7b-instruct7BQ45-6GB入门首选速度快中文好deepseek-r1:7b7BQ46-8GB推理能力更强但偶尔话痨deepseek-r1:14b14BQ410-12GB复杂任务规划需16GB内存拉取命令ollama pull qwen2.5:7b-instruct ollama pull deepseek-r1:7b关于模型路径问题我再多说一句DeepSeek的R1系列虽然推理强但它在输出工具调用时偶尔会带上一大段思维链内容这对Hermes解析JSON反而是负担。如果你的Hermes版本支持独立思维链过滤那就没问题不支持的话优先用Qwen的instruct版本输出格式更老实。验证模型可用ollama run qwen2.5:7b-instruct 用一句话介绍Hermes智能体看到正常回复后确认Ollama的API端口监听在11434curl http://localhost:11434/api/tags返回模型列表Json就说明Ollama层OK了。3.3 拉取Hermes服务端并配置Hermes的获取方式不同发行版路径不同。我用的这套是支持Docker Compose一键编排的版本仓库克隆下来后目录结构大概是这样hermes/ ├── docker-compose.yml ├── .env.example ├── config/ │ ├── hermes.yaml │ └── tools/ ├── data/ └── logs/先把环境变量模板复制一份cp .env.example .env这里要改几个关键配置项我先解释一下各自的用途# .env 核心配置 OLLAMA_BASE_URLhttp://host.docker.internal:11434 HERMES_MODELqwen2.5:7b-instruct HERMES_PORT8080 HERMES_AUTH_TOKENyour_secure_token_hereOLLAMA_BASE_URL要特别注意如果Hermes跑在容器里Ollama跑在宿主机上容器内不能直接用localhost访问宿主机要么用host.docker.internalLinux上需要在compose里加extra_hosts要么直接把Ollama也容器化。我更推荐后者省心。对模型地址的配置我要强调一下很多新手会把模型名写错Ollama的模型名包含标签比如qwen2.5:7b-instruct漏掉后面的:7b-instructHermes就会在调用时报model not found这个坑我至少见人踩过五次。3.4 用Docker Compose编排Hermes我推荐把Hermes和Ollama放进同一个compose栈里这样一条命令拉起所有服务。生产级编排示例services: ollama: image: ollama/ollama:latest container_name: ollama volumes: - ./data/ollama:/root/.ollama ports: - 11434:11434 restart: unless-stopped hermes: image: hermes-agent:latest container_name: hermes depends_on: - ollama environment: - OLLAMA_BASE_URLhttp://ollama:11434 - HERMES_MODELqwen2.5:7b-instruct - HERMES_PORT8080 - HERMES_AUTH_TOKEN${HERMES_AUTH_TOKEN} volumes: - ./config:/app/config - ./data:/app/data - ./logs:/app/logs ports: - 8080:8080 restart: unless-stopped启动前先创建目录避免挂载报错mkdir -p data/ollama data/hermes logs config/tools然后docker compose up -d查看日志docker compose logs -f hermes看到类似Hermes server started on port 8080的日志服务端就算起来了。这里有个排错技巧如果Hermes容器一直重启先别急着看应用日志先看docker logs hermes里有没有模型加载异常多半是模型名写错或者Ollama内存不足。3.5 验证Hermes服务端是否正常用curl打一下Hermes的健康检查接口curl -X POST http://localhost:8080/v1/chat \ -H Content-Type: application/json \ -H Authorization: Bearer your_secure_token_here \ -d { message: 你好请介绍一下你自己 }能收到正常回复就说明Hermes服务端整条链路已经通了。走到这一步服务端的工作完成了大约80%剩下的重点全在手机端。4. 手机端接入与Robot Phone核心配置4.1 手机端Agent的两种形态手机端这块我会分开讲两种方案你可以根据自己的需求选方案A用Hermes官方提供的手机客户端。优点是开箱即用有界面适合第一次接触的新手缺点是定制性低部分能力受客户端约束。方案B用Termux Python脚本自建Agent。自由度最高可以直接调用Android的系统接口、写Shell脚本、定时任务适合深度玩家。缺点是要自己维护脚本稳定性。我自己的实践是方案B为主、方案A为辅。日常高频操作用客户端就够了但真正要让Robot Phone“懂我”比如自动处理验证码、定时巡检应用状态、监控某个页面价格变化还得靠Termux里跑的个性化脚本。4.2 开启无障碍服务与必要权限无论哪种方案Android系统层面的权限是绕不开的。Robot Phone的核心能力比如自动点击、读取屏幕内容、模拟手势都依赖无障碍服务AccessibilityService。这是整个配置过程中最容易劝退新手的环节。以方案A为例安装Hermes Agent后需要到系统设置里找到“无障碍”-“已安装的服务”-开启Hermes Agent。这里要注意不同厂商ROM的入口差异很大小米在“更多设置”里华为在“辅助功能”里原生Android在“系统”-“无障碍”里。如果你找不到直接设置里搜“无障碍”三个字。除了无障碍还建议授权通知使用权让Hermes能读取通知栏内容实现“有消息来了自动汇报”悬浮窗权限Hermes的快捷控制浮球需要这个权限电池优化白名单防止手机杀后台否则Agent一锁屏就被回收Robot Phone直接变砖头。最后这条特别关键我见过太多人配好了所有东西锁屏十分钟后Hermes就失联都是被系统省电策略杀掉了进程。请在电池设置里把Hermes Agent和Termux都设为“无限制”或“不优化”。4.3 配置Hermes手机终端连接服务端打开了权限下一步就是把手机端指向服务端。在Hermes Agent的设置页面里需要填三样东西服务端地址例如http://192.168.1.100:8080局域网场景认证Token对应服务端.env里配置的HERMES_AUTH_TOKEN设备名称给这台手机起个名字方便服务端多设备管理连接成功后手机端会自动向服务端注册自己的能力和状态。你可以在Hermes Web UI里看到设备在线、电池电量、网络类型这些基础信息。这里我要单独提醒一次不要为了图方便直接让手机通过公网IP访问Hermes服务端。如果一定要跨网络访问务必把服务端反代到支持TLS的域名后面并且加上IP白名单。手机端这个Agent一旦暴露在公网上被恶意控制你手机上装的银行应用、支付应用全变成待宰羔羊。安全再强调也不为过。4.4 打造第一个机器人动作让手机自己汇报消息链接通了之后第一个上手实操建议从“通知自动汇报”开始。这个功能能很快验证整条链路又不涉及太复杂的操作。在Hermes的Web UI或配置中心里给手机端绑定一个“通知读取”工具然后用自然语言对Hermes下指令读取手机上的最新三条通知整理成摘要告诉我分别来自哪个应用、说了什么内容。Hermes会这样工作调用手机端Agent的get_notifications工具Agent从Android通知服务里拉取最近三条通知一条条汇报给HermesHermes把原始通知内容交给本地大模型总结最后通过手机端语音播报、Web UI或你绑定的聊天工具返回摘要。我第一次跑通这个流程时说实话有点小兴奋——手机主动开口汇报消息那一瞬间你真会觉得面前这台设备“活”过来了。通知权限和WebSocket长连接都稳定的情况下整个过程从下指令到结果返回延迟基本在2秒以内本地模型跑在7B量化版本上体感非常不错。4.5 进阶让手机自己点屏幕、做操作如果通知汇报只是“感知”那接下来要做的就是“行动”。让Robot Phone具备模拟操作能力核心是借用Android的ADB通道或在Agent里集成无障碍手势API。走Termux方案的实操步骤是这样的先在手机Termux里装ADB工具Android 11及以上也可以直接用系统API不需要ADB然后确认Hermes能调用到手机端的系统Shellpkg install android-tools在Hermes的tools目录里注册一个click_item工具作用是通过无障碍服务找到屏幕上的文本或者描述然后模拟点击。工具配置示例name: click_item description: 点击屏幕上指定文本的元素 params: text: string trigger: 用户要求点击某个按钮或应用时 script: | adb shell input tap $(find_text_position \$text\)大模型会根据你的指令自动生成调用这个工具所需的参数。比如你说“帮我把微信打开并进入公众号页面”Hermes会规划出两个步骤先调open_app工具打开微信再调click_item找到并点击“公众号”Tab。不过这里我也要说句大实话无障碍模拟点击的稳定性跟应用自身UI是否标准强相关。微信、淘宝这类大厂应用的界面元素属性还算规范遇到一些用Flutter或者自绘引擎做的应用节点树里全是无意义的custom view坐标定位就全靠猜翻车概率直线上升。真要玩重度自动化还是得配合OCR或者图像识别来兜底这是后话。5. 常见问题与排查技巧实录5.1 Hermes连不上Ollama或模型加载失败现象一Hermes正常启动但一对话就报Internal Server Error。排查思路先看Ollama是否还活着curl http://localhost:11434/api/tags如果这个接口都超时先确认Ollama进程在不在ps aux | grep ollama。大概率是容器重启导致Ollama没起来或者Ollama的内存被系统OOM killer杀掉。前者用docker compose restart ollama后者去看dmesg | grep -i oom确认。现象二调用时提示model not found, try pulling it first。这个十有八九是模型名写错了。Ollama的模型名是敏感匹配多一个少一个冒号都不认。直接用ollama list看一下真实名称再复制到Hermes配置里。5.2 手机端Agent频繁掉线这是Robot Phone落地后最烦人的问题没有之一。Agent掉线通常有两类原因第一类系统杀后台。前面提过的电池优化白名单没设置到位。除了App本身Termux如果常驻在后台也需要加到白名单里。Android 12以上还有“深度睡眠”机制最保险的做法是锁屏前在最近任务页把Agent应用下拉一下锁定任务卡片。第二类网络切换导致长连接断开。手机从Wi-Fi切到移动网络WebSocket连接会断如果Agent没有实现自动重连你就需要手动重启。我踩过这个坑后在Termux里写了个守护脚本每30秒检查一次连接断线就自动拉起新连接。脚本逻辑不复杂但省心太多了。5.3 大模型输出格式不对Hermes解析失败Hermes依赖大模型输出结构化的工具调用参数但本地小模型偶尔会输出非标准格式。我自己实测下来解决办法有三个把Hermes的temperature调低到0.1或0.2输出确定性大大提升在system prompt里显式强调“必须输出JSON不要输出额外解释”选择经过指令微调的instruct模型不要用base模型。如果还不行就在Hermes的配置里开启“输出格式校验失败后自动重试”选项它会把错误信息回怼给大模型让它自我纠错。这个机制非常管用能把工具调用的成功率从85%干到95%以上。5.4 Robot Phone操作太慢怎么优化手机端执行动作慢最常见的瓶颈是大模型推理时间。7B模型在CPU上跑单次要3到5秒很正常。如果你希望更快几个方向换更小的量化模型qwen2.5:3b速度和智商之间做个取舍服务端换带NVIDIA显卡的机器做GPU推理7B模型Q4量化能跑到每秒30到40 tokens体验质的飞跃在Hermes里开流式输出至少能让你看到“它在思考”的痕迹心理体感快很多。另外手机端频繁拉起应用和模拟点击本身也有延迟这个没有太多魔法可解尽量串行执行步骤不要一次给Hermes安排太多链式操作。6. 把Robot Phone接入更多实际场景当你把基础链路跑通理论上就已经拥有一台“任意指令都能接”的机器人手机了。我用一段时间后沉淀了几个日常真用得上的场景给想深入折腾的朋友做个参考消息管家让手机定时汇总所有聊天软件的重要通知每天早晚各推送一次摘要日程助手你在地铁上发一条语音“明天上午九点开周会”Hermes自动解析时间、打开日历应用创建事件自动化巡检对指定App执行“打开-截图-返回”循环把截图上传到服务端归档用于无人值守的UI变更监控应急告警当手机电量低于20%、或者某个应用崩溃时主动推送提醒。这个用通知读取条件判断就能做非常适合把旧手机变成家庭监控的哨兵。每接一个场景本质上就是给Hermes多注册一组工具把“自然人操作手机的动作”翻译成可编程的工具接口。这个过程会不断加深你对智能体工作流的理解。我对Robot Phone最深的感受是它并没有多高深的技术魔法但把感知、决策、执行三层串起来之后那种“指挥一台设备替自己干活”的掌控感是普通自动化脚本给不了的。毕竟脚本只能执行你写好的逻辑而Hermes给了手机一个能根据现实情况随时调整策略的“大脑”。最后再分享一个实操小技巧如果你手头正好有一台吃灰的旧手机给它配一个带磁吸的充电底座设置好定时重启任务放在客厅角落当家庭机器人网关。Robot Phone的乐趣不只是玩一次就放到抽屉里而是让它成为你数字生活里一个随时听候调遣的贴身执行者。这个过程会不断加深你对智能体工作流的理解。