ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

VisionClaw iOS快速开始:10分钟跑通实时语音视觉助手,无需眼镜也能玩

VisionClaw iOS快速开始:10分钟跑通实时语音视觉助手,无需眼镜也能玩 VisionClaw iOS快速开始10分钟跑通实时语音视觉助手无需眼镜也能玩【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClawVisionClaw是一款面向 Meta Ray-Ban 智能眼镜的实时 AI 助手戴上眼镜、对着它说话它就能看见你眼前的画面、听懂你的指令并通过语音实时回答甚至替你执行发消息、搜索等真实操作。更棒的是——没有眼镜也能玩用 iPhone 摄像头即可完整体验语音 视觉 AI 的全部功能。本文带你 10 分钟在 iOS 上跑通它。 开始前的准备工作只需满足以下 4 个条件全部免费或现成准备项说明是否必须iPhone支持 iOS 17.0✅ 必须Xcode15.0从 App Store 安装✅ 必须Gemini API Key在 Google AI Studio 免费申请✅ 必须Meta Ray-Ban 眼镜想体验第一视角才需要⬜️ 可选 一键安装克隆并打开 Xcode 项目第 1 步克隆代码打开终端Terminal执行git clone https://gitcode.com/gh_mirrors/vi/VisionClaw cd VisionClaw/samples/CameraAccess open CameraAccess.xcodeprojopen命令会直接弹出 Xcode 项目无需手动查找。第 2 步填入你的 API KeyiOS 端工程位于 samples/CameraAccess/CameraAccess/密钥模板为 Secrets.swift.example。在终端执行cp CameraAccess/Secrets.swift.example CameraAccess/Secrets.swift打开生成的Secrets.swift把geminiAPIKey替换成你自己的 Key必填其余 OpenClaw 网关配置可先留空后面想玩自动执行任务再配。第 3 步编译运行在 Xcode 顶部选择你的 iPhone 作为目标设备按Cmd R运行。手机屏幕上出现应用界面就代表跑通了 无需眼镜用 iPhone 摄像头体验语音视觉这是新手最推荐的玩法。应用主界面逻辑见 StreamSessionView.swift默认就是 iPhone 摄像头模式在 App 中点击Start on iPhoneApp 会调用 iPhone 后置摄像头点击屏幕上的AI 按钮开启一个 Gemini Live 实时会话直接对着手机说话试试——我在看什么这张照片里有什么文字它的工作原理很直观App 把摄像头画面约每秒 1 帧 JPEG和麦克风音频16kHz PCM实时推给Gemini LiveAI 的语音回答原路返回手机扬声器当 AI 需要动手做事如搜索、发消息时会把任务委托给OpenClaw执行再把结果读给你听。整个流程源码可参考 OpenClaw/OpenClawBridge.swift。️ 进阶玩法戴上 Meta Ray-Ban 眼镜有眼镜的同学先要完成一个一次性设置——在Meta AI App里开启开发者模式打开 iPhone 上的Meta AIApp进入左下角Settings点击App Info连续点击App version版本号5 次解锁 Developer Mode返回 Settings打开新出现的Developer Mode开关。然后在 VisionClaw 中点击Start Streaming并连接眼镜再按 AI 按钮就能实现看到什么问什么的第一视角对话了。️ 常见问题排查现象解决方法提示 Gemini API key not configured检查Secrets.swift中是否已填入 Key或在 App 内 Settings 页面填写AI 听不见我说话确认已授予麦克风权限正常音量清晰说话即可iPhone 模式有回声AI 说话时会自动静音麦克风仍回声就调低音量眼镜连接被拒Error opening link没有开启 Meta AI App 的 Developer Mode按上文步骤设置更多问题参考 README.md 的 Troubleshooting 章节。 小结你刚刚完成了什么不到 10 分钟你已经在 iPhone 上运行了一个实时语音视觉 AI 助手✅ 用 iPhone 摄像头 麦克风体验 Gemini Live 的边看边聊✅ 理解了感知Gemini Live 执行OpenClaw的分层架构✅ 掌握了眼镜开发者模式的开启方法随时可以升级为第一视角玩法下一步可以配置 OpenClaw让 AI 从能说会看进化到能替你做事——对 AI 说一句把牛奶加进购物清单它就会自动帮你完成。【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClaw创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表