)
前端开发工具【免费下载链接】dillingerThe last Markdown editor, ever.项目地址https://gitcode.com/gh_mirrors/di/dillinger点击查看免费下载本文基于 dillinger 仓库.agent技能库中 VR/AR 开发技能文档 展开它是一份面向 AI Agent 与开发者的沉浸式体验设计原则清单覆盖平台选型、防晕动舒适性、帧预算性能、交互范式、空间尺度与反模式。读完本文你将掌握 VR/AR 项目从平台决策到舒适性调优、从 90 FPS 帧预算到手势交互取舍的一整套可落地的检查清单并能顺着仓库路径继续深入相关技能模块。1. 技能定位这份 VR/AR 指南在仓库中的角色1.1 文档位置与元信息该技能位于 .agent/skills/game-development/vr-ar/SKILL.md是 dillinger 仓库内嵌的 AI Agent 能力扩展套件.agent/ARCHITECTURE.md中 40 个技能模块之一。文档开头以 YAML frontmatter 声明其元数据name: vr-ar description: VR/AR development principles. Comfort, interaction, performance requirements. allowed-tools: Read, Write, Edit, Glob, Grep其中allowed-tools表明该技能属于知识型模块供 Agent 在编码时读取与套用而非可执行程序技能的加载遵循User Request → Skill Description Match → Load SKILL.md的协议见 .agent/ARCHITECTURE.md 的 Skill Loading Protocol。1.2 在技能生态中的路由关系游戏开发编排技能game-development是整个游戏领域的路由器它按下表将任务分发给平台子技能若游戏目标平台为…使用子技能Web 浏览器HTML5、WebGLgame-development/web-games移动端iOS、Androidgame-development/mobile-gamesPCSteam、桌面game-development/pc-gamesVR/AR 头显game-development/vr-ar该编排技能还给出了组合示例多人 VR 射击游戏应依次参考vr-ar舒适性与沉浸、3d-games渲染与multiplayer网络三个子技能——这说明 VR/AR 技能往往需要与其他子技能协同使用本文第 8 节会给出组合路径。2. 平台选型先决定在哪里体验VR/AR 技能文档第 1 节给出两张平台对照表核心逻辑是按使用场景选平台而不是按热度选平台。2.1 VR 平台平台适用场景Quest一体机、无线移动自由度高PCVR高保真画面适合重度图形需求PSVR主机市场客厅主机玩家WebXR浏览器内体验无需安装、跨设备从使用场景看若追求戴上就玩、无束缚选 Quest 系一体机若项目对画面保真有硬指标如高精度场景选 PCVR若面向主机玩家生态选 PSVR若希望零安装分发、借助链接即点即玩则 WebXR。2.2 AR 平台平台适用场景ARKitiOS 设备ARCoreAndroid 设备WebXR浏览器 ARHoloLens企业级场景AR 平台的选型几乎由目标用户的操作系统决定iOS 优先 ARKitAndroid 优先 ARCore若要绕开应用商店、跨端统一分发可考虑 WebXR企业级如工业巡检、远程协作场景则对应 HoloLens。2.3 浏览器端 WebXR 的补充背景仓库内的 Web 游戏技能 对浏览器端 XR 有更细的工程化说明其框架选型决策树明确指出需要完整引擎含物理、XR时选Babylon.js仅聚焦渲染时选Three.js同时给出 WebGPU 渐进采用策略——新项目使用 WebGPU 并保留 WebGL 回退旧项目从 WebGL 起步并用navigator.gpu做特性检测。这与上表中 WebXR 作为零安装跨平台入口的定位形成互补平台能力边界内能做的浏览器端技术栈同样需要紧跟。3. 舒适性原则防晕动是 VR 的第一生产力VR/AR 技能文档第 2 节将舒适性单列为独立章节并把晕动症Motion Sickness当作头号敌人处理。3.1 晕动症成因与对策成因对策Locomotion位移方式瞬移Teleport、分段转向Snap turn低帧率Low FPS保持 90 FPS相机抖动Camera shake避免或最小化快速加速Rapid acceleration渐进式移动这里可以提炼出底层原理晕动症的根源是视觉前庭冲突——玩家身体没动眼睛却看到画面在动。因此对策都指向让视觉位移与身体感知一致或用跳变代替连续运动瞬移位置从 A 点直接跳到 B 点中间不产生连续视觉位移是消除晕动最彻底的手段分段转向把 90° 转向拆成 3 次 30° 跳变避免连续旋转造成的视场流动固定帧率掉帧会带来画面卡顿与相机位置抖动直接加剧不适对应本文第 4 节的帧预算约束渐进加速用缓动曲线代替线性加速避免突兀的惯性变化。3.2 舒适性设置清单技能文档要求为玩家提供以下可选项不能只做默认值要给玩家自主权移动过程中的边缘暗角Vignette收窄视野以减少视觉流动分段转向 vs 平滑转向Snap vs smooth turning的切换开关坐姿 vs 站姿模式Seated vs standing modes适配不同游玩环境身高校准Height calibration保证虚拟世界中的身高与现实中一致避免地板/视角错位。3.3 一句话原则文档结尾的提醒非常直接Comfort is not optional. Sick players dont play.舒适不是可选项晕了的玩家不会再来玩。——这句话应作为每次 VR 功能迭代前的自查口号。4. 性能要求帧预算决定体验生死VR/AR 技能文档第 3 节给出关键性能基线这也是与普通 3D 游戏差异最大的部分。4.1 目标指标平台FPS分辨率单眼Quest 272-901832x1920Quest 390-1202064x2208PCVR902160x2160PSVR290-1202000x2040对比可发现两个要点其一头显刷新率区间就是硬指标72/90/120 分别对应不同代际设备其二单眼分辨率普遍高于 1080p 且为双路渲染即每一帧实际要渲染两倍像素GPU 压力远超平面游戏。4.2 帧预算的计算逻辑文档给出了核心约束VR 要求一致的帧时间consistent frame times而不是平均帧率高单帧掉帧即可产生可见的抖动judder这是 VR 与平面游戏体验差异的根源——平面游戏掉帧只是卡一下VR 掉帧会引发头部运动与画面的错位感直接导致眩晕90 FPS 对应 11.11ms 预算1000ms ÷ 90。由技能文档的指标表可继续推导出其他档位的预算72 FPS 约 13.89ms、120 FPS 约 8.33ms。这意味着在 Quest 2 上若以 90Hz 运行CPUGPU 每帧总预算只有 11.11ms且这个预算还必须稳定而不是偶发达标。4.3 与仓库其他技能的联动游戏开发总技能 给出了 60 FPS16.67ms下的子系统预算拆分示例输入 1ms、物理 3ms、AI 2ms、游戏逻辑 4ms、渲染 5ms、缓冲 1.67ms并给出优化优先级算法O(n²)→O(n log n)→ 批处理减少 draw call→ 对象池避免 GC 尖峰→ LOD按距离降细节→ 剔除跳过不可见内容。这套方法论可等比迁移到 VR 的 11.11ms 预算中——只不过余量被压缩得更紧。3D 游戏技能 则补充了渲染层面的节流手段视锥剔除Frustum culling不渲染视场外内容、遮挡剔除Occlusion culling不渲染被遮挡内容、LOD 按距离降三角形数量、批处理合并 draw call——这些正是把 VR 帧时间锁死在 11.11ms 内的常用技术组合。5. 交互原则控制器与手部追踪的取舍VR/AR 技能文档第 4 节定义了交互范式选择核心是不同交互类型匹配不同任务。5.1 控制器交互类型类型用途Point click指向点击UI 操作、远处物体Grab抓取物体操控Gesture手势施法、特殊动作Physical物理交互投掷、挥动要点UI 与远处交互优先用激光指向点击因为它精确且不易误触物体操控用抓取符合直觉特殊动作如魔法用手势强化仪式感投掷、挥砍等则交给物理模拟让手感来自真实物理而非脚本。5.2 手部追踪Hand Tracking文档给出的结论是更沉浸但更不精确More immersive but less precise适合社交、休闲类玩法玩家不需要高精度操作手部自由带来亲近感挑战动作、高精度类玩法需要精确瞄准、快速操作的场景裸手追踪的延迟与抖动会成为瓶颈。结合第 4 节的帧预算思路手部追踪通常还要叠加额外算力开销因此技能文档隐含的取舍逻辑是根据玩法对精确度的要求决定是否启用裸手交互并保留控制器作为兜底方案。5.3 输入抽象跨平台统一行动游戏开发总技能 的 Input Abstraction 原则把原始按键抽象为jump、move这样的行动而非键值与 VR 交互天然契合同一个抓取行动在 Quest 上映射为扳机键、在手部追踪上映射为捏合手势、在 WebXR 中映射为浏览器手柄事件——抽象层让多平台、可重绑定的控制成为可能。6. 空间设计以真实世界尺度构建虚拟空间VR/AR 技能文档第 5 节强调空间设计的物理真实性。6.1 世界尺度World Scale1 个单位 1 米critical关键约束引擎世界单位必须与真实米制对齐这是 VR 与普通 3D 游戏最大的区别——普通 3D 游戏中一把椅子 1.2 单位高无所谓VR 中玩家会直接看到比例失调的虚拟物体并感到不适物体尺寸必须手感正确门把手的高度、桌子的边缘、可抓取物的体积都要符合现实中的人体工程学用真实测量验证Test with real measurements在开发中用卷尺/标尺实测场景或在编辑器内用等比例的虚拟标尺校对关键物体尺寸。6.2 深度线索Depth Cues与优先级线索重要性Stereo双目视差主深度线索Motion parallax运动视差次级线索Shadows阴影接地感GroundingOcclusion遮挡层次感Layering工程上的解读双目视差左右眼成像差异是 VR 深度感知的主干因此双眼渲染的畸变与 IPD瞳距设置必须正确运动视差转头时近远物体相对位移不同是次级的、但成本极低——这正是保持 90 FPS的另一个理由帧率不够会导致视差线索错乱阴影让物体贴地接地感遮挡关系让物体分层层次感两者共同决定玩家对空间结构的判断。7. 反模式清单一票否决的坏实践VR/AR 技能文档第 6 节以❌ 不要 / ✅ 要做对照表收尾适合作为代码评审与测试清单❌ 不要✅ 要做未经玩家控制就移动相机相机由玩家控制帧率跌破 90 FPS守住帧率使用极小的 UI 文字使用大号、可读的文字忽视手臂长度按玩家可达范围缩放交互逐条解释**未经玩家控制移动相机**是 VR 大忌任何头部/视角的被动位移都会触发晕动对应第 3 节相机抖动成因跌破 90 FPS与第 4 节帧预算直接挂钩掉帧可见抖动眩晕极小 UI 文字VR 中文本若按屏幕像素设计会因头显距离与透视变得不可读必须按视场角内可辨识的物理尺寸设计忽视手臂长度可抓取物必须落在玩家真实臂展范围内够不到或太贴脸的交互都是失败设计呼应第 6 节的真实测量原则。8. 落地路径在项目中如何套用这份技能8.1 组合式加载按技能库协议Agent 依据任务描述匹配技能描述后加载 VR/AR 技能文档再按需读取配套模块。针对 VR/AR 项目的典型组合路径来自 游戏开发编排技能 的路由示例我要做一个浏览器端 2D 平台跳跃游戏→web-games框架选型→2d-games精灵/瓦片地图→game-design关卡设计我要做一个多人 VR 射击游戏→vr-ar舒适性与沉浸→3d-games渲染→multiplayer网络。8.2 从原则到检查清单将本文各节浓缩为一页可执行的验收清单平台按使用场景无线一体机/高保真/主机/浏览器锁定平台与分辨率基线第 2 节舒适性位移用瞬移分段转向提供暗角、转向模式、坐/站姿、身高校准设置杜绝被动相机运动第 3 节性能守住设备目标帧率Quest 2 为 72-90、PCVR 为 90 等对应的帧预算用剔除/LOD/批处理锁定一致帧时间第 4 节交互按任务类型选 Pointclick / Grab / Gesture / Physical裸手追踪仅用于社交与休闲场景第 5 节空间1 单位1 米用真实测量校验物体尺寸保证双目、视差、阴影、遮挡四类深度线索正常第 6 节反模式对照第 7 节表格做逐条排查。结语这份 VR/AR 技能文档 的价值不在于发明新概念而在于把沉浸式开发中最容易踩坑的约束——平台与场景匹配、防晕动设计、帧预算、交互取舍、真实尺度——压缩成了一张可被 Agent 即时检索、可被开发者逐条对照的决策卡。配合 游戏开发编排技能、3D 游戏技能 与 Web 游戏技能 一起使用即可从能跑走向不晕、不卡、拿得稳的合格沉浸式体验。记住文档的最后一句话舒适不是可选项——晕了的玩家不会回来。赞分享前端开发工具【免费下载链接】dillingerThe last Markdown editor, ever.项目地址https://gitcode.com/gh_mirrors/di/dillinger点击查看免费下载相关推荐AG Kit 技能库VR/AR 开发实战指南——从平台选型到舒适性、交互与性能的完整设计原则AG Kit 技能库VR/AR 开发实战指南——从平台选型到舒适性、交互与性能的完整设计原则 本文围绕 AG Kit 仓库中 .agents/skills/g人工智能AI 技能Diffusion as Shader项目架构解析从MoGe到VGGT的完整组件指南Diffusion as Shader项目架构解析从MoGe到VGGT的完整组件指南 Diffusion as Shader是一个革命性的3D感知视频扩散框架tldr-pages AR/VR沉浸式交互体验tldr pages AR/VR沉浸式交互体验 你还在为记不住命令行参数而烦恼吗面对冗长的 man 手册Manual Page手动页面是不是常常感到无文档教程知识库上一篇PostHog 桌面端团队 MCP 网关架构解析、双端同步机制与源码实现指南下一篇Quick Reference 之 SSH 备忘清单连接、密钥管理与端口转发全实战创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考