尧图网站建设 
HY-World 2.0 Gradio交互演示上传一段视频秒变可交互3D数字孪生【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0HY-World 2.0 是腾讯开源的多模态世界模型能把随手拍摄的照片和视频重建为可交互的 3D 数字孪生。本文带你用它的 Gradio 交互演示完成一次完整体验上传视频 → 一键重建 → 得到可漫游、可导出的 3D 高斯泼溅3DGS、点云、深度图、法线图和相机参数。什么是 HY-World 2.0不止生成视频的 3D 世界模型与看一段生成视频就结束的世界模型不同HY-World 2.0 直接产出真实、可编辑、永久保存的 3D 资产。它包含两大能力世界生成文本或单张图像 → 可导航的 3D 世界全景生成 → 轨迹规划 → 世界扩展 → 世界组合世界重建多视角照片或视频 → 3D。由 WorldMirror 2.0 驱动一次前向传播同时预测深度、法线、相机参数、点云和 3DGS 属性——这正是本文主角Gradio 交互演示所封装的功能整个系统的流水线架构如下图所示Gradio 演示对应其中的世界重建WorldMirror 2.0部分Gradio 演示速览本地运行最快启动步骤演示基于 Gradio 构建源码位于 hyworld2/worldrecon/gradio_app.py支持上传视频/图片、单卡与多卡推理并内置示例场景。启动只需三步① 获取仓库git clone https://gitcode.com/gh_mirrors/hy/HY-World-2.0 cd HY-World-2.0② 准备环境推荐 CUDA 12.8 Python 3.11conda create -n hyworld2 python3.11.15 conda activate hyworld2 pip install -r requirements.txt # 安装 gsplatworldrecon 与 worldgen 共用 cd hyworld2/worldgen/third_party/gsplat_maskgaussian pip install -e . --no-build-isolation cd ../../../../③ 一键启动 Gradio 演示# 单卡 python -m hyworld2.worldrecon.gradio_app # 多卡FSDP 分片 bf16 torchrun --nproc_per_node2 -m hyworld2.worldrecon.gradio_app \ --use_fsdp --enable_bf16首次运行时模型权重会自动下载。启动后浏览器访问http://localhost:8081即可进入界面。演示界面三步走上传视频一键重建界面从左到右分为三栏上传区 | 可视化区 | 示例场景区核心操作只有三步。第一步上传视频或照片上传控件hyworld2/worldrecon/gradio_app.py#L775-L779支持批量上传图片png/jpg/heic 等或视频mp4/mov/mkv/webm 等。上传视频后程序会按视频采样间隔默认每 1 秒抽 1 帧滑块可调 0.1–10 秒自动抽帧并在下方Image Preview画廊中预览。如果觉得抽帧太密调大间隔后点击Resample即可重新采样无需重新上传。右侧示例场景栏同样值得一试内置 examples/worldrecon/ 下的 Realistic真实场景与 Stylistic风格化场景两个标签页点击任意缩略图即可加载例如Small_Room小房间场景 多卡模式提醒输入图片数量必须 ≥ GPU 数量否则会在推理时报错提示。第二步点击 Reconstruct 开始重建点击Reconstruct按钮后WorldMirror 2.0 会对全部输入帧执行一次前向推理自动完成天空/低置信度/边缘区域过滤与点云、高斯压缩。界面顶部的渐变日志条会实时显示状态如Reconstruction Success (32 frames, 12.3s.)下方Terminal Output框还会滚动显示终端日志。第三步在浏览器里查看你的数字孪生重建完成后中间区域立即呈现 3D 结果可拖拽旋转、缩放观察。整个过程的效果如下——一段普通视频被还原成带相机轨迹的 3D 世界5 个可视化标签页3DGS、点云、深度、法线与相机可视化区包含 5 个标签页hyworld2/worldrecon/gradio_app.py#L790-L814覆盖从看效果到取数据的全部需求标签页内容用途3D Gaussian Splatting3DGS 场景实时渲染查看最真实的照片级重建效果Point Cloud / Mesh彩色点云 / 网格检查几何结构导出进 Blender/UnityDepth逐帧深度图用滑块切换任意一帧查看Normal逐帧法线图分析表面朝向与朝向细节Camera Parameters相机内外参 JSON一键下载供下游建图/渲染使用下方还有一组交互选项仅作用于点云/网格标签页实时生效Show Points of a Specific Frame只显示某一帧的点便于排查问题Show Camera / Show Mesh叠加显示相机位置、切换网格显示Filter low confidence edges过滤低置信度与深度边缘区域默认开启点云更干净Filter Sky Background剔除天空区域重建得到的不是一段视频而是可以真正走进去的 3D 世界资产——配合世界生成模块你可以第一人称漫游、碰撞物理像游戏一样探索进阶常用启动参数一览完整参数说明见 DOCUMENTATION.md 的 Gradio App 一节最常用的是这几个参数默认值说明--port8081服务端口--share关生成公网临时链接方便手机或远程服务器访问--examples_dir./examples/worldrecon示例场景目录--use_fsdp/--enable_bf16关多 GPU 参数分片 / bf16 混合精度--fsdp_cpu_offload关将参数卸载到 CPU显存紧张时开启# 例生成公网链接把演示分享给同事 python -m hyworld2.worldrecon.gradio_app --share重建产物都有什么每次重建的结果保存在gradio_demo_output/input_images_时间戳/目录主要文件gaussians.ply—— 标准格式的 3DGS 资产可导入主流渲染器scene_*.glb—— 浏览器/游戏引擎通用的网格场景文件camera_params.json—— 相机内外参predictions.npz—— 原始预测点云、深度、法线、掩码方便二次开发拿到这些文件你的数字孪生就已经可以进入 Blender、Unity、Unreal 等引擎做后续编辑了。小结与延伸阅读用 HY-World 2.0 的 Gradio 交互演示做 3D 重建体验可以概括为一句话上传视频 → 点 Reconstruct → 浏览你的数字孪生。想进一步定制推理参数可以改用命令行入口 hyworld2/worldrecon/pipeline.py支持先验相机/深度注入、COLMAP 输出、漫游视频渲染等全部参数参考 DOCUMENTATION.md项目介绍与模型下载见 README.md。【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 HY-World 2.0 Gradio交互演示：上传一段视频，秒变可交互3D数字孪生
HY-World 2.0 Gradio交互演示上传一段视频秒变可交互3D数字孪生【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0HY-World 2.0 是腾讯开源的多模态世界模型能把随手拍摄的照片和视频重建为可交互的 3D 数字孪生。本文带你用它的 Gradio 交互演示完成一次完整体验上传视频 → 一键重建 → 得到可漫游、可导出的 3D 高斯泼溅3DGS、点云、深度图、法线图和相机参数。什么是 HY-World 2.0不止生成视频的 3D 世界模型与看一段生成视频就结束的世界模型不同HY-World 2.0 直接产出真实、可编辑、永久保存的 3D 资产。它包含两大能力世界生成文本或单张图像 → 可导航的 3D 世界全景生成 → 轨迹规划 → 世界扩展 → 世界组合世界重建多视角照片或视频 → 3D。由 WorldMirror 2.0 驱动一次前向传播同时预测深度、法线、相机参数、点云和 3DGS 属性——这正是本文主角Gradio 交互演示所封装的功能整个系统的流水线架构如下图所示Gradio 演示对应其中的世界重建WorldMirror 2.0部分Gradio 演示速览本地运行最快启动步骤演示基于 Gradio 构建源码位于 hyworld2/worldrecon/gradio_app.py支持上传视频/图片、单卡与多卡推理并内置示例场景。启动只需三步① 获取仓库git clone https://gitcode.com/gh_mirrors/hy/HY-World-2.0 cd HY-World-2.0② 准备环境推荐 CUDA 12.8 Python 3.11conda create -n hyworld2 python3.11.15 conda activate hyworld2 pip install -r requirements.txt # 安装 gsplatworldrecon 与 worldgen 共用 cd hyworld2/worldgen/third_party/gsplat_maskgaussian pip install -e . --no-build-isolation cd ../../../../③ 一键启动 Gradio 演示# 单卡 python -m hyworld2.worldrecon.gradio_app # 多卡FSDP 分片 bf16 torchrun --nproc_per_node2 -m hyworld2.worldrecon.gradio_app \ --use_fsdp --enable_bf16首次运行时模型权重会自动下载。启动后浏览器访问http://localhost:8081即可进入界面。演示界面三步走上传视频一键重建界面从左到右分为三栏上传区 | 可视化区 | 示例场景区核心操作只有三步。第一步上传视频或照片上传控件hyworld2/worldrecon/gradio_app.py#L775-L779支持批量上传图片png/jpg/heic 等或视频mp4/mov/mkv/webm 等。上传视频后程序会按视频采样间隔默认每 1 秒抽 1 帧滑块可调 0.1–10 秒自动抽帧并在下方Image Preview画廊中预览。如果觉得抽帧太密调大间隔后点击Resample即可重新采样无需重新上传。右侧示例场景栏同样值得一试内置 examples/worldrecon/ 下的 Realistic真实场景与 Stylistic风格化场景两个标签页点击任意缩略图即可加载例如Small_Room小房间场景 多卡模式提醒输入图片数量必须 ≥ GPU 数量否则会在推理时报错提示。第二步点击 Reconstruct 开始重建点击Reconstruct按钮后WorldMirror 2.0 会对全部输入帧执行一次前向推理自动完成天空/低置信度/边缘区域过滤与点云、高斯压缩。界面顶部的渐变日志条会实时显示状态如Reconstruction Success (32 frames, 12.3s.)下方Terminal Output框还会滚动显示终端日志。第三步在浏览器里查看你的数字孪生重建完成后中间区域立即呈现 3D 结果可拖拽旋转、缩放观察。整个过程的效果如下——一段普通视频被还原成带相机轨迹的 3D 世界5 个可视化标签页3DGS、点云、深度、法线与相机可视化区包含 5 个标签页hyworld2/worldrecon/gradio_app.py#L790-L814覆盖从看效果到取数据的全部需求标签页内容用途3D Gaussian Splatting3DGS 场景实时渲染查看最真实的照片级重建效果Point Cloud / Mesh彩色点云 / 网格检查几何结构导出进 Blender/UnityDepth逐帧深度图用滑块切换任意一帧查看Normal逐帧法线图分析表面朝向与朝向细节Camera Parameters相机内外参 JSON一键下载供下游建图/渲染使用下方还有一组交互选项仅作用于点云/网格标签页实时生效Show Points of a Specific Frame只显示某一帧的点便于排查问题Show Camera / Show Mesh叠加显示相机位置、切换网格显示Filter low confidence edges过滤低置信度与深度边缘区域默认开启点云更干净Filter Sky Background剔除天空区域重建得到的不是一段视频而是可以真正走进去的 3D 世界资产——配合世界生成模块你可以第一人称漫游、碰撞物理像游戏一样探索进阶常用启动参数一览完整参数说明见 DOCUMENTATION.md 的 Gradio App 一节最常用的是这几个参数默认值说明--port8081服务端口--share关生成公网临时链接方便手机或远程服务器访问--examples_dir./examples/worldrecon示例场景目录--use_fsdp/--enable_bf16关多 GPU 参数分片 / bf16 混合精度--fsdp_cpu_offload关将参数卸载到 CPU显存紧张时开启# 例生成公网链接把演示分享给同事 python -m hyworld2.worldrecon.gradio_app --share重建产物都有什么每次重建的结果保存在gradio_demo_output/input_images_时间戳/目录主要文件gaussians.ply—— 标准格式的 3DGS 资产可导入主流渲染器scene_*.glb—— 浏览器/游戏引擎通用的网格场景文件camera_params.json—— 相机内外参predictions.npz—— 原始预测点云、深度、法线、掩码方便二次开发拿到这些文件你的数字孪生就已经可以进入 Blender、Unity、Unreal 等引擎做后续编辑了。小结与延伸阅读用 HY-World 2.0 的 Gradio 交互演示做 3D 重建体验可以概括为一句话上传视频 → 点 Reconstruct → 浏览你的数字孪生。想进一步定制推理参数可以改用命令行入口 hyworld2/worldrecon/pipeline.py支持先验相机/深度注入、COLMAP 输出、漫游视频渲染等全部参数参考 DOCUMENTATION.md项目介绍与模型下载见 README.md。【免费下载链接】HY-World-2.0HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds项目地址: https://gitcode.com/gh_mirrors/hy/HY-World-2.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考