1. 项目概述当大模型学会“动手”最近在折腾一个挺有意思的项目核心是把一个开源的大语言模型 Gemma 3-12B通过 Ollama 这个工具部署在我自己的 NVIDIA DGX 工作站上然后让它去“指挥”一个虚拟机器人在 AI2-THOR 这个高度仿真的家庭环境模拟器里完成一些具体的家务任务。这其实就是“具身智能”的一个典型实验场景。简单来说就是让 AI 不仅会“思考”和“对话”还能通过“身体”在这里是虚拟机器人去感知环境、规划动作并执行任务比如“去厨房拿一个苹果放到餐桌上”。这个 demo 之所以吸引我是因为它把当前几个热门的技术点串了起来开源的、性能不错的大模型 Gemma轻量高效的本地模型部署框架 Ollama以及一个在学术界被广泛用于机器人任务学习的模拟平台 AI2-THOR。而这一切都跑在一台强大的 NVIDIA DGX 上。对于想深入理解具身智能如何落地或者想自己动手搭建一个类似实验环境的朋友来说这个组合非常有参考价值。它避开了对云端 API 的依赖所有计算和推理都在本地完成数据隐私和实验的可控性都得到了保障。2. 核心组件深度解析2.1 Gemma 3-12B为何选择这个开源模型在众多开源大模型中我选择 Gemma 3-12B 作为这个具身智能项目的“大脑”是经过一番考量的。Gemma 是 Google 基于其 Gemini 模型技术推出的开源系列而 3-12B 这个版本在参数量、性能和硬件需求之间取得了很好的平衡。首先12B 的参数量对于本地部署是一个“甜点”区域。它比 7B 模型拥有更强的推理和指令跟随能力尤其是在处理多步骤任务规划、环境描述理解等复杂场景时表现更为稳定。同时相较于 27B 或 70B 的模型它对显存的要求又友好得多。在 NVIDIA DGX通常配备多块 A100/H100 等大显存 GPU上12B 模型可以轻松进行量化后加载甚至进行全参数微调为后续的任务适应性训练留出了空间。其次Gemma 在指令遵循和安全性方面做了专门的优化。对于具身智能任务模型必须严格遵循“只输出规划不输出无关内容”的指令并且要避免生成任何有害或不符合物理规律的行动序列。Gemma 的基础训练数据和处理在这方面提供了较好的起点。在实际测试中我通过设计特定的系统提示词能让 Gemma 3-12B 稳定地输出结构化的动作序列比如[GoTo(‘KitchenCounter’) PickUp(‘Apple’) GoTo(‘DiningTable’) PutDown(‘Apple’)]而不是一段散文式的描述。注意虽然 Gemma 2B 和 7B 版本更轻量但在初步测试中它们对于 AI2-THOR 环境中稍显复杂的空间关系推理例如“客厅沙发左边的茶几上”容易出错。12B 版本在这类需要一定世界知识和空间推理的任务上鲁棒性明显更强。2.2 Ollama本地大模型部署的“瑞士军刀”Ollama 在这个项目中扮演了模型服务化的关键角色。它的核心价值在于极大地简化了大型语言模型在本地运行的管理和部署流程。你不需要去手动处理复杂的 Python 环境、CUDA 版本兼容性或者模型文件的分片加载。Ollama 采用类似 Docker 的“拉取-运行”模式。对于 Gemma 3-12B我只需要在 DGX 的终端里执行一句ollama run gemma3:12b它就会自动从官方仓库或我配置的镜像源下载模型文件并启动一个本地的 API 服务。这个服务默认在11434端口提供兼容 OpenAI API 格式的接口这意味着我可以直接使用langchain,litellm等成熟的库来调用它集成成本极低。在 DGX 这样的多 GPU 环境中Ollama 也支持模型并行。通过OLLAMA_NUM_GPU环境变量可以指定使用多少块 GPU 来分摊模型计算从而充分利用硬件资源降低单卡显存压力提升推理速度。例如设置OLLAMA_NUM_GPU2Ollama 会自动将 Gemma 3-12B 模型层拆分到两块 GPU 上。实操心得国内网络直接拉取 Ollama 官方模型库可能会非常慢甚至失败。一个高效的解决方法是使用国内镜像源。我通常会在运行ollama run前先通过镜像站下载好模型的 Modelfile 和权重文件.bin 或 .gguf 格式然后使用ollama create和ollama run命令从本地文件创建并运行模型。这比忍受不稳定的国际下载体验要好得多。2.3 AI2-THOR具身智能的“数字练兵场”AI2-THOR 不是一个游戏而是一个为视觉与语言具身 AI 研究设计的高保真交互式模拟环境。它提供了超过 120 个不同类型的家庭场景客厅、厨房、卧室、浴室等每个场景中的物体都是可交互的并且具有精确的物理属性。对于我们的项目而言AI2-THOR 提供了几个不可替代的功能逼真的视觉渲染机器人agent的“眼睛”是模拟的摄像头可以获取第一人称或第三人称的 RGB-D颜色深度图像。这为模型提供了丰富的视觉感知输入。精确的物理交互模型输出的动作如Open(‘Fridge’)、Slice(‘Apple’)会在模拟器中转化为具体的物理动作并产生符合现实世界预期的结果冰箱门打开苹果被切分。这允许我们验证行动计划的可行性。丰富的元数据 API程序可以查询场景中所有物体的类别、位置、状态是否被开关、是否被持有等、可执行动作列表等。这些信息可以作为“环境上下文”注入给大语言模型帮助它做出更合理的决策。在架构上我们的智能体通过 Python 脚本与 AI2-THOR 模拟器通信同时通过 HTTP 请求调用本地 Ollama 服务的 Gemma 模型。智能体的工作流程是接收任务自然语言→ 通过 API 获取当前环境状态物体列表、位置→ 将任务和状态组合成提示词发送给 Gemma → 解析 Gemma 返回的文本得到下一个动作 → 在 AI2-THOR 中执行该动作 → 观察结果并进入下一轮循环。2.4 NVIDIA DGX支撑这一切的计算基石在普通的消费级显卡上运行这个 pipeline 会非常吃力。Gemma 3-12B 即使经过 4-bit 量化也需要约 8-10GB 的 GPU 显存。而 AI2-THOR 的实时渲染本身也需要消耗可观的 GPU 资源。NVIDIA DGX 系列工作站或服务器凭借其多块高性能 GPU如 A100 80GB、高速 NVLink 互联和庞大的统一内存成为了运行此类实验的理想平台。在我的 DGX 配置中我可以将 Ollama 服务的 Gemma 模型加载到两块 GPU 上以加速推理同时将 AI2-THOR 模拟器的渲染任务指派到另一块独立的 GPU 上实现计算与渲染的分离避免相互干扰。DGX 的大内存也允许我同时运行多个模拟器实例进行批量任务测试或并行训练极大地提升了实验效率。3. 环境搭建与部署实操全记录3.1 基础软件环境准备首先确保你的 DGX 系统已经安装了合适的 NVIDIA 驱动和 CUDA Toolkit建议 CUDA 12.x。接下来是三个核心组件的安装。1. Ollama 安装与配置在 Linux 系统上安装 Ollama 最快捷的方式是使用一键安装脚本curl -fsSL https://ollama.com/install.sh | sh安装完成后Ollama 服务会自动启动。你可以通过systemctl status ollama检查服务状态。由于直接从官方拉取模型可能很慢我们需要配置国内镜像源。Ollama 的模型拉取实际上是通过 Docker 容器进行的所以我们可以修改 Docker 的配置。编辑或创建/etc/docker/daemon.json添加国内镜像加速器例如{ registry-mirrors: [https://your-mirror.mirror.aliyuncs.com] }重启 Docker 服务sudo systemctl restart docker。请注意这能加速基础镜像的拉取但模型权重文件.bin的下载可能仍需通过其他方式。更直接的方法是从国内的模型托管平台如 ModelScope, Hugging Face Mirror手动下载 Gemma 3-12B 的 GGUF 格式文件。然后创建一个ModelfileFROM /path/to/your/gemma-3-12b.Q4_K_M.gguf接着使用 Ollama 从本地文件创建模型ollama create my-gemma-12b -f ./Modelfile ollama run my-gemma-12b2. AI2-THOR 环境搭建AI2-THOR 是一个 Python 库通过 pip 即可安装。建议使用虚拟环境。pip install ai2thor首次运行时AI2-THOR 会自动下载必要的场景资源文件约几个GB请确保网络通畅。如果需要离线部署可以提前下载好资源包并指定本地路径。3. 项目代码与依赖我们需要编写一个主控脚本用来串联 Ollama 和 AI2-THOR。这个脚本需要安装一些额外的库pip install requests openai # 用于调用 Ollama API其接口兼容 OpenAI pip install numpy pillow # 用于处理图像这里的关键是我们将 Ollama 服务视为一个本地的 OpenAI 兼容端点。我们可以设置openai库的基地址指向本地。3.2 核心交互逻辑实现下面是一个高度简化的核心循环代码框架展示了智能体如何工作import ai2thor.controller import openai # 使用其兼容客户端 import json # 1. 初始化 AI2-THOR 控制器 controller ai2thor.controller.Controller() controller.start() controller.reset(FloorPlan1) # 重置到某个场景 # 2. 配置 Ollama 客户端 (伪装成 OpenAI 客户端) client openai.OpenAI( base_urlhttp://localhost:11434/v1, # Ollama 的 API 地址 api_keyollama, # Ollama 不需要真实的 key但需提供非空值 ) # 3. 定义任务 task_description Go to the kitchen and find an apple on the countertop. # 4. 主循环 for step in range(max_steps): # 4.1 获取当前环境状态简化获取可交互物体列表 objects [obj[objectType] for obj in controller.last_event.metadata[objects] if obj[visible]] current_state fYou are in a home. You can see: {, .join(objects[:10])}. # 取前10个避免上下文过长 # 4.2 构建给 Gemma 的提示词 system_prompt You are an embodied AI agent in a simulated home. Your task is to output the next single, concrete action to take, based on the goal and what you see. Output ONLY a JSON object with the key action and object. Available actions are: GoTo, PickUp, PutDown, Open, Close, Slice, Cook. Example: {action: GoTo, object: KitchenCounter} user_prompt fGoal: {task_description}. Current state: {current_state}. What is the next action? # 4.3 调用本地 Gemma 模型 response client.chat.completions.create( modelmy-gemma-12b, # 你在 Ollama 中创建的模型名 messages[ {role: system, content: system_prompt}, {role: user, content: user_prompt} ], temperature0.1, # 低温度保证输出稳定性 response_format{type: json_object} # 强制 JSON 输出 ) # 4.4 解析模型输出 try: action_dict json.loads(response.choices[0].message.content) next_action action_dict[action] target_object action_dict.get(object, ) except json.JSONDecodeError: print(Model output is not valid JSON.) break # 4.5 在 AI2-THOR 中执行动作 event controller.step(actionnext_action, objectIdtarget_object) # 4.6 检查任务是否完成这里需要更复杂的逻辑例如检查苹果是否被拿起并移动 # 简单判断如果执行了 PickUp(Apple)认为子目标完成 if next_action PickUp and target_object Apple: print(Apple picked up!) # 可以更新任务目标例如变为“PutDown the Apple” task_description Put down the apple on the dining table. # 4.7 如果任务失败或卡住可以 break 或引入重试机制这个框架展示了最基本的“感知-思考-行动”循环。在实际项目中状态表示会更复杂可能包括场景图像的特征向量、物体的空间关系图等任务完成度的判断也需要更精细的逻辑。3.3 提示词工程与模型调优让 Gemma 稳定输出可执行的行动指令提示词设计至关重要。上面示例中的系统提示词是一个基础版本。在实践中我总结出几个优化点动作空间约束必须在系统提示词中清晰、无歧义地列出所有可用的原子动作GoTo,PickUp等。最好能附上简短说明例如GoTo(location): Move the agent to a specific piece of furniture like CounterTop or Sofa。输出格式强制使用response_format{type: json_object}是 Ollama 对 OpenAI API 的扩展功能能极大提高模型输出 JSON 的稳定性。同时在提示词中也明确要求输出 JSON 格式。环境上下文注入Current state部分不能只是物体列表。可以加入智能体的位置、手中是否持有物体、目标物体的历史状态等信息。例如You are in the kitchen. You are currently holding nothing. The apple is on the countertop to your left.历史动作记忆在多轮对话中需要将之前执行过的动作历史也作为上下文喂给模型防止它陷入循环或重复无效动作。可以将之前的(action, object)对列表附加到用户提示中。少样本示例在系统提示词中提供 1-2 个完整的思考-输出示例能显著提升模型的表现。这就是所谓的“少样本学习”。4. 性能调优与问题排查实录在 DGX 上部署和运行这个系统时我遇到了不少性能瓶颈和诡异问题以下是排查和解决过程的记录。4.1 推理速度慢与 GPU 利用率低现象Ollama 服务响应一次请求需要 5-10 秒使用nvidia-smi查看发现 GPU 利用率波动很大且大部分时间很低。排查与解决检查模型量化与加载首先确认使用的是量化版本如 Q4_K_M。使用ollama show my-gemma-12b查看模型详情。在 DGX 上如果显存足够使用Q8或Q6_K量化能在精度和速度间取得更好平衡。我最终使用了Q6_K版本。调整 Ollama 并行参数通过环境变量OLLAMA_NUM_GPU指定使用多块 GPU。在我的 4-GPU DGX 上设置为2或3效果最佳。设置过高如4可能因通信开销反而降低效率。同时可以设置OLLAMA_HOST0.0.0.0并调整OLLAMA_MAX_LOADED_MODELS来优化并发。启用连续批处理Ollama 支持连续批处理能同时处理多个等待中的请求提高吞吐。确保你的客户端脚本是异步或并发调用的才能利用这一特性。在同步单请求模式下这个优化不明显。监控瓶颈使用htop和nvtop工具监控。我发现瓶颈有时不在 GPU 计算而在脚本端的环境状态处理物体列表筛选、图像预处理或网络请求序列化/反序列化上。对这部分代码进行优化如使用缓存、简化状态表示后整体延迟降低了约30%。4.2 AI2-THOR 渲染卡顿与内存泄漏现象长时间运行后系统内存占用持续增长最终模拟器崩溃。排查与解决分离渲染与计算这是最关键的一步。我修改了启动脚本将 AI2-THOR 控制器显式地绑定到一块独立的 GPU 上通过CUDA_VISIBLE_DEVICES环境变量而让 Ollama 使用另外的 GPU。这避免了渲染和模型推理对同一 GPU 资源的争抢。# 在启动 AI2-THOR 的终端中 export CUDA_VISIBLE_DEVICES0 python my_agent_script.py# 在启动 Ollama 的终端或 systemd 服务文件中 export OLLAMA_NUM_GPU2 export CUDA_VISIBLE_DEVICES1,2 ollama serve定期重置控制器AI2-THOR 模拟器在长时间运行后可能会积累状态。我修改了代码每完成 20 个任务周期或遇到无法恢复的错误时就调用controller.stop()和controller.start()进行完全重启而不是仅仅controller.reset()。这有效缓解了内存泄漏问题。降低渲染质量对于纯研究性的任务学习有时不需要最高清的视觉输入。在初始化控制器时可以设置renderDepthImageFalse和renderInstanceSegmentationFalse来关闭深度图和实例分割渲染并降低width和height参数如从 1024x768 降至 512x384能大幅减少 GPU 内存占用和渲染时间。4.3 模型“幻觉”与动作执行失败现象Gemma 模型有时会输出一个无效的动作比如GoTo(Apple)Apple 不是可导航点或者PickUp(Kitchen)导致 AI2-THOR 执行失败。排查与解决强化状态过滤在构建current_state时不能简单列出所有物体。我改进了代码只列出当前场景中可交互且可见的物体并且将它们按类型Pickupable,Openable,Sliceable和位置区域进行分组。这样提供给模型的信息更精准减少了它“发明”不存在的交互方式的可能性。动作后验与重规划在代码中增加一个“动作验证器”。在执行模型输出的动作前先检查该动作-对象组合是否在 AI2-THOR 当前场景的可行动作列表中可通过controller.last_event.metadata[‘objects’]中每个物体的属性判断。如果无效则不执行并将“上一个动作无效”的反馈信息加入到下一轮给模型的提示词中要求它重新规划。这相当于给模型一个即时纠错的机会。细化动作空间将GoTo动作的目标从物体名称改为具体的“可导航点”Receptacle。AI2-THOR 中CounterTop、Table、Sofa是可导航点而Apple、Mug不是。在提示词中明确说明“GoTo的目标必须是家具或大型电器如CounterTop,Sofa,Fridge而不是小物件。”引入分层规划对于复杂任务让模型一次性规划所有步骤容易出错。我改为实现一个两阶段规划首先让模型输出一个高级任务分解如[1. Navigate to Kitchen, 2. Find Apple, 3. Pick up Apple, 4. Navigate to Dining Table, 5. Put down Apple]。然后在每一步中再让模型根据当前状态输出具体的原子动作。这降低了单次规划的复杂度提高了成功率。4.4 网络与依赖问题速查表问题现象可能原因解决方案Ollama 服务启动失败端口冲突11434 端口被占用使用ollama serve指定其他端口如OLLAMA_HOST0.0.0.0:11435 ollama serve调用 Ollama API 超时模型未加载或服务未启动检查ollama list确认模型存在systemctl status ollama确认服务运行AI2-THOR 首次运行卡在下载网络连接问题手动下载https://ai2thor.allenai.org/上的资源包使用controller Controller(download_onlyTrue)指定本地路径Python 脚本报错ImportError虚拟环境未激活或依赖缺失确认在正确的虚拟环境中使用pip freeze | grep ai2thor检查重新安装Gemma 输出乱码或无关内容提示词约束力不够或温度过高降低temperature至 0.1 或更低加强系统提示词中的格式指令使用 JSON 响应格式动作执行成功但任务判断失败任务完成条件逻辑有误实现更鲁棒的状态检查例如检查目标物体的parentReceptacles属性是否变为餐桌而不是仅仅检查动作是否被执行这个项目从技术拼图到能稳定运行一个简单的“取苹果”任务中间充满了各种调试和优化。最大的体会是在具身智能的闭环里大语言模型的“思考”质量固然重要但前后端模拟器、状态表示、动作接口的稳定性和精准度同样关键。一个错误的物体 ID 或一个模糊的动作定义就足以让整个智能体陷入瘫痪。因此构建健壮的数据管道和验证逻辑与优化提示词和模型选择一样都是不可或缺的工作。未来我计划尝试用 LoRA 等微调方法让 Gemma 在 AI2-THOR 的特定任务上表现更专业这可能是提升任务成功率的下一把钥匙。
1. 项目概述当大模型学会“动手”最近在折腾一个挺有意思的项目核心是把一个开源的大语言模型 Gemma 3-12B通过 Ollama 这个工具部署在我自己的 NVIDIA DGX 工作站上然后让它去“指挥”一个虚拟机器人在 AI2-THOR 这个高度仿真的家庭环境模拟器里完成一些具体的家务任务。这其实就是“具身智能”的一个典型实验场景。简单来说就是让 AI 不仅会“思考”和“对话”还能通过“身体”在这里是虚拟机器人去感知环境、规划动作并执行任务比如“去厨房拿一个苹果放到餐桌上”。这个 demo 之所以吸引我是因为它把当前几个热门的技术点串了起来开源的、性能不错的大模型 Gemma轻量高效的本地模型部署框架 Ollama以及一个在学术界被广泛用于机器人任务学习的模拟平台 AI2-THOR。而这一切都跑在一台强大的 NVIDIA DGX 上。对于想深入理解具身智能如何落地或者想自己动手搭建一个类似实验环境的朋友来说这个组合非常有参考价值。它避开了对云端 API 的依赖所有计算和推理都在本地完成数据隐私和实验的可控性都得到了保障。2. 核心组件深度解析2.1 Gemma 3-12B为何选择这个开源模型在众多开源大模型中我选择 Gemma 3-12B 作为这个具身智能项目的“大脑”是经过一番考量的。Gemma 是 Google 基于其 Gemini 模型技术推出的开源系列而 3-12B 这个版本在参数量、性能和硬件需求之间取得了很好的平衡。首先12B 的参数量对于本地部署是一个“甜点”区域。它比 7B 模型拥有更强的推理和指令跟随能力尤其是在处理多步骤任务规划、环境描述理解等复杂场景时表现更为稳定。同时相较于 27B 或 70B 的模型它对显存的要求又友好得多。在 NVIDIA DGX通常配备多块 A100/H100 等大显存 GPU上12B 模型可以轻松进行量化后加载甚至进行全参数微调为后续的任务适应性训练留出了空间。其次Gemma 在指令遵循和安全性方面做了专门的优化。对于具身智能任务模型必须严格遵循“只输出规划不输出无关内容”的指令并且要避免生成任何有害或不符合物理规律的行动序列。Gemma 的基础训练数据和处理在这方面提供了较好的起点。在实际测试中我通过设计特定的系统提示词能让 Gemma 3-12B 稳定地输出结构化的动作序列比如[GoTo(‘KitchenCounter’) PickUp(‘Apple’) GoTo(‘DiningTable’) PutDown(‘Apple’)]而不是一段散文式的描述。注意虽然 Gemma 2B 和 7B 版本更轻量但在初步测试中它们对于 AI2-THOR 环境中稍显复杂的空间关系推理例如“客厅沙发左边的茶几上”容易出错。12B 版本在这类需要一定世界知识和空间推理的任务上鲁棒性明显更强。2.2 Ollama本地大模型部署的“瑞士军刀”Ollama 在这个项目中扮演了模型服务化的关键角色。它的核心价值在于极大地简化了大型语言模型在本地运行的管理和部署流程。你不需要去手动处理复杂的 Python 环境、CUDA 版本兼容性或者模型文件的分片加载。Ollama 采用类似 Docker 的“拉取-运行”模式。对于 Gemma 3-12B我只需要在 DGX 的终端里执行一句ollama run gemma3:12b它就会自动从官方仓库或我配置的镜像源下载模型文件并启动一个本地的 API 服务。这个服务默认在11434端口提供兼容 OpenAI API 格式的接口这意味着我可以直接使用langchain,litellm等成熟的库来调用它集成成本极低。在 DGX 这样的多 GPU 环境中Ollama 也支持模型并行。通过OLLAMA_NUM_GPU环境变量可以指定使用多少块 GPU 来分摊模型计算从而充分利用硬件资源降低单卡显存压力提升推理速度。例如设置OLLAMA_NUM_GPU2Ollama 会自动将 Gemma 3-12B 模型层拆分到两块 GPU 上。实操心得国内网络直接拉取 Ollama 官方模型库可能会非常慢甚至失败。一个高效的解决方法是使用国内镜像源。我通常会在运行ollama run前先通过镜像站下载好模型的 Modelfile 和权重文件.bin 或 .gguf 格式然后使用ollama create和ollama run命令从本地文件创建并运行模型。这比忍受不稳定的国际下载体验要好得多。2.3 AI2-THOR具身智能的“数字练兵场”AI2-THOR 不是一个游戏而是一个为视觉与语言具身 AI 研究设计的高保真交互式模拟环境。它提供了超过 120 个不同类型的家庭场景客厅、厨房、卧室、浴室等每个场景中的物体都是可交互的并且具有精确的物理属性。对于我们的项目而言AI2-THOR 提供了几个不可替代的功能逼真的视觉渲染机器人agent的“眼睛”是模拟的摄像头可以获取第一人称或第三人称的 RGB-D颜色深度图像。这为模型提供了丰富的视觉感知输入。精确的物理交互模型输出的动作如Open(‘Fridge’)、Slice(‘Apple’)会在模拟器中转化为具体的物理动作并产生符合现实世界预期的结果冰箱门打开苹果被切分。这允许我们验证行动计划的可行性。丰富的元数据 API程序可以查询场景中所有物体的类别、位置、状态是否被开关、是否被持有等、可执行动作列表等。这些信息可以作为“环境上下文”注入给大语言模型帮助它做出更合理的决策。在架构上我们的智能体通过 Python 脚本与 AI2-THOR 模拟器通信同时通过 HTTP 请求调用本地 Ollama 服务的 Gemma 模型。智能体的工作流程是接收任务自然语言→ 通过 API 获取当前环境状态物体列表、位置→ 将任务和状态组合成提示词发送给 Gemma → 解析 Gemma 返回的文本得到下一个动作 → 在 AI2-THOR 中执行该动作 → 观察结果并进入下一轮循环。2.4 NVIDIA DGX支撑这一切的计算基石在普通的消费级显卡上运行这个 pipeline 会非常吃力。Gemma 3-12B 即使经过 4-bit 量化也需要约 8-10GB 的 GPU 显存。而 AI2-THOR 的实时渲染本身也需要消耗可观的 GPU 资源。NVIDIA DGX 系列工作站或服务器凭借其多块高性能 GPU如 A100 80GB、高速 NVLink 互联和庞大的统一内存成为了运行此类实验的理想平台。在我的 DGX 配置中我可以将 Ollama 服务的 Gemma 模型加载到两块 GPU 上以加速推理同时将 AI2-THOR 模拟器的渲染任务指派到另一块独立的 GPU 上实现计算与渲染的分离避免相互干扰。DGX 的大内存也允许我同时运行多个模拟器实例进行批量任务测试或并行训练极大地提升了实验效率。3. 环境搭建与部署实操全记录3.1 基础软件环境准备首先确保你的 DGX 系统已经安装了合适的 NVIDIA 驱动和 CUDA Toolkit建议 CUDA 12.x。接下来是三个核心组件的安装。1. Ollama 安装与配置在 Linux 系统上安装 Ollama 最快捷的方式是使用一键安装脚本curl -fsSL https://ollama.com/install.sh | sh安装完成后Ollama 服务会自动启动。你可以通过systemctl status ollama检查服务状态。由于直接从官方拉取模型可能很慢我们需要配置国内镜像源。Ollama 的模型拉取实际上是通过 Docker 容器进行的所以我们可以修改 Docker 的配置。编辑或创建/etc/docker/daemon.json添加国内镜像加速器例如{ registry-mirrors: [https://your-mirror.mirror.aliyuncs.com] }重启 Docker 服务sudo systemctl restart docker。请注意这能加速基础镜像的拉取但模型权重文件.bin的下载可能仍需通过其他方式。更直接的方法是从国内的模型托管平台如 ModelScope, Hugging Face Mirror手动下载 Gemma 3-12B 的 GGUF 格式文件。然后创建一个ModelfileFROM /path/to/your/gemma-3-12b.Q4_K_M.gguf接着使用 Ollama 从本地文件创建模型ollama create my-gemma-12b -f ./Modelfile ollama run my-gemma-12b2. AI2-THOR 环境搭建AI2-THOR 是一个 Python 库通过 pip 即可安装。建议使用虚拟环境。pip install ai2thor首次运行时AI2-THOR 会自动下载必要的场景资源文件约几个GB请确保网络通畅。如果需要离线部署可以提前下载好资源包并指定本地路径。3. 项目代码与依赖我们需要编写一个主控脚本用来串联 Ollama 和 AI2-THOR。这个脚本需要安装一些额外的库pip install requests openai # 用于调用 Ollama API其接口兼容 OpenAI pip install numpy pillow # 用于处理图像这里的关键是我们将 Ollama 服务视为一个本地的 OpenAI 兼容端点。我们可以设置openai库的基地址指向本地。3.2 核心交互逻辑实现下面是一个高度简化的核心循环代码框架展示了智能体如何工作import ai2thor.controller import openai # 使用其兼容客户端 import json # 1. 初始化 AI2-THOR 控制器 controller ai2thor.controller.Controller() controller.start() controller.reset(FloorPlan1) # 重置到某个场景 # 2. 配置 Ollama 客户端 (伪装成 OpenAI 客户端) client openai.OpenAI( base_urlhttp://localhost:11434/v1, # Ollama 的 API 地址 api_keyollama, # Ollama 不需要真实的 key但需提供非空值 ) # 3. 定义任务 task_description Go to the kitchen and find an apple on the countertop. # 4. 主循环 for step in range(max_steps): # 4.1 获取当前环境状态简化获取可交互物体列表 objects [obj[objectType] for obj in controller.last_event.metadata[objects] if obj[visible]] current_state fYou are in a home. You can see: {, .join(objects[:10])}. # 取前10个避免上下文过长 # 4.2 构建给 Gemma 的提示词 system_prompt You are an embodied AI agent in a simulated home. Your task is to output the next single, concrete action to take, based on the goal and what you see. Output ONLY a JSON object with the key action and object. Available actions are: GoTo, PickUp, PutDown, Open, Close, Slice, Cook. Example: {action: GoTo, object: KitchenCounter} user_prompt fGoal: {task_description}. Current state: {current_state}. What is the next action? # 4.3 调用本地 Gemma 模型 response client.chat.completions.create( modelmy-gemma-12b, # 你在 Ollama 中创建的模型名 messages[ {role: system, content: system_prompt}, {role: user, content: user_prompt} ], temperature0.1, # 低温度保证输出稳定性 response_format{type: json_object} # 强制 JSON 输出 ) # 4.4 解析模型输出 try: action_dict json.loads(response.choices[0].message.content) next_action action_dict[action] target_object action_dict.get(object, ) except json.JSONDecodeError: print(Model output is not valid JSON.) break # 4.5 在 AI2-THOR 中执行动作 event controller.step(actionnext_action, objectIdtarget_object) # 4.6 检查任务是否完成这里需要更复杂的逻辑例如检查苹果是否被拿起并移动 # 简单判断如果执行了 PickUp(Apple)认为子目标完成 if next_action PickUp and target_object Apple: print(Apple picked up!) # 可以更新任务目标例如变为“PutDown the Apple” task_description Put down the apple on the dining table. # 4.7 如果任务失败或卡住可以 break 或引入重试机制这个框架展示了最基本的“感知-思考-行动”循环。在实际项目中状态表示会更复杂可能包括场景图像的特征向量、物体的空间关系图等任务完成度的判断也需要更精细的逻辑。3.3 提示词工程与模型调优让 Gemma 稳定输出可执行的行动指令提示词设计至关重要。上面示例中的系统提示词是一个基础版本。在实践中我总结出几个优化点动作空间约束必须在系统提示词中清晰、无歧义地列出所有可用的原子动作GoTo,PickUp等。最好能附上简短说明例如GoTo(location): Move the agent to a specific piece of furniture like CounterTop or Sofa。输出格式强制使用response_format{type: json_object}是 Ollama 对 OpenAI API 的扩展功能能极大提高模型输出 JSON 的稳定性。同时在提示词中也明确要求输出 JSON 格式。环境上下文注入Current state部分不能只是物体列表。可以加入智能体的位置、手中是否持有物体、目标物体的历史状态等信息。例如You are in the kitchen. You are currently holding nothing. The apple is on the countertop to your left.历史动作记忆在多轮对话中需要将之前执行过的动作历史也作为上下文喂给模型防止它陷入循环或重复无效动作。可以将之前的(action, object)对列表附加到用户提示中。少样本示例在系统提示词中提供 1-2 个完整的思考-输出示例能显著提升模型的表现。这就是所谓的“少样本学习”。4. 性能调优与问题排查实录在 DGX 上部署和运行这个系统时我遇到了不少性能瓶颈和诡异问题以下是排查和解决过程的记录。4.1 推理速度慢与 GPU 利用率低现象Ollama 服务响应一次请求需要 5-10 秒使用nvidia-smi查看发现 GPU 利用率波动很大且大部分时间很低。排查与解决检查模型量化与加载首先确认使用的是量化版本如 Q4_K_M。使用ollama show my-gemma-12b查看模型详情。在 DGX 上如果显存足够使用Q8或Q6_K量化能在精度和速度间取得更好平衡。我最终使用了Q6_K版本。调整 Ollama 并行参数通过环境变量OLLAMA_NUM_GPU指定使用多块 GPU。在我的 4-GPU DGX 上设置为2或3效果最佳。设置过高如4可能因通信开销反而降低效率。同时可以设置OLLAMA_HOST0.0.0.0并调整OLLAMA_MAX_LOADED_MODELS来优化并发。启用连续批处理Ollama 支持连续批处理能同时处理多个等待中的请求提高吞吐。确保你的客户端脚本是异步或并发调用的才能利用这一特性。在同步单请求模式下这个优化不明显。监控瓶颈使用htop和nvtop工具监控。我发现瓶颈有时不在 GPU 计算而在脚本端的环境状态处理物体列表筛选、图像预处理或网络请求序列化/反序列化上。对这部分代码进行优化如使用缓存、简化状态表示后整体延迟降低了约30%。4.2 AI2-THOR 渲染卡顿与内存泄漏现象长时间运行后系统内存占用持续增长最终模拟器崩溃。排查与解决分离渲染与计算这是最关键的一步。我修改了启动脚本将 AI2-THOR 控制器显式地绑定到一块独立的 GPU 上通过CUDA_VISIBLE_DEVICES环境变量而让 Ollama 使用另外的 GPU。这避免了渲染和模型推理对同一 GPU 资源的争抢。# 在启动 AI2-THOR 的终端中 export CUDA_VISIBLE_DEVICES0 python my_agent_script.py# 在启动 Ollama 的终端或 systemd 服务文件中 export OLLAMA_NUM_GPU2 export CUDA_VISIBLE_DEVICES1,2 ollama serve定期重置控制器AI2-THOR 模拟器在长时间运行后可能会积累状态。我修改了代码每完成 20 个任务周期或遇到无法恢复的错误时就调用controller.stop()和controller.start()进行完全重启而不是仅仅controller.reset()。这有效缓解了内存泄漏问题。降低渲染质量对于纯研究性的任务学习有时不需要最高清的视觉输入。在初始化控制器时可以设置renderDepthImageFalse和renderInstanceSegmentationFalse来关闭深度图和实例分割渲染并降低width和height参数如从 1024x768 降至 512x384能大幅减少 GPU 内存占用和渲染时间。4.3 模型“幻觉”与动作执行失败现象Gemma 模型有时会输出一个无效的动作比如GoTo(Apple)Apple 不是可导航点或者PickUp(Kitchen)导致 AI2-THOR 执行失败。排查与解决强化状态过滤在构建current_state时不能简单列出所有物体。我改进了代码只列出当前场景中可交互且可见的物体并且将它们按类型Pickupable,Openable,Sliceable和位置区域进行分组。这样提供给模型的信息更精准减少了它“发明”不存在的交互方式的可能性。动作后验与重规划在代码中增加一个“动作验证器”。在执行模型输出的动作前先检查该动作-对象组合是否在 AI2-THOR 当前场景的可行动作列表中可通过controller.last_event.metadata[‘objects’]中每个物体的属性判断。如果无效则不执行并将“上一个动作无效”的反馈信息加入到下一轮给模型的提示词中要求它重新规划。这相当于给模型一个即时纠错的机会。细化动作空间将GoTo动作的目标从物体名称改为具体的“可导航点”Receptacle。AI2-THOR 中CounterTop、Table、Sofa是可导航点而Apple、Mug不是。在提示词中明确说明“GoTo的目标必须是家具或大型电器如CounterTop,Sofa,Fridge而不是小物件。”引入分层规划对于复杂任务让模型一次性规划所有步骤容易出错。我改为实现一个两阶段规划首先让模型输出一个高级任务分解如[1. Navigate to Kitchen, 2. Find Apple, 3. Pick up Apple, 4. Navigate to Dining Table, 5. Put down Apple]。然后在每一步中再让模型根据当前状态输出具体的原子动作。这降低了单次规划的复杂度提高了成功率。4.4 网络与依赖问题速查表问题现象可能原因解决方案Ollama 服务启动失败端口冲突11434 端口被占用使用ollama serve指定其他端口如OLLAMA_HOST0.0.0.0:11435 ollama serve调用 Ollama API 超时模型未加载或服务未启动检查ollama list确认模型存在systemctl status ollama确认服务运行AI2-THOR 首次运行卡在下载网络连接问题手动下载https://ai2thor.allenai.org/上的资源包使用controller Controller(download_onlyTrue)指定本地路径Python 脚本报错ImportError虚拟环境未激活或依赖缺失确认在正确的虚拟环境中使用pip freeze | grep ai2thor检查重新安装Gemma 输出乱码或无关内容提示词约束力不够或温度过高降低temperature至 0.1 或更低加强系统提示词中的格式指令使用 JSON 响应格式动作执行成功但任务判断失败任务完成条件逻辑有误实现更鲁棒的状态检查例如检查目标物体的parentReceptacles属性是否变为餐桌而不是仅仅检查动作是否被执行这个项目从技术拼图到能稳定运行一个简单的“取苹果”任务中间充满了各种调试和优化。最大的体会是在具身智能的闭环里大语言模型的“思考”质量固然重要但前后端模拟器、状态表示、动作接口的稳定性和精准度同样关键。一个错误的物体 ID 或一个模糊的动作定义就足以让整个智能体陷入瘫痪。因此构建健壮的数据管道和验证逻辑与优化提示词和模型选择一样都是不可或缺的工作。未来我计划尝试用 LoRA 等微调方法让 Gemma 在 AI2-THOR 的特定任务上表现更专业这可能是提升任务成功率的下一把钥匙。
