尧图网站建设 
3 台旧 Mac 连上家里路由器就能跑 235B 大模型exo 家庭 AI 算力集群实践指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo 把家里的闲置设备自动组建成一个分布式推理集群设备自动发现、大模型自动分片到多台机器、设备越多速度越快全程零手动配置。本文带你从 0 到 1用十几分钟搭好一个能跑大参数模型的家庭 AI 推理集群。先看一组真实数据4 台 Mac Studio 通过 Thunderbolt 互连总共约 2TB 统一内存Qwen3-235B 推理跑到 31.9 tokens/s整机功耗只有 240W——相当于一台电水壶。这不是机房就是一台台放在客厅桌面上的普通电脑。别急着淘汰旧设备exo 做对了三件事很多家庭闲置设备的痛点很简单单台内存装不下 200B 级别的大模型买新卡又太贵。exo 的解法是把多台闲置设备的内存拼起来用且有三个关键差异点零配置接入装了 exo 的设备会自动互相发现不需要填 IP、不需要改路由同局域网下开机即入网设备越多越快它用张量并行把模型按层/按张量切开、多台机器同时算做多机推理官方数据是 2 台设备最多 1.8 倍提速、4 台 3.2 倍在 Thunderbolt 5 机器上开启 RDMA绕过操作系统内核直接传输内存数据后设备间延迟还能再降 99%即插即用兼容自带 OpenAI Chat Completions、Claude Messages、Ollama 等 API 格式你现有的客户端工具不用换也能从 HuggingFace 加载自定义模型。先给每台设备做个体检再决定怎么切模型 每台设备启动 exo 后会先上报自己的内存容量、芯片型号和实时负载协调端每隔 1 秒刷新一次节点状态采集逻辑在 src/exo/utils/info_gatherer/。就像体检报告先看清楚每个人能扛多少活再派活。分片策略上exo 用的是内存环算法所有节点按内存大小排序内存大的机器分走大段权重内存小的分小段然后把这些设备串成一个环让每个节点把算完的部分直接递给下一个邻居。这很像家里的水管分流——主水管大内存设备承担主要流量分支管小内存设备按管径大小分走相应水量谁也不堵、谁也不闲。拓扑感知和分片实现分别落在 src/exo/shared/topology.py 与 src/exo/master/placement.py。3 步点亮你的家庭集群第一步拉代码并构建面板git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build第二步启动第一台节点cd exo uv run exo命令行启动后浏览器打开http://localhost:52415仪表盘和 API 就都在线了可以直接看集群状态、和模型对话。第三步让其他设备自动加入这是 exo 最省心的地方同一局域网下的其他机器只需跑同样的启动命令就会自动被发现并加入集群。macOS 用户还可以直接装官方菜单栏应用brew install --cask exo需 macOS Tahoe 26.2。如果你的机器支持 Thunderbolt 5 且系统为 26.2 以上建议顺手启用 RDMA并在界面里切换到 MLX RDMA 模式多机推理会明显更顺。马上可以试的三个玩法两台 MacBook 的本地助手2 台 M4 Pro MacBook 组成小集群跑 32B 级模型语音和文字全在局域网内处理响应快且隐私不外泄重火力大模型4 台 M3 Ultra Mac Studio 互连Qwen3-235B、DeepSeek 671B 这类单台机器根本装不下的模型直接开跑硬件组合模型效果2 × M4 Pro MacBook32B 级最多约 1.8× 单设备提速4 × M3 Ultra Mac StudioQwen3-235B / DeepSeek 671B最多 3.2× 提速31.9 tokens/s240W旧电脑当纯调度节点老机器内存够但没算力时用uv run exo --no-worker让它只负责协调与网络转发不占推理资源废物利用。4 个高概率踩的坑以及怎么绕⚠️同网络却互相发现不了先确认是否在同一子网如果网内还有别的人也在跑 exo给自家集群设一个EXO_LIBP2P_NAMESPACE自定义命名空间避免串群。Linux 上跑得慢目前 Linux 版本还是纯 CPU 推理GPU 支持在路上想榨性能优先用 Apple Silicon 设备。模型加载失败、提示内存不足集群总内存要大于模型文件体积加上推理开销打开仪表盘看一眼内存占用条差多少就换更低量化位数的模型版本。某台节点突然掉线不用担心全集群挂掉——exo 有主节点选举机制会自动选出新协调者继续服务排查问题看日志目录Linux 下是~/.cache/exo/exo_log/。几台桌面上的普通电脑加一根网线就能顶替一台昂贵的 GPU 服务器。对普通用户来说跑大模型门槛从来不是钱而是这几行命令。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3 台旧 Mac 连上家里路由器，就能跑 235B 大模型？exo 家庭 AI 算力集群实践指南
3 台旧 Mac 连上家里路由器就能跑 235B 大模型exo 家庭 AI 算力集群实践指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo 把家里的闲置设备自动组建成一个分布式推理集群设备自动发现、大模型自动分片到多台机器、设备越多速度越快全程零手动配置。本文带你从 0 到 1用十几分钟搭好一个能跑大参数模型的家庭 AI 推理集群。先看一组真实数据4 台 Mac Studio 通过 Thunderbolt 互连总共约 2TB 统一内存Qwen3-235B 推理跑到 31.9 tokens/s整机功耗只有 240W——相当于一台电水壶。这不是机房就是一台台放在客厅桌面上的普通电脑。别急着淘汰旧设备exo 做对了三件事很多家庭闲置设备的痛点很简单单台内存装不下 200B 级别的大模型买新卡又太贵。exo 的解法是把多台闲置设备的内存拼起来用且有三个关键差异点零配置接入装了 exo 的设备会自动互相发现不需要填 IP、不需要改路由同局域网下开机即入网设备越多越快它用张量并行把模型按层/按张量切开、多台机器同时算做多机推理官方数据是 2 台设备最多 1.8 倍提速、4 台 3.2 倍在 Thunderbolt 5 机器上开启 RDMA绕过操作系统内核直接传输内存数据后设备间延迟还能再降 99%即插即用兼容自带 OpenAI Chat Completions、Claude Messages、Ollama 等 API 格式你现有的客户端工具不用换也能从 HuggingFace 加载自定义模型。先给每台设备做个体检再决定怎么切模型 每台设备启动 exo 后会先上报自己的内存容量、芯片型号和实时负载协调端每隔 1 秒刷新一次节点状态采集逻辑在 src/exo/utils/info_gatherer/。就像体检报告先看清楚每个人能扛多少活再派活。分片策略上exo 用的是内存环算法所有节点按内存大小排序内存大的机器分走大段权重内存小的分小段然后把这些设备串成一个环让每个节点把算完的部分直接递给下一个邻居。这很像家里的水管分流——主水管大内存设备承担主要流量分支管小内存设备按管径大小分走相应水量谁也不堵、谁也不闲。拓扑感知和分片实现分别落在 src/exo/shared/topology.py 与 src/exo/master/placement.py。3 步点亮你的家庭集群第一步拉代码并构建面板git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build第二步启动第一台节点cd exo uv run exo命令行启动后浏览器打开http://localhost:52415仪表盘和 API 就都在线了可以直接看集群状态、和模型对话。第三步让其他设备自动加入这是 exo 最省心的地方同一局域网下的其他机器只需跑同样的启动命令就会自动被发现并加入集群。macOS 用户还可以直接装官方菜单栏应用brew install --cask exo需 macOS Tahoe 26.2。如果你的机器支持 Thunderbolt 5 且系统为 26.2 以上建议顺手启用 RDMA并在界面里切换到 MLX RDMA 模式多机推理会明显更顺。马上可以试的三个玩法两台 MacBook 的本地助手2 台 M4 Pro MacBook 组成小集群跑 32B 级模型语音和文字全在局域网内处理响应快且隐私不外泄重火力大模型4 台 M3 Ultra Mac Studio 互连Qwen3-235B、DeepSeek 671B 这类单台机器根本装不下的模型直接开跑硬件组合模型效果2 × M4 Pro MacBook32B 级最多约 1.8× 单设备提速4 × M3 Ultra Mac StudioQwen3-235B / DeepSeek 671B最多 3.2× 提速31.9 tokens/s240W旧电脑当纯调度节点老机器内存够但没算力时用uv run exo --no-worker让它只负责协调与网络转发不占推理资源废物利用。4 个高概率踩的坑以及怎么绕⚠️同网络却互相发现不了先确认是否在同一子网如果网内还有别的人也在跑 exo给自家集群设一个EXO_LIBP2P_NAMESPACE自定义命名空间避免串群。Linux 上跑得慢目前 Linux 版本还是纯 CPU 推理GPU 支持在路上想榨性能优先用 Apple Silicon 设备。模型加载失败、提示内存不足集群总内存要大于模型文件体积加上推理开销打开仪表盘看一眼内存占用条差多少就换更低量化位数的模型版本。某台节点突然掉线不用担心全集群挂掉——exo 有主节点选举机制会自动选出新协调者继续服务排查问题看日志目录Linux 下是~/.cache/exo/exo_log/。几台桌面上的普通电脑加一根网线就能顶替一台昂贵的 GPU 服务器。对普通用户来说跑大模型门槛从来不是钱而是这几行命令。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考