最近在本地模型圈子里Perplexity 开源本地推理引擎 Lily 的消息讨论度很高。它针对 Apple silicon 做了专门优化并且直接支持 Qwen3.6-35B-A3B 这种 MoE 架构模型。很多开发者在 M 系列芯片的 Mac 上尝试跑本地大模型时会发现一个问题模型参数一大显存和内存直接告急推理速度也不理想。Lily 的思路和传统 CPU/GPU 推理框架不太一样它更贴近 Apple silicon 的统一内存架构让本地跑 35B 级别 MoE 模型成为一件可以落地的事。本文会围绕 Lily 的定位、环境准备、安装步骤、模型运行、性能优化和排错思路展开。如果你想在 MacBook 或 Mac Studio 上本地体验 MoE 大模型或者对推理引擎底层优化感兴趣这篇文章可以作为一份完整参考。下面进入正文。1. 背景与核心概念1.1 Perplexity Lily 是什么Lily 是 Perplexity 开源的一个本地推理引擎目标是在 Apple silicon 设备上高效运行大语言模型。简单理解它是一层介于“模型权重”和“硬件算力”之间的软件层负责把模型的计算图映射到苹果的统一内存与神经网络加速单元上。传统推理引擎的思路通常围绕 NVIDIA GPU 生态设计核心是显存管理、CUDA 内核调度、显存拷贝优化。但 Apple silicon 的架构不一样CPU、GPU 和神经网络引擎共享同一块内存不存在 PCIe 传输瓶颈却也带来了新的挑战如何让 GPU 高效访问统一内存、如何做算子融合、如何平衡 CPU 与 GPU 的负载。Lily 正是针对这套架构设计的推理引擎。需要注意的是Lily 不是一个“一键安装就能跑所有模型”的泛用工具。它更专注于 Apple silicon 平台对 MoEMixture of Experts混合专家架构模型有针对性优化。这也解释了为什么它支持 Qwen3.6-35B-A3B 这类模型。1.2 MoE 模型与 Qwen3.6-35B-A3B 的特别之处Qwen3.6-35B-A3B 是一个典型的 MoE 模型模型名称里的“35B”表示总参数量约 350 亿“A3B”表示每个 token 实际激活的参数约 30 亿。这个“总参数”和“激活参数”的区分非常关键。传统稠密模型Dense Model处理一个 token 时所有参数都参与计算。MoE 模型则会把 Transformer 层中的 FFN前馈网络拆分成多个专家子网络每次推理只激活其中一部分专家。举例来说35B 总参数的模型每次计算可能只激活 3B 参数从而大幅降低单次推理的计算量。对本地推理来说MoE 模型的核心优势是模型文件依然需要完整的 35B 参数权重内存占用不会太夸张相对稠密 70B 模型而言但推理速度可以接近 3B 稠密模型。这正好匹配 Apple silicon 统一内存的硬件特点——内存容量大、带宽高但 GPU 算力与高端独立显卡仍有差距。MoE 把“算力需求”降下来把“内存需求”留下来Lily 的优化刚好补上后面这块。1.3 为什么要在 Apple silicon 上做本地推理本地推理的价值不只是“离线可用”。对企业来说代码、文档、内部数据不能随意上传到云端 API本地推理是合规路径之一。对个人开发者来说本地推理没有 API 费用可以随意调试、微调实验也不受服务商限流影响。Apple silicon 设备在这条路上的优势有三点统一内存架构CPU 与 GPU 共享大容量内存可以加载大参数模型。能效比高M 系列芯片的功耗远低于同性能的传统 GPU。设备普及率高很多开发者手头的 MacBook Pro 或 Mac Studio 就能直接使用。Lily 把这三个优势转化为实际可用的推理能力这是它受到关注的根本原因。2. 环境准备与版本说明2.1 硬件与系统要求本文的示例以 Apple silicon 设备为准即 M1、M2、M3、M4 系列芯片。不同芯片在内存带宽、GPU 核心数上有差异直接决定可跑模型的上限。内存方面Qwen3.6-35B-A3B 模型权重按半精度Float16存储大约占用 70GB 空间如果使用量化后的权重则可能降到 20GB 到 35GB。因此建议至少 32GB 统一内存的机器推荐 64GB 及以上。系统方面macOS 14 及以上版本比较稳妥新版本系统对 Metal API 的支持更完善。2.2 软件依赖准备Lily 的安装和运行通常依赖以下组件Homebrew 包管理器用于安装底层依赖库。Python 3.10 及以上版本Lily 的启动脚本和部分工具链基于 Python。Xcode Command Line Tools提供编译器和 Metal 开发库。Git用于拉取仓库。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。在实际安装前建议先执行下面的命令确认基础环境# 查看芯片架构确认是 Apple silicon uname -m # Apple silicon 输出 arm64 # 查看 macOS 版本 sw_vers # 查看内存大小 sysctl hw.memsize # 查看 Python 版本 python3 --version如果你看到uname -m输出arm64说明设备是 Apple silicon 架构符合运行条件。2.3 示例项目结构本文后续会按照下面的目录结构组织内容~/lily-demo/ ├── lily/ # Lily 推理引擎源码 ├── models/ # 存放模型权重 │ └── qwen3.6-35b-a3b/ ├── scripts/ # 推理与测试脚本 │ └── run_inference.py └── logs/ # 日志输出目录3. 核心原理拆解Lily 是怎么让 MoE 模型跑起来的3.1 Apple silicon 统一内存与推理引擎的适配逻辑传统深度学习推理中数据需要从 CPU 内存拷贝到 GPU 显存这是典型的“PCIe 传输瓶颈”。Apple silicon 采用统一内存CPU、GPU 直接访问同一块物理内存。这意味着推理引擎不需要做数据搬运但需要更精细的内存生命周期管理。Lily 在适配这一架构时重点做了三件事内存映射优化减少模型权重在进程内的重复拷贝。算子融合把多个矩阵运算合并成更少的 Metal GPU 计算任务。显存占用控制让 MoE 模型只加载活跃专家到高速缓存。这三点是理解 Lily 后续配置项的基础。3.2 MoE 推理时专家调度的工作方式MoE 模型的推理流程与稠密模型不同。每个 token 经过 Transformer 层时路由器Router会计算所有专家的得分选出 top-k 个专家参与 FFN 计算。这带来两个性能问题第一路由计算本身有额外开销。第二不同 token 可能激活不同专家导致 GPU 计算不连续。Lily 的优化思路是把专家权重划分为“常驻”和“按需加载”两类。常用专家比如路由器得分高的专家常驻内存冷门专家则在需要时从外存换入。这种策略在统一内存架构上比传统显存分页更高效因为内存与“显存”本质相同不存在跨设备拷贝。3.3 量化在本地推理中的角色Qwen3.6-35B-A3B 的全精度权重对内存压力较大实践中通常会使用量化版本。量化就是把模型权重从 Float16 降低到 Int8 或 Int4 表示换取更小的内存占用和更快的速度代价是少量精度损失。Lily 对量化的支持需要看具体版本。通用经验是首跑建议先使用 Float16 或 BF16确认模型输出正确。内存吃紧时切换 Int8 量化通常质量损失很小。Int4 量化内存占用更低但可能出现明显质量下降。配置量化时务必在“可用内存”和“输出质量”之间找平衡不是越低越好。4. 安装 Lily 与基础配置4.1 下载 Lily 源码第一步是把 Lily 仓库克隆到本地。具体仓库地址以 Perplexity 官方发布信息为准下面是一个通用的拉取流程mkdir -p ~/lily-demo cd ~/lily-demo git clone https://github.com/PerplexityAI/Lily.git lily cd lily如果你使用的是稳定发布版本建议切换到对应的 release 分支或标签避免主分支的不稳定变更影响实验。4.2 创建 Python 虚拟环境Python 虚拟环境可以避免依赖包冲突是本地开发推荐的做法cd ~/lily-demo/lily # 创建虚拟环境 python3 -m venv .venv # 激活虚拟环境 source .venv/bin/activate # 确认处于虚拟环境 which python3激活后终端的命令提示符前会出现(.venv)标识说明当前已在虚拟环境中。4.3 安装依赖Lily 的依赖项会随版本更新建议通过项目提供的配置文件安装pip install --upgrade pip # 安装核心依赖 pip install -r requirements.txt # 如果是开发模式可以执行可编辑安装 pip install -e .如果安装过程中遇到编译错误通常是因为缺少 Xcode Command Line Tools。此时执行xcode-select --install安装完成后重启终端再继续后续操作。4.4 验证安装是否成功可以运行 Lily 自带的版本命令或帮助命令确认核心引擎可用lily --version lily --help如果命令无法识别可能是可执行文件没有添加到 PATH可以使用 Python 模块方式调用python -m lily --version看到版本号输出说明安装基本成功。5. 实战运行 Qwen3.6-35B-A3B5.1 获取模型权重Qwen3.6-35B-A3B 的权重可以从 Hugging Face 等模型仓库获取。你可以使用huggingface-cli或git lfs下载模型文件。推荐先创建一个模型目录mkdir -p ~/lily-demo/models/qwen3.6-35b-a3b cd ~/lily-demo/models/qwen3.6-35b-a3b随后执行下载命令。注意模型文件较大建议先确认磁盘空间充足。# 查看磁盘空间 df -h ~/如果是通过 Hugging Face 下载常见命令格式如下huggingface-cli download Qwen/Qwen3.6-35B-A3B --local-dir ./qwen3.6-35b-a3b如果你的网络访问 Hugging Face 不稳定可以考虑使用国内镜像例如在命令中增加镜像环境变量。此处只是示例思路具体以你实际可用的下载源为准。5.2 加载模型并执行文本生成下面是一个使用 Lily 加载 Qwen3.6-35B-A3B 并执行文本生成的示例脚本。保存为~/lily-demo/scripts/run_inference.py# 文件路径~/lily-demo/scripts/run_inference.py import time from lily import LilyModel, AutoTokenizer def main(): # 1. 指定模型路径 model_path ~/lily-demo/models/qwen3.6-35b-a3b # 2. 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_path) # 3. 加载 Lily 模型 # 参数说明 # model_path: 模型权重目录 # dtype: 权重精度可选 float16、int8、int4 # max_seq_len: 最大序列长度 model LilyModel.from_pretrained( model_path, dtypefloat16, max_seq_len2048, ) # 4. 构造输入 prompt 用一段话解释什么是混合专家模型 MoE。 inputs tokenizer(prompt, return_tensorspt) # 5. 执行推理 start time.time() outputs model.generate( inputs.input_ids, max_new_tokens256, temperature0.7, top_p0.9, ) elapsed time.time() - start # 6. 解码并输出结果 response tokenizer.decode(outputs[0], skip_special_tokensTrue) print( 输入 ) print(prompt) print( 输出 ) print(response) print(f 耗时{elapsed:.2f} 秒 ) if __name__ __main__: main()这段代码的结构是加载模型 → 编码输入 → 推理 → 解码输出。max_new_tokens256控制生成长度temperature和top_p控制随机性。5.3 运行并观察输出执行以下命令运行脚本cd ~/lily-demo source lily/.venv/bin/activate python scripts/run_inference.py预期输出包含输入的提示词、模型生成的回答以及推理耗时。首次运行时模型需要完成权重加载和算子初始化耗时较长属于正常现象。如果程序提示显存或内存不足可以改用dtypeint8重新加载模型model LilyModel.from_pretrained( model_path, dtypeint8, max_seq_len2048, )这个示例重点演示配置思路与代码结构。实际版本中类名、参数名称可能因版本迭代而变化请以官方文档为准。5.4 交互式聊天模式命令行生成脚本适合快速验证。如果你想要一个可以连续对话的交互式环境可以启动 Lily 自带的 CLI 聊天模式。参考命令如下lily chat \ --model ~/lily-demo/models/qwen3.6-35b-a3b \ --dtype float16 \ --max_seq_len 4096进入聊天界面后输入文本即可得到模型回复。输入exit或quit退出。6. Apple silicon 性能优化要点6.1 批次大小Batch Size与吞吐量的平衡本地推理时批次大小直接影响吞吐量。批次增大GPU 利用率提高但内存占用也随之增加。Apple silicon 统一内存的优势在高批次下更明显因为不需要额外的显存拷贝。不过MoE 模型有一个特性不同 token 激活的专家不同。当批次增大时被激活的专家集合更分散可能导致部分专家成为瓶颈。实践建议是先从 batch size 1 开始验证正确性再逐步增加批次大小观察吞吐量和内存变化。6.2 内存带宽是核心瓶颈Apple silicon 的 GPU 算力与顶级台式机显卡有差距但内存带宽表现很好。比如 M 系列 Pro/Max/Ultra 芯片的带宽远高于普通笔记本内存。在运行 MoE 模型时真正限制速度的往往是“把权重从内存搬运到计算单元”的带宽而不是 GPU 算力。所以优化重点应该放在减少内存访问次数上包括使用量化权重减少每次读取的数据量。尽量多地复用已加载的专家权重。避免频繁地在 CPU 与 GPU 之间切换任务。6.3 温度控制与功耗管理长时间运行推理会让 Mac 的风扇全速运转。Apple silicon 虽然能效比高但连续高负载下仍会发热降频。具体做法是在系统设置中开启“低电量模式”限制 CPU/GPU 功耗。使用powermetrics命令监控功耗和温度sudo powermetrics --samplers smc -i 1控制推理进程的 CPU 亲和性如果 Lily 支持可以限制使用核心数。6.4 模型权重格式的合理选择对 Qwen3.6-35B-A3B 来说不同精度的内存占用差异很大精度近似内存占用推理速度质量Float16 / BF16约 70GB较慢完整精度Int8 量化约 35GB中损失小Int4 量化约 18GB快损失中等如果内存只有 32GB建议优先尝试 Int8 量化如果内存 64GB 以上可以尝试 Float16。如果你发现某次运行内存不足不要直接上 Int4先检查是否还有其他进程占用大量内存。7. 常见问题与排查思路7.1 模型加载时提示内存不足问题现象常见原因解决思路加载模型时报内存不足设备物理内存过小换用 Int8 或 Int4 量化权重加载后系统卡死统一内存被模型占满退出其他大型应用减少内存占用运行一段时间后被系统杀进程长期高负载触发内存压力降低 batch size缩短 max_seq_len排查时可以先用系统自带的“活动监视器”查看内存压力曲线。如果内存压力持续为红色说明设备容量不足以支撑当前配置。7.2 推理速度远低于预期问题现象常见原因解决思路生成速度很慢使用了非量化权重切换 int8 或 int4GPU 利用率低任务调度在 CPU 上执行检查 Lily 是否自动启用 GPU手动指定设备速度不稳定系统散热降频检查温度控制负载避免多个重任务同时运行在 Apple silicon 上如果推理引擎只是把模型加载进内存但实际计算仍跑在 CPU 上性能会大打折扣。你需要确认日志中出现了类似 “Using Metal GPU” 的信息。7.3 输出质量明显偏差模型输出质量差不一定是推理引擎的问题。先检查是否使用了过低精度的量化如 Int4。提示词是否完整。采样参数是否设置过小或过大。模型文件是否完整下载没有中断。建议用相同的提示词分别运行 Float16 和 Int8对比输出结果判断偏差来源。7.4 环境安装时的编译报错编译错误最常见的原因是缺少开发依赖。你可以依次尝试# 1. 安装 Xcode 命令行工具 xcode-select --install # 2. 安装必要系统库 brew install cmake brew install libomp # 3. 清理并重装 Python 依赖 pip uninstall -y lily pip install -e .如果错误信息中包含clang: error: unsupported option通常是编译器版本与 macOS SDK 不匹配升级 Xcode 后重试。8. 最佳实践与工程建议8.1 把推理封装成服务命令行调用适合验证功能但在实际项目中建议把 Lily 封装为本地推理服务通过 HTTP API 对外提供接口好处是解耦调用方与推理引擎方便切换模型、升级引擎。你可以使用 Flask 或 FastAPI 构建一个简易服务# 文件路径~/lily-demo/scripts/serve.py from fastapi import FastAPI, Request from lily import LilyModel, AutoTokenizer app FastAPI() model LilyModel.from_pretrained( ~/lily-demo/models/qwen3.6-35b-a3b, dtypeint8, max_seq_len2048, ) tokenizer AutoTokenizer.from_pretrained(~/lily-demo/models/qwen3.6-35b-a3b) app.post(/generate) async def generate(request: Request): data await request.json() prompt data.get(prompt, ) max_new_tokens data.get(max_new_tokens, 128) inputs tokenizer(prompt, return_tensorspt) outputs model.generate( inputs.input_ids, max_new_tokensmax_new_tokens, ) response tokenizer.decode(outputs[0], skip_special_tokensTrue) return {response: response}启动服务cd ~/lily-demo source lily/.venv/bin/activate uvicorn scripts.serve:app --host 127.0.0.1 --port 8000请求示例curl -X POST http://127.0.0.1:8000/generate \ -H Content-Type: application/json \ -d {prompt: 你好请介绍一下自己, max_new_tokens: 64}8.2 配置隔离与多环境管理推理引擎的配置项模型精度、max_seq_len、GPU 开关应该与代码分离。推荐使用 YAML 配置文件# 文件路径~/lily-demo/configs/default.yaml model: path: ~/lily-demo/models/qwen3.6-35b-a3b dtype: int8 max_seq_len: 2048 generate: max_new_tokens: 256 temperature: 0.7 top_p: 0.9 server: host: 127.0.0.1 port: 8000然后编写一个加载配置的模块避免把参数散落在各个脚本中。8.3 异常处理与日志记录本地推理服务在生产环境中要特别关注异常情况OOM内存不足、超时、请求并发等。建议做到三点捕获MemoryError并返回友好提示避免进程崩溃。为每个请求记录开始时间、结束时间、token 数方便分析吞吐量。配置请求超时避免推理卡住时连接长时间挂起。一个示例日志格式2025-06-01 10:00:01 INFO request_idabc123 prompt_tokens12 generated_tokens128 elapsed3.42s8.4 安全与合规注意事项本地部署大模型时有几个边界要守住模型服务只监听127.0.0.1不要默认暴露到公网。如果需要局域网访问务必增加 API Token 鉴权。不要将内部敏感数据未经脱敏地直接输入模型。模型输出需要过滤避免生成有害内容。生产环境变更前在测试环境验证内存占用、响应时间与稳定性。Apple silicon 本地推理的引入不应成为安全简化的理由权限模型和审计日志仍需保持完整。8.5 保持依赖与模型的可复现性大模型迭代速度快Lily 引擎和 Qwen 模型都在持续更新。建议使用requirements.txt锁定依赖版本。记录模型权重的下载时间、来源和完整 SHA 哈希。定期更新引擎时先跑一个标准测试集对比输出变化。这样可以避免“昨天还能跑今天升级依赖后结果完全变了”的问题。9. 总结与下一步学习建议这篇文章围绕 Perplexity 开源的本地推理引擎 Lily拆解了它在 Apple silicon 上运行 Qwen3.6-35B-A3B 的完整链路。核心收获可以归纳为几点MoE 模型的总参数量与激活参数量是两回事理解这一点才能理解 Lily 的优化重点。Apple silicon 统一内存架构让本地加载大模型成为可能但推理引擎必须针对 Metal 和内存管理做定制适配。量化精度、内存容量和输出质量之间存在三角平衡需要根据实际硬件选择配置。本地推理服务化时配置隔离、日志、鉴权和异常处理缺一不可。如果你使用的是 32GB 内存的 MacBook Pro建议从 Int8 量化开始如果你有 64GB 内存的 Mac Studio可以直接挑战 Float16。从速度角度MoE 模型在 Apple silicon 上的表现会比同参数稠密模型好很多这就是它的实际价值。下一步你可以继续关注几个方向Lily 官方的更新日志看它对更多模型的支持情况Qwen3.6 系列的其他规格比如更小或更大尺寸的模型在本地机器的表现以及量化技术的演进AWQ、GPTQ 等方案与本地推理引擎的适配效果。本地推理是一个值得长期投入的方向它能让你在完全掌控数据的前提下灵活体验前沿模型能力。如果这篇文章对你有帮助可以收藏备用也欢迎在实践中多跑几种配置组合找到最适合自己设备的那一套参数。