尧图网站建设 
little-coder models.json 完整参考配置任意 OpenAI 兼容服务器MLX/Ollama/LM Studio【免费下载链接】little-coderA harness optimized to smaller LLMs项目地址: https://gitcode.com/gh_mirrors/li/little-coderlittle-coder 是一个为小参数本地模型打造的编程智能体而models.json就是它的模型配置入口几行 JSON就能把它接到任意OpenAI 兼容服务器——Ollama、LM Studio、llama.cpp、MLXomlx统统适用全程零代码改动。本文覆盖models.json 的字段速查、三大内置本地服务器、用户覆盖文件的位置与合并规则以及接入 MLX 等任意 OpenAI 兼容端点的完整示例。models.json 是什么little-coder 的模型供应商注册文件little-coder 的模型列表不是硬编码的而是数据驱动的启动时内置扩展 llama-cpp-provider 读取 models.json通过 pi 的registerProvider()逐个注册其中的供应商provider。它按以下顺序寻找配置第一个命中的生效安装包根目录的 models.json —— 出厂默认$LITTLE_CODER_MODELS_FILE指定的路径 —— 临时测试用$XDG_CONFIG_HOME/little-coder/models.json~/.config/little-coder/models.json——推荐的用户覆盖位置 直接在 npm 全局安装里改包内 models.json 虽然有效但升级npm install -g little-coderlatest时会被覆盖想长期保留的配置一律放用户覆盖文件。内置默认配置速览3 个本地服务器、6 个预置模型出厂 models.json 注册了三个本地供应商默认端点与密钥环境变量如下供应商默认 baseUrlAPI Key 环境变量llamacpphttp://127.0.0.1:8888/v1LLAMACPP_API_KEYollamahttp://127.0.0.1:11434/v1OLLAMA_API_KEYlmstudiohttp://127.0.0.1:1234/v1LMSTUDIO_API_KEY顶层的default键指定裸启动不带--model时的首选模型出厂值为llamacpp/qwen3.6-35b-a3b。这个默认模型在消费级笔记本上跑出了相当可观的成绩每个模型条目的字段providers下每个供应商包含 4 个字段api固定为openai-completions即 OpenAI 兼容的 chat completions 协议、baseUrl服务器/v1地址、apiKey要读取的密钥环境变量名、models模型条目数组。模型条目字段如下字段含义示例id服务器报告的模型名--model时用的就是它qwen3.6-35b-a3bnameTUI 中显示的友好名称Qwen3.6-35B-A3B (MoE, local llama.cpp)reasoning是否推理模型启用 thinking 预算机制trueinput支持的输入模态[text, image]contextWindow上下文窗口llama.cpp 会自动探测服务器实际值并覆盖32768maxTokens单次最大生成 token 数4096cost计价字段本地模型全填 0 即可{input: 0, output: 0, ...}为什么要折腾本地小模型的性能与时间经济性配置本地模型不只是省钱而是真的能干活。下面是论文复现中按编程语言统计的 Aider Polyglot 通关率——9.7B 小模型配合 little-coder 脚手架多项语言超过四成通关时间维度上本地推理的成本结构对高频短任务也很友好三步接通 Ollama / LM Studio / llama.cpp第一步起好你的推理服务器llama.cpp 用llama-server --port 8888Ollama 安装后ollama pull qwen3.5LM Studio 在 Developer 页点击 Start Server。第二步导出占位密钥。本地服务器其实忽略密钥但 pi 要求环境变量里有某个值export LLAMACPP_API_KEYnoop export OLLAMA_API_KEYnoop export LMSTUDIO_API_KEYnoop第三步启动并验证little-coder --model ollama/qwen3.5 little-coder --list-models # 确认模型已注册三个*_BASE_URL环境变量LLAMACPP_BASE_URL/OLLAMA_BASE_URL/LMSTUDIO_BASE_URL可覆盖默认端口且优先级高于两个 models.json 文件——跨机器部署时最常用。比如局域网内另一台 GPU 机器上跑 llama.cppexport LLAMACPP_BASE_URLhttp://服务器局域网IP:8888/v1 little-coder --model llamacpp/qwen3.6-35b-a3b用户覆盖文件3 个位置、首个命中生效、整供应商替换把文件放到~/.config/little-coder/models.json或上表其他位置即可覆盖出厂配置。合并规则只有一条务必记住⚠️ 覆盖文件中的每个顶层供应商键整体替换同名供应商不做逐字段深合并。覆盖文件里没有的供应商则保留出厂值。也就是说想改 llama.cpp 的端口就把整个llamacpp供应商重新声明一遍ollama不写就原样保留。改默认模型只需一行{ default: ollama/qwen3.5 }注意default只在首次启动且没有历史选择时生效——一旦你在会话里切换过模型pi 会记住该选择。接入任意 OpenAI 兼容服务器以 MLXomlx为例little-coder 不认识某个服务器 ≠ 不支持。只要它提供 OpenAI 兼容的/v1端点Apple MLX 的mlx_lm.server、vLLM、llama-swap 路由……都行在覆盖文件里声明一个新供应商即可。以下示例把 MLX 服务器挂到自定义名称omlx下{ providers: { omlx: { api: openai-completions, baseUrl: http://127.0.0.1:8000/v1, apiKey: IGNORED, models: [ { id: qwen3-32b-4bit, name: Qwen3-32B 4bit (local MLX), reasoning: true, input: [text], contextWindow: 32768, maxTokens: 4096, cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 } } ] } } }两个要点id填成服务器/v1/models实际报告的名字baseUrl指向其/v1端点。然后运行little-coder --model omlx/qwen3-32b-4bit即可。一键验证与 3 个常见坑验证little-coder --list-models应能看到你新加/改过的条目含上下文窗口/extensions可确认扩展加载状态。llama.cpp 用户无需手动填contextWindow——启动时会自动探测服务器真实n_ctx-c 131072的服务器就会显示 131072无需改 models.json离线场景可用LITTLE_CODER_NO_CTX_PROBE1关闭探测。症状原因与解法ECONNREFUSED 127.0.0.1:8888推理服务器没启动先起llama-server或换--model ollama/...启动报无 API key警告本地供应商也要占位密钥export LLAMACPP_API_KEYnoop局域网连接挂起超时服务器防火墙如 ufw在丢包放行对应端口并限定到你的局域网网段更多细节可参考 README.md 的 Troubleshooting 章节想进一步理解扩展机制与配置体系可继续读 docs/extensions.md 与 docs/architecture.md。【免费下载链接】little-coderA harness optimized to smaller LLMs项目地址: https://gitcode.com/gh_mirrors/li/little-coder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 little-coder models.json 完整参考：配置任意 OpenAI 兼容服务器（MLX/Ollama/LM Studio）
little-coder models.json 完整参考配置任意 OpenAI 兼容服务器MLX/Ollama/LM Studio【免费下载链接】little-coderA harness optimized to smaller LLMs项目地址: https://gitcode.com/gh_mirrors/li/little-coderlittle-coder 是一个为小参数本地模型打造的编程智能体而models.json就是它的模型配置入口几行 JSON就能把它接到任意OpenAI 兼容服务器——Ollama、LM Studio、llama.cpp、MLXomlx统统适用全程零代码改动。本文覆盖models.json 的字段速查、三大内置本地服务器、用户覆盖文件的位置与合并规则以及接入 MLX 等任意 OpenAI 兼容端点的完整示例。models.json 是什么little-coder 的模型供应商注册文件little-coder 的模型列表不是硬编码的而是数据驱动的启动时内置扩展 llama-cpp-provider 读取 models.json通过 pi 的registerProvider()逐个注册其中的供应商provider。它按以下顺序寻找配置第一个命中的生效安装包根目录的 models.json —— 出厂默认$LITTLE_CODER_MODELS_FILE指定的路径 —— 临时测试用$XDG_CONFIG_HOME/little-coder/models.json~/.config/little-coder/models.json——推荐的用户覆盖位置 直接在 npm 全局安装里改包内 models.json 虽然有效但升级npm install -g little-coderlatest时会被覆盖想长期保留的配置一律放用户覆盖文件。内置默认配置速览3 个本地服务器、6 个预置模型出厂 models.json 注册了三个本地供应商默认端点与密钥环境变量如下供应商默认 baseUrlAPI Key 环境变量llamacpphttp://127.0.0.1:8888/v1LLAMACPP_API_KEYollamahttp://127.0.0.1:11434/v1OLLAMA_API_KEYlmstudiohttp://127.0.0.1:1234/v1LMSTUDIO_API_KEY顶层的default键指定裸启动不带--model时的首选模型出厂值为llamacpp/qwen3.6-35b-a3b。这个默认模型在消费级笔记本上跑出了相当可观的成绩每个模型条目的字段providers下每个供应商包含 4 个字段api固定为openai-completions即 OpenAI 兼容的 chat completions 协议、baseUrl服务器/v1地址、apiKey要读取的密钥环境变量名、models模型条目数组。模型条目字段如下字段含义示例id服务器报告的模型名--model时用的就是它qwen3.6-35b-a3bnameTUI 中显示的友好名称Qwen3.6-35B-A3B (MoE, local llama.cpp)reasoning是否推理模型启用 thinking 预算机制trueinput支持的输入模态[text, image]contextWindow上下文窗口llama.cpp 会自动探测服务器实际值并覆盖32768maxTokens单次最大生成 token 数4096cost计价字段本地模型全填 0 即可{input: 0, output: 0, ...}为什么要折腾本地小模型的性能与时间经济性配置本地模型不只是省钱而是真的能干活。下面是论文复现中按编程语言统计的 Aider Polyglot 通关率——9.7B 小模型配合 little-coder 脚手架多项语言超过四成通关时间维度上本地推理的成本结构对高频短任务也很友好三步接通 Ollama / LM Studio / llama.cpp第一步起好你的推理服务器llama.cpp 用llama-server --port 8888Ollama 安装后ollama pull qwen3.5LM Studio 在 Developer 页点击 Start Server。第二步导出占位密钥。本地服务器其实忽略密钥但 pi 要求环境变量里有某个值export LLAMACPP_API_KEYnoop export OLLAMA_API_KEYnoop export LMSTUDIO_API_KEYnoop第三步启动并验证little-coder --model ollama/qwen3.5 little-coder --list-models # 确认模型已注册三个*_BASE_URL环境变量LLAMACPP_BASE_URL/OLLAMA_BASE_URL/LMSTUDIO_BASE_URL可覆盖默认端口且优先级高于两个 models.json 文件——跨机器部署时最常用。比如局域网内另一台 GPU 机器上跑 llama.cppexport LLAMACPP_BASE_URLhttp://服务器局域网IP:8888/v1 little-coder --model llamacpp/qwen3.6-35b-a3b用户覆盖文件3 个位置、首个命中生效、整供应商替换把文件放到~/.config/little-coder/models.json或上表其他位置即可覆盖出厂配置。合并规则只有一条务必记住⚠️ 覆盖文件中的每个顶层供应商键整体替换同名供应商不做逐字段深合并。覆盖文件里没有的供应商则保留出厂值。也就是说想改 llama.cpp 的端口就把整个llamacpp供应商重新声明一遍ollama不写就原样保留。改默认模型只需一行{ default: ollama/qwen3.5 }注意default只在首次启动且没有历史选择时生效——一旦你在会话里切换过模型pi 会记住该选择。接入任意 OpenAI 兼容服务器以 MLXomlx为例little-coder 不认识某个服务器 ≠ 不支持。只要它提供 OpenAI 兼容的/v1端点Apple MLX 的mlx_lm.server、vLLM、llama-swap 路由……都行在覆盖文件里声明一个新供应商即可。以下示例把 MLX 服务器挂到自定义名称omlx下{ providers: { omlx: { api: openai-completions, baseUrl: http://127.0.0.1:8000/v1, apiKey: IGNORED, models: [ { id: qwen3-32b-4bit, name: Qwen3-32B 4bit (local MLX), reasoning: true, input: [text], contextWindow: 32768, maxTokens: 4096, cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 } } ] } } }两个要点id填成服务器/v1/models实际报告的名字baseUrl指向其/v1端点。然后运行little-coder --model omlx/qwen3-32b-4bit即可。一键验证与 3 个常见坑验证little-coder --list-models应能看到你新加/改过的条目含上下文窗口/extensions可确认扩展加载状态。llama.cpp 用户无需手动填contextWindow——启动时会自动探测服务器真实n_ctx-c 131072的服务器就会显示 131072无需改 models.json离线场景可用LITTLE_CODER_NO_CTX_PROBE1关闭探测。症状原因与解法ECONNREFUSED 127.0.0.1:8888推理服务器没启动先起llama-server或换--model ollama/...启动报无 API key警告本地供应商也要占位密钥export LLAMACPP_API_KEYnoop局域网连接挂起超时服务器防火墙如 ufw在丢包放行对应端口并限定到你的局域网网段更多细节可参考 README.md 的 Troubleshooting 章节想进一步理解扩展机制与配置体系可继续读 docs/extensions.md 与 docs/architecture.md。【免费下载链接】little-coderA harness optimized to smaller LLMs项目地址: https://gitcode.com/gh_mirrors/li/little-coder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考