尧图网站建设 
Ollama 用户必看LLM Checker 深度集成本地大模型生态的完整攻略【免费下载链接】llm-checkerAdvanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.项目地址: https://gitcode.com/gh_mirrors/ll/llm-checkerLLM Checkerllm-checker是一款开源的命令行硬件检测工具它扫描你的 CPU、GPU 和内存从内置的 Ollama 模型目录与 3.3 万 多源模型注册表中精确告诉你本机到底能跑哪些 LLM / sLLM 本地大模型并给出具体的ollama pull安装命令。对 Ollama 用户来说它解决的是最头疼的问题——我这台机器到底该装哪个模型。为什么 Ollama 用户需要 LLM Checker装了 Ollama 之后很多人面临的困境是模型库里有成百上千个模型和量化版本不知从何下手拉了个大模型结果内存不够、直接 OOM 崩溃不知道num_ctx、并行数这些参数该设多少才安全LLM Checker 的定位就是Ollama 之上的实操运营层硬件感知 → 四维评分 → 给出可执行建议。详见 docs/guides/ollama-critical-needs-roadmap.md。快速安装3 分钟上手要求Node.js 18并安装好 Ollama 本体LLM Checker 负责选模型Ollama 负责跑模型。# 全局安装推荐 npm install -g llm-checker # 或者不安装直接试一下硬件检测 npx llm-checker hw-detect 如果包管理器跳过了可选依赖导致 SQLite 相关命令报错用npm install -g llm-checker --includeoptional重装即可。第一步hw-detect 扫描硬件能力llm-checker hw-detect它会输出硬件层级Tier、可承载的最大模型体积、最佳推理后端metal / CUDA / ROCm / CPU等信息例如Summary: Apple M4 Pro (24GB Unified Memory) Tier: MEDIUM HIGH Max model size: 15GB Best backend: metal支持 Apple Silicon、NVIDIA CUDA、AMD ROCm、Intel Arc 以及混合核显笔记本硬件检测逻辑在 src/hardware/detector.js 与 src/hardware/backends/ 目录下。核心工作流从检测到运行只需 5 条命令llm-checker hw-detect # 1. 检测硬件 llm-checker recommend --category coding # 2. 按类别获取推荐 llm-checker sync # 3. 刷新 Ollama 模型目录 llm-checker ai-run --category coding \ --prompt Write a hello world in Python # 4. 自动选模型并运行recommend命令会按 coding / reasoning / multimodal 等类别输出评分 Top 模型和拉取命令Coding: qwen2.5-coder:14b (14B) Score: 78/100 Command: ollama pull qwen2.5-coder:14b四维评分系统推荐结果的依据每个模型都从四个维度打分权重随使用场景变化权重配置集中在 src/models/scoring-config.js维度含义Q 质量模型家族口碑 参数量 量化惩罚S 速度基于硬件后端估算的 tokens/secF 适配内存占用效率能否装进你的内存C 上下文上下文窗口能力check、recommend、smart-recommend三个命令共用同一个确定性评分核心 src/models/scoring-core.js同样的输入在任何命令下都会得到一致排名。深度集成 Ollama 生态的 4 个实战技巧技巧 1用 sync 保持模型目录最新llm-checker sync工具自带一份预同步的 SQLite 模型目录229 个 Ollama 模型、7176 个变体首次运行即拷到~/.llm-checker/models.db离线也能推荐sync可随时刷新为 Ollama 官方最新数据。技巧 2给已装模型排名体检llm-checker installed把你已经下载的 Ollama 模型按硬件兼容性重新排名帮你发现装错了模型的情况。技巧 3ollama-plan 生成安全运行参数Ollama 用户最容易踩的坑就是内存崩溃。这条命令会计算安全的NUM_CTX、NUM_PARALLEL、MAX_LOADED_MODELS环境值llm-checker ollama-plan规划逻辑实现在 src/ollama/capacity-planner.js。技巧 4ai-run 实时 tokens/sec 指标ai-run自动挑选已安装的最佳模型通过 Ollama 流式输出并在回答末尾附上实测速度 hi Hello! How can I help you today? [42.8 tokens/sec]配合--verify还能在运行前对模型文件做结构安全校验ModelVet避免加载可疑文件。Ollama 客户端与增强抓取逻辑分别在 src/ollama/client.js 和 src/ollama/enhanced-scraper.js。进阶让 AI 助手直接管理你的本地模型LLM Checker 内置MCP 服务器一条命令接入 Claude Code、Cursor、Codex 等 MCP 兼容客户端llm-checker mcp-setup --client claude接入后你只需对助手说给我的硬件推荐最佳编码模型清理一下我的 Ollama 冗余模型助手会自动调用hw_detect、recommend、ollama_list等工具给出结果。多模型校准路由按实测数据自动选路如果你有多个候选模型可以用calibrate基于自己的提示词套件生成路由策略之后recommend/ai-run自动按策略分流cp ./docs/fixtures/calibration/sample-suite.jsonl ./sample-suite.jsonl llm-checker calibrate \ --suite ./sample-suite.jsonl \ --models qwen2.5-coder:7b llama3.2:3b \ --runtime ollama --objective balanced --dry-run \ --output ./artifacts/calibration-result.json \ --policy-out ./artifacts/calibration-policy.yaml llm-checker ai-run --calibrated ./artifacts/calibration-policy.yaml \ --category coding --prompt Refactor this function示例策略文件见 docs/fixtures/calibration/sample-generated-policy.yaml校准管理器源码在 src/calibration/calibration-manager.js。常见问题速查问题解法提示找不到模型确认 Ollama 在运行ollama list先ollama pull几个模型只想看推荐不聊天ai-run --reference-only --category reasoning强制纯 CPU 运行加--cpu-only或export LLM_CHECKER_CPU_ONLY1指向远程 Ollama 服务器export OLLAMA_BASE_URLhttp://remote:11434想看更多命令参数llm-checker ai-check --help延伸阅读使用指南docs/guides/usage-guide.md进阶用法CI/CD 集成、环境变量docs/guides/advanced-usage.md技术参考docs/reference/technical-docs.md智能选型源码src/ai/intelligent-selector.js评分引擎源码src/models/scoring-engine.js如果习惯从源码跑可以克隆仓库https://gitcode.com/gh_mirrors/ll/llm-checker后用node bin/enhanced_cli.js hw-detect直接体验。【免费下载链接】llm-checkerAdvanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.项目地址: https://gitcode.com/gh_mirrors/ll/llm-checker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Ollama 用户必看：LLM Checker 深度集成本地大模型生态的完整攻略
Ollama 用户必看LLM Checker 深度集成本地大模型生态的完整攻略【免费下载链接】llm-checkerAdvanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.项目地址: https://gitcode.com/gh_mirrors/ll/llm-checkerLLM Checkerllm-checker是一款开源的命令行硬件检测工具它扫描你的 CPU、GPU 和内存从内置的 Ollama 模型目录与 3.3 万 多源模型注册表中精确告诉你本机到底能跑哪些 LLM / sLLM 本地大模型并给出具体的ollama pull安装命令。对 Ollama 用户来说它解决的是最头疼的问题——我这台机器到底该装哪个模型。为什么 Ollama 用户需要 LLM Checker装了 Ollama 之后很多人面临的困境是模型库里有成百上千个模型和量化版本不知从何下手拉了个大模型结果内存不够、直接 OOM 崩溃不知道num_ctx、并行数这些参数该设多少才安全LLM Checker 的定位就是Ollama 之上的实操运营层硬件感知 → 四维评分 → 给出可执行建议。详见 docs/guides/ollama-critical-needs-roadmap.md。快速安装3 分钟上手要求Node.js 18并安装好 Ollama 本体LLM Checker 负责选模型Ollama 负责跑模型。# 全局安装推荐 npm install -g llm-checker # 或者不安装直接试一下硬件检测 npx llm-checker hw-detect 如果包管理器跳过了可选依赖导致 SQLite 相关命令报错用npm install -g llm-checker --includeoptional重装即可。第一步hw-detect 扫描硬件能力llm-checker hw-detect它会输出硬件层级Tier、可承载的最大模型体积、最佳推理后端metal / CUDA / ROCm / CPU等信息例如Summary: Apple M4 Pro (24GB Unified Memory) Tier: MEDIUM HIGH Max model size: 15GB Best backend: metal支持 Apple Silicon、NVIDIA CUDA、AMD ROCm、Intel Arc 以及混合核显笔记本硬件检测逻辑在 src/hardware/detector.js 与 src/hardware/backends/ 目录下。核心工作流从检测到运行只需 5 条命令llm-checker hw-detect # 1. 检测硬件 llm-checker recommend --category coding # 2. 按类别获取推荐 llm-checker sync # 3. 刷新 Ollama 模型目录 llm-checker ai-run --category coding \ --prompt Write a hello world in Python # 4. 自动选模型并运行recommend命令会按 coding / reasoning / multimodal 等类别输出评分 Top 模型和拉取命令Coding: qwen2.5-coder:14b (14B) Score: 78/100 Command: ollama pull qwen2.5-coder:14b四维评分系统推荐结果的依据每个模型都从四个维度打分权重随使用场景变化权重配置集中在 src/models/scoring-config.js维度含义Q 质量模型家族口碑 参数量 量化惩罚S 速度基于硬件后端估算的 tokens/secF 适配内存占用效率能否装进你的内存C 上下文上下文窗口能力check、recommend、smart-recommend三个命令共用同一个确定性评分核心 src/models/scoring-core.js同样的输入在任何命令下都会得到一致排名。深度集成 Ollama 生态的 4 个实战技巧技巧 1用 sync 保持模型目录最新llm-checker sync工具自带一份预同步的 SQLite 模型目录229 个 Ollama 模型、7176 个变体首次运行即拷到~/.llm-checker/models.db离线也能推荐sync可随时刷新为 Ollama 官方最新数据。技巧 2给已装模型排名体检llm-checker installed把你已经下载的 Ollama 模型按硬件兼容性重新排名帮你发现装错了模型的情况。技巧 3ollama-plan 生成安全运行参数Ollama 用户最容易踩的坑就是内存崩溃。这条命令会计算安全的NUM_CTX、NUM_PARALLEL、MAX_LOADED_MODELS环境值llm-checker ollama-plan规划逻辑实现在 src/ollama/capacity-planner.js。技巧 4ai-run 实时 tokens/sec 指标ai-run自动挑选已安装的最佳模型通过 Ollama 流式输出并在回答末尾附上实测速度 hi Hello! How can I help you today? [42.8 tokens/sec]配合--verify还能在运行前对模型文件做结构安全校验ModelVet避免加载可疑文件。Ollama 客户端与增强抓取逻辑分别在 src/ollama/client.js 和 src/ollama/enhanced-scraper.js。进阶让 AI 助手直接管理你的本地模型LLM Checker 内置MCP 服务器一条命令接入 Claude Code、Cursor、Codex 等 MCP 兼容客户端llm-checker mcp-setup --client claude接入后你只需对助手说给我的硬件推荐最佳编码模型清理一下我的 Ollama 冗余模型助手会自动调用hw_detect、recommend、ollama_list等工具给出结果。多模型校准路由按实测数据自动选路如果你有多个候选模型可以用calibrate基于自己的提示词套件生成路由策略之后recommend/ai-run自动按策略分流cp ./docs/fixtures/calibration/sample-suite.jsonl ./sample-suite.jsonl llm-checker calibrate \ --suite ./sample-suite.jsonl \ --models qwen2.5-coder:7b llama3.2:3b \ --runtime ollama --objective balanced --dry-run \ --output ./artifacts/calibration-result.json \ --policy-out ./artifacts/calibration-policy.yaml llm-checker ai-run --calibrated ./artifacts/calibration-policy.yaml \ --category coding --prompt Refactor this function示例策略文件见 docs/fixtures/calibration/sample-generated-policy.yaml校准管理器源码在 src/calibration/calibration-manager.js。常见问题速查问题解法提示找不到模型确认 Ollama 在运行ollama list先ollama pull几个模型只想看推荐不聊天ai-run --reference-only --category reasoning强制纯 CPU 运行加--cpu-only或export LLM_CHECKER_CPU_ONLY1指向远程 Ollama 服务器export OLLAMA_BASE_URLhttp://remote:11434想看更多命令参数llm-checker ai-check --help延伸阅读使用指南docs/guides/usage-guide.md进阶用法CI/CD 集成、环境变量docs/guides/advanced-usage.md技术参考docs/reference/technical-docs.md智能选型源码src/ai/intelligent-selector.js评分引擎源码src/models/scoring-engine.js如果习惯从源码跑可以克隆仓库https://gitcode.com/gh_mirrors/ll/llm-checker后用node bin/enhanced_cli.js hw-detect直接体验。【免费下载链接】llm-checkerAdvanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.项目地址: https://gitcode.com/gh_mirrors/ll/llm-checker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考