尧图网站建设 
如何快速搭建本地 AI 服务LocalAI 本地部署完整指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的本地 AI 引擎让你在自己的电脑上运行 LLM 对话、图像生成、语音转写与合成、视觉理解等模型不需要 GPU。它对外提供 OpenAI 兼容的 REST API 和内置 Web 控制台数据不出自己的机器也不用按 token 付云端 API 的钱。新手一条 Docker 命令就能跑起来开发者还可以从源码构建。这篇文章按装好 → 验证 → 用起来的顺序带你走完整流程。能力速览它能帮你干什么文字对话装上 LLM 后在浏览器里直接聊天或在终端跑local-ai chat开一个命令行对话。图像生成接入 Stable Diffusion、Flux 等模型输入提示词出图适合做海报草图、素材图。语音处理文字转语音TTS、录音转文字ASR都有现成后端会议录音、字幕场景直接用。视觉理解把图片发给模型让它描述、识别内容接口和 OpenAI 的 Vision 用法一致。AI 代理内置 Agent 支持工具调用、RAG、MCP不用额外装框架就能让模型动手干活。架构上它是个小核心每个模型后端llama.cpp、vLLM、whisper.cpp、stable-diffusion 等都是独立的 OCI 镜像用到哪个才拉哪个不用就完全占不了地方。动手前自检硬件、软件、网络项目要求说明操作系统Linux / macOS / WindowsWindows 建议走 Docker Desktop内存视模型而定qwen3-4b这类小量化模型官方标注为 CPU 友好上大模型再考虑加内存磁盘视模型大小模型和后端镜像按需下载别在很小的分区里跑GPU不强制CPU 可跑有卡的话可选 NVIDIACUDA 12/13、AMDROCm、Intel、Vulkan 镜像容器引擎Docker 或 Podman推荐路径依赖它网络安装阶段需要拉镜像、下模型时要联网推理过程在本地完成部署实战新手主推 两条备选路线 ADocker 容器新手推荐docker run -ti --name local-ai -p 8080:8080 localai/localai:latest一条命令服务起在 8080 端口。之后想再启动直接docker start -i local-ai。适合第一次接触、只想先跑起来看看的人。有 GPU 的换成对应镜像即可以 NVIDIA 为例docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12AMD、Intel、Vulkan 的镜像对照表见 容器安装文档。路线 B下载预构建二进制求快到项目 Releases 页面按你的架构uname -m看一下x86_64 / arm64下载对应二进制然后chmod x local-ai-* ./local-ai-* run qwen3-4b启动时带上模型名它会顺手把模型下载好再提供服务。适合不想装 Docker、就在一台 Linux 机器上用的人。路线 C源码构建开发者向git clone https://gitcode.com/GitHub_Trending/lo/LocalAI cd LocalAI make build适合要改核心代码、提交 PR 或者想搞懂内部实现的人。验证与首次体验服务起来后先确认它是活的curl http://localhost:8080/readyz有正常响应就说明部署成功。接着做两件事浏览器打开http://localhost:8080进 Models → Explore 搜qwen3-4b点 Install 等下载完成然后在 Chat 页选它发一句话——几秒内该有回复。发一条 API 请求确认 OpenAI 兼容接口可用curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model: qwen3-4b, messages: [{role: user, content: Hello!}]}功能深挖按能力域看真实用法文本对话最基础的用法。除 WebUI 外终端里开一个 Agent 也能聊天、读文件、执行命令改动类操作会先问你确认会话内/models列模型、/model name切换。详见 终端 Agent 文档。图像生成接入 stable-diffusion、flux、diffusers 等后端通过统一的/v1/images/generations风格接口出图。典型场景本地批量生成产品素材不用把提示词和图发到云端。能力说明见 图像生成文档。语音TTS 和 ASR 各自是独立后端whisper.cpp、piper、parakeet.cpp 等按需拉起。典型场景把会议录音丢进去转成带时间戳的文字或把文章读出来。详见 语音转文字 与 文字转语音。内置 Agent 与 MCP不用另装框架在 WebUI 的 Agents 页就能创建会调工具、会查资料的 Agent支持 MCP 工具协议和 SSE 流式输出。走一遍 搭建你的第一个 Agent 大概十来分钟。集成与扩展接入已有系统OpenAI 兼容 API把现有代码的 base_url 指到http://localhost:8080OpenAI SDK 基本零改动。除 OpenAI 格式外还支持 Anthropic Messages API 和 Open Responses API。模型来源灵活local-ai run后面可以直接跟 HuggingFace 地址huggingface://...、Ollama 注册表ollama://gemma:2b、OCI 镜像oci://...或一份 YAML 配置不用手动搬模型文件。水平扩展分布式模式下多节点 worker 自动注册到协调节点也有 P2P 联邦模式把多台 LocalAI 串起来做负载均衡。入口在 WebUI 的 Nodes 页原理见 分布式推理文档。多用户与鉴权LOCALAI_API_KEY一把钥匙管全场或LOCALAI_AUTHtrue开多用户、角色、每人 API key 和用量统计。排坑指南现象 → 原因 → 动作端口连不上Connection refused可能原因服务没起来或 8080 被别的程序占了。 动作docker ps | grep local-ai或ps aux | grep local-ai确认进程在ss -tlnp | grep 8080查端口占用冲突就用--address或环境变量LOCALAI_ADDRESS换个端口。API 返回 404 model not found可能原因模型没装、或请求里的名字和实际不一致。 动作curl http://localhost:8080/v1/models列出当前模型核对名字缺了就local-ai models install name或回 WebUI 装。加载模型报后端错误可能原因后端没装或后端和模型格式不匹配GGUF 要用 llama-cpp 类后端。 动作local-ai backends list看已装后端缺什么local-ai backends install name后端与格式对照见 兼容性表。内存不够、进程被 OOM 杀掉可能原因模型太大、量化太粗、上下文太长。 动作换 Q4_K_M 这类更小量化调低模型配置里的context_sizelocal-ai run --max-active-backends1只留一个模型常驻配 watchdog 让闲置模型自动卸载--enable-watchdog-idle --watchdog-idle-timeout15m。GPU 没生效还在用 CPU 跑可能原因用了 CPU 镜像或容器没拿到 GPU 设备。 动作确认镜像 tag 带cuda12/cuda13/hipblas/gpu-intel之一NVIDIA 先跑docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi验证直通日志里出现found X CUDA devices才算接上。更多排查项Intel 的mmap: false等在 故障排查文档 里。资源索引快速上手docs/content/getting-started/quickstart.md安装总入口容器 / macOS / Linux / K8s / 源码docs/content/getting-started/install.md模型配置模板库gallery/应用示例examples/完整文档站源码docs/content/后端源码想加自己的后端时参考backend/下一步按路线 A 跑容器 → readyz 验证 → 装qwen3-4b聊第一句话这条线走完大约十来分钟。跑通之后把现有项目里 OpenAI SDK 的 base_url 指过来就是收益最大的一步。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何快速搭建本地 AI 服务：LocalAI 本地部署完整指南
如何快速搭建本地 AI 服务LocalAI 本地部署完整指南【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAILocalAI 是一个开源的本地 AI 引擎让你在自己的电脑上运行 LLM 对话、图像生成、语音转写与合成、视觉理解等模型不需要 GPU。它对外提供 OpenAI 兼容的 REST API 和内置 Web 控制台数据不出自己的机器也不用按 token 付云端 API 的钱。新手一条 Docker 命令就能跑起来开发者还可以从源码构建。这篇文章按装好 → 验证 → 用起来的顺序带你走完整流程。能力速览它能帮你干什么文字对话装上 LLM 后在浏览器里直接聊天或在终端跑local-ai chat开一个命令行对话。图像生成接入 Stable Diffusion、Flux 等模型输入提示词出图适合做海报草图、素材图。语音处理文字转语音TTS、录音转文字ASR都有现成后端会议录音、字幕场景直接用。视觉理解把图片发给模型让它描述、识别内容接口和 OpenAI 的 Vision 用法一致。AI 代理内置 Agent 支持工具调用、RAG、MCP不用额外装框架就能让模型动手干活。架构上它是个小核心每个模型后端llama.cpp、vLLM、whisper.cpp、stable-diffusion 等都是独立的 OCI 镜像用到哪个才拉哪个不用就完全占不了地方。动手前自检硬件、软件、网络项目要求说明操作系统Linux / macOS / WindowsWindows 建议走 Docker Desktop内存视模型而定qwen3-4b这类小量化模型官方标注为 CPU 友好上大模型再考虑加内存磁盘视模型大小模型和后端镜像按需下载别在很小的分区里跑GPU不强制CPU 可跑有卡的话可选 NVIDIACUDA 12/13、AMDROCm、Intel、Vulkan 镜像容器引擎Docker 或 Podman推荐路径依赖它网络安装阶段需要拉镜像、下模型时要联网推理过程在本地完成部署实战新手主推 两条备选路线 ADocker 容器新手推荐docker run -ti --name local-ai -p 8080:8080 localai/localai:latest一条命令服务起在 8080 端口。之后想再启动直接docker start -i local-ai。适合第一次接触、只想先跑起来看看的人。有 GPU 的换成对应镜像即可以 NVIDIA 为例docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12AMD、Intel、Vulkan 的镜像对照表见 容器安装文档。路线 B下载预构建二进制求快到项目 Releases 页面按你的架构uname -m看一下x86_64 / arm64下载对应二进制然后chmod x local-ai-* ./local-ai-* run qwen3-4b启动时带上模型名它会顺手把模型下载好再提供服务。适合不想装 Docker、就在一台 Linux 机器上用的人。路线 C源码构建开发者向git clone https://gitcode.com/GitHub_Trending/lo/LocalAI cd LocalAI make build适合要改核心代码、提交 PR 或者想搞懂内部实现的人。验证与首次体验服务起来后先确认它是活的curl http://localhost:8080/readyz有正常响应就说明部署成功。接着做两件事浏览器打开http://localhost:8080进 Models → Explore 搜qwen3-4b点 Install 等下载完成然后在 Chat 页选它发一句话——几秒内该有回复。发一条 API 请求确认 OpenAI 兼容接口可用curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model: qwen3-4b, messages: [{role: user, content: Hello!}]}功能深挖按能力域看真实用法文本对话最基础的用法。除 WebUI 外终端里开一个 Agent 也能聊天、读文件、执行命令改动类操作会先问你确认会话内/models列模型、/model name切换。详见 终端 Agent 文档。图像生成接入 stable-diffusion、flux、diffusers 等后端通过统一的/v1/images/generations风格接口出图。典型场景本地批量生成产品素材不用把提示词和图发到云端。能力说明见 图像生成文档。语音TTS 和 ASR 各自是独立后端whisper.cpp、piper、parakeet.cpp 等按需拉起。典型场景把会议录音丢进去转成带时间戳的文字或把文章读出来。详见 语音转文字 与 文字转语音。内置 Agent 与 MCP不用另装框架在 WebUI 的 Agents 页就能创建会调工具、会查资料的 Agent支持 MCP 工具协议和 SSE 流式输出。走一遍 搭建你的第一个 Agent 大概十来分钟。集成与扩展接入已有系统OpenAI 兼容 API把现有代码的 base_url 指到http://localhost:8080OpenAI SDK 基本零改动。除 OpenAI 格式外还支持 Anthropic Messages API 和 Open Responses API。模型来源灵活local-ai run后面可以直接跟 HuggingFace 地址huggingface://...、Ollama 注册表ollama://gemma:2b、OCI 镜像oci://...或一份 YAML 配置不用手动搬模型文件。水平扩展分布式模式下多节点 worker 自动注册到协调节点也有 P2P 联邦模式把多台 LocalAI 串起来做负载均衡。入口在 WebUI 的 Nodes 页原理见 分布式推理文档。多用户与鉴权LOCALAI_API_KEY一把钥匙管全场或LOCALAI_AUTHtrue开多用户、角色、每人 API key 和用量统计。排坑指南现象 → 原因 → 动作端口连不上Connection refused可能原因服务没起来或 8080 被别的程序占了。 动作docker ps | grep local-ai或ps aux | grep local-ai确认进程在ss -tlnp | grep 8080查端口占用冲突就用--address或环境变量LOCALAI_ADDRESS换个端口。API 返回 404 model not found可能原因模型没装、或请求里的名字和实际不一致。 动作curl http://localhost:8080/v1/models列出当前模型核对名字缺了就local-ai models install name或回 WebUI 装。加载模型报后端错误可能原因后端没装或后端和模型格式不匹配GGUF 要用 llama-cpp 类后端。 动作local-ai backends list看已装后端缺什么local-ai backends install name后端与格式对照见 兼容性表。内存不够、进程被 OOM 杀掉可能原因模型太大、量化太粗、上下文太长。 动作换 Q4_K_M 这类更小量化调低模型配置里的context_sizelocal-ai run --max-active-backends1只留一个模型常驻配 watchdog 让闲置模型自动卸载--enable-watchdog-idle --watchdog-idle-timeout15m。GPU 没生效还在用 CPU 跑可能原因用了 CPU 镜像或容器没拿到 GPU 设备。 动作确认镜像 tag 带cuda12/cuda13/hipblas/gpu-intel之一NVIDIA 先跑docker run --rm --gpus all nvidia/cuda:12.8.0-base-ubuntu24.04 nvidia-smi验证直通日志里出现found X CUDA devices才算接上。更多排查项Intel 的mmap: false等在 故障排查文档 里。资源索引快速上手docs/content/getting-started/quickstart.md安装总入口容器 / macOS / Linux / K8s / 源码docs/content/getting-started/install.md模型配置模板库gallery/应用示例examples/完整文档站源码docs/content/后端源码想加自己的后端时参考backend/下一步按路线 A 跑容器 → readyz 验证 → 装qwen3-4b聊第一句话这条线走完大约十来分钟。跑通之后把现有项目里 OpenAI SDK 的 base_url 指过来就是收益最大的一步。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考