尧图网站建设 
LocalAI 快速上手指南免费在本地跑 LLM、图像生成与语音识别无需 GPU【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI想给自己的产品接上大模型却又不想把用户数据交给第三方 API还要按月为 token 付费LocalAI 就是为这个场景准备的开源本地 AI 引擎它能在你自己的硬件上运行 LLM、图像生成、语音识别、视频模型等模型对外暴露一套和 OpenAI 兼容的 REST API——把原来的base_url改成你的服务器地址现有代码基本不用动。LocalAI 是什么一句话定位一个免费开源的 OpenAI 替代品核心是一个 Go 写的 API 服务把 llama.cpp、vLLM、whisper.cpp、stable-diffusion 等几十个推理引擎封装成后端按需拉取。CPU 就能跑没有 GPU 也不影响你先用起来。它的思路是小而可组合核心只负责 API、路由和 Web 界面每种推理引擎是独立的镜像用到哪个才装哪个不用背一堆你用不上的东西。最快跑通两条命令完成安装和验证先跑起来再谈别的。装好 Docker 后执行docker run -ti --name local-ai -p 8080:8080 localai/localai:latest然后打开浏览器访问http://localhost:8080看到 Web 界面就说明核心服务起来了。想装第一个模型直接在界面的Models → Explore里搜qwen3-4b一个 40 亿参数、CPU 友好且支持工具调用的模型点 Install 等下载完成即可。想验证 API 可用发一次和 OpenAI 格式一样的请求curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model: qwen3-4b, messages: [{role: user, content: 你好}]}收到回复整条链路就跑通了。整个过程大概十几分钟瓶颈通常就是模型下载。你能拿它做什么以下场景全部走同一个 API切模型和切功能的方式一致。对话与代码辅助Web 界面自带 Chat 页面选模型就能聊也支持多会话和历史记录。因为兼容 OpenAI 格式你可以把任何基于 OpenAI SDK 的脚本、RAG 应用、代码补全工具指到 LocalAI 上零改动迁移。图像生成Stable Diffusion 系模型可以直接在 CPU 上生成图片。Web 界面的生成页面或者对/v1/images/generations发一个带 prompt 的请求即可。支持负提示词用|分隔正负提示词gallery 里有flux.1-dev-ggml这类现成可装的选择。语音识别与合成音频转文字走 whisper 系或 parakeet.cpp 后端文字转语音有多套 TTS 引擎可选还支持声音复刻。另外有 Realtime API 做音频到音频的实时对话以及说话人分离、声纹识别这类进阶能力。嵌入向量与检索增强/v1/embeddings端点给你生成向量项目内自带 local-store 向量数据库配合 reranker 端点做重排序一套完整的本地 RAG 不需要引入任何云服务。自带 AI Agent不用额外搭框架Web 界面的 Agents 页面里就能创建带工具调用、RAG、MCPModel Context Protocol一种让模型调用外部工具的开放协议的自主 agent支持在界面上配置工具并直接对话测试。深入定制跑通之后几个最常用的控制点指定硬件启动有 NVIDIA 卡就用localai/localai:latest-gpu-nvidia-cuda-12镜像并加--gpus allAMD、Intel、Vulkan、Apple Silicon 各有对应镜像见 容器镜像文档。CLI 装模型local-ai run qwen3-4b或local-ai run ollama://gemma:2b也可以直接指 Hugging Face 的 GGUF 文件或一份 YAML 配置。模型默认存到当前目录的./modelsDocker 里是容器内/models。管理后端local-ai backends list/install/uninstall或者在 Web 界面操作。装模型时对应后端会自动拉取不用手动操心。自定义模型配置参考 gallery 目录 里的 YAML 写法每个文件定义一个模型的名称、后端和参数改完放进 models 目录就能加载。更多模型参数细节看 模型配置文档。多用户与权限简单场景设环境变量LOCALAI_API_KEY你的密钥即可锁住接口要分用户、分角色、配额和用量统计开LOCALAI_AUTHtrue见 认证文档。源码导览想看代码或想改仓库结构相当清晰git clone https://gitcode.com/GitHub_Trending/lo/LocalAIcore/核心服务。core/application/是启动与生命周期逻辑core/http/endpoints/是所有 API 端点实现core/services/是 agent 池、路由、模型管理等业务服务core/backend/定义各任务类型LLM、TTS、嵌入等如何分发到后端。backend/后端实现按语言分cpp/、go/、python/、rust/子目录每个引擎一个独立目录和构建脚本backend/index.yaml是后端的总注册表。pkg/基础库下载器、模型加载器pkg/model/、gRPC 协议pkg/grpc/、VRAM 预算等。docs/content/按主题组织的文档features/ 下几乎每个能力一篇reference/ 下有架构和兼容表。核心与后端之间的接口就是 backend/backend.proto 定义的 gRPC 协议——想写自己的后端用任何语言实现这个接口接进来就行。开发环境要求和贡献流程见 CONTRIBUTING.md。避坑与实用技巧报 404 model not found九成是模型没装或名字不对。先curl http://localhost:8080/v1/models看已加载列表缺哪个用local-ai models install 名称补上。内存紧张优先选小参数 低量化q4_k_m 这类的模型CPU 机器上 1B~4B 参数的模型体验最稳。GPU 没生效确认镜像和硬件匹配、NVIDIA 加了--gpus all用docker logs local-ai看启动日志能快速定位。对外暴露前一定加鉴权LOCALAI_API_KEY或LOCALAI_AUTHtrue裸奔的 8080 端口等于白送算力。排查问题curl http://localhost:8080/readyz看服务状态DEBUGtrue local-ai run开详细日志完整诊断清单在 排障文档。别一次装所有后端它是按需拉取的设计用到才下磁盘和启动都会清爽很多。花十分钟跑通qwen3-4b把现有代码的 API 地址切过来你就有了自己的本地 AI 底座。有问题或想参与开发去 docs/content/ 查细节或者直接按 CONTRIBUTING.md 提 PR。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LocalAI 快速上手指南：免费在本地跑 LLM、图像生成与语音识别，无需 GPU
LocalAI 快速上手指南免费在本地跑 LLM、图像生成与语音识别无需 GPU【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI想给自己的产品接上大模型却又不想把用户数据交给第三方 API还要按月为 token 付费LocalAI 就是为这个场景准备的开源本地 AI 引擎它能在你自己的硬件上运行 LLM、图像生成、语音识别、视频模型等模型对外暴露一套和 OpenAI 兼容的 REST API——把原来的base_url改成你的服务器地址现有代码基本不用动。LocalAI 是什么一句话定位一个免费开源的 OpenAI 替代品核心是一个 Go 写的 API 服务把 llama.cpp、vLLM、whisper.cpp、stable-diffusion 等几十个推理引擎封装成后端按需拉取。CPU 就能跑没有 GPU 也不影响你先用起来。它的思路是小而可组合核心只负责 API、路由和 Web 界面每种推理引擎是独立的镜像用到哪个才装哪个不用背一堆你用不上的东西。最快跑通两条命令完成安装和验证先跑起来再谈别的。装好 Docker 后执行docker run -ti --name local-ai -p 8080:8080 localai/localai:latest然后打开浏览器访问http://localhost:8080看到 Web 界面就说明核心服务起来了。想装第一个模型直接在界面的Models → Explore里搜qwen3-4b一个 40 亿参数、CPU 友好且支持工具调用的模型点 Install 等下载完成即可。想验证 API 可用发一次和 OpenAI 格式一样的请求curl http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model: qwen3-4b, messages: [{role: user, content: 你好}]}收到回复整条链路就跑通了。整个过程大概十几分钟瓶颈通常就是模型下载。你能拿它做什么以下场景全部走同一个 API切模型和切功能的方式一致。对话与代码辅助Web 界面自带 Chat 页面选模型就能聊也支持多会话和历史记录。因为兼容 OpenAI 格式你可以把任何基于 OpenAI SDK 的脚本、RAG 应用、代码补全工具指到 LocalAI 上零改动迁移。图像生成Stable Diffusion 系模型可以直接在 CPU 上生成图片。Web 界面的生成页面或者对/v1/images/generations发一个带 prompt 的请求即可。支持负提示词用|分隔正负提示词gallery 里有flux.1-dev-ggml这类现成可装的选择。语音识别与合成音频转文字走 whisper 系或 parakeet.cpp 后端文字转语音有多套 TTS 引擎可选还支持声音复刻。另外有 Realtime API 做音频到音频的实时对话以及说话人分离、声纹识别这类进阶能力。嵌入向量与检索增强/v1/embeddings端点给你生成向量项目内自带 local-store 向量数据库配合 reranker 端点做重排序一套完整的本地 RAG 不需要引入任何云服务。自带 AI Agent不用额外搭框架Web 界面的 Agents 页面里就能创建带工具调用、RAG、MCPModel Context Protocol一种让模型调用外部工具的开放协议的自主 agent支持在界面上配置工具并直接对话测试。深入定制跑通之后几个最常用的控制点指定硬件启动有 NVIDIA 卡就用localai/localai:latest-gpu-nvidia-cuda-12镜像并加--gpus allAMD、Intel、Vulkan、Apple Silicon 各有对应镜像见 容器镜像文档。CLI 装模型local-ai run qwen3-4b或local-ai run ollama://gemma:2b也可以直接指 Hugging Face 的 GGUF 文件或一份 YAML 配置。模型默认存到当前目录的./modelsDocker 里是容器内/models。管理后端local-ai backends list/install/uninstall或者在 Web 界面操作。装模型时对应后端会自动拉取不用手动操心。自定义模型配置参考 gallery 目录 里的 YAML 写法每个文件定义一个模型的名称、后端和参数改完放进 models 目录就能加载。更多模型参数细节看 模型配置文档。多用户与权限简单场景设环境变量LOCALAI_API_KEY你的密钥即可锁住接口要分用户、分角色、配额和用量统计开LOCALAI_AUTHtrue见 认证文档。源码导览想看代码或想改仓库结构相当清晰git clone https://gitcode.com/GitHub_Trending/lo/LocalAIcore/核心服务。core/application/是启动与生命周期逻辑core/http/endpoints/是所有 API 端点实现core/services/是 agent 池、路由、模型管理等业务服务core/backend/定义各任务类型LLM、TTS、嵌入等如何分发到后端。backend/后端实现按语言分cpp/、go/、python/、rust/子目录每个引擎一个独立目录和构建脚本backend/index.yaml是后端的总注册表。pkg/基础库下载器、模型加载器pkg/model/、gRPC 协议pkg/grpc/、VRAM 预算等。docs/content/按主题组织的文档features/ 下几乎每个能力一篇reference/ 下有架构和兼容表。核心与后端之间的接口就是 backend/backend.proto 定义的 gRPC 协议——想写自己的后端用任何语言实现这个接口接进来就行。开发环境要求和贡献流程见 CONTRIBUTING.md。避坑与实用技巧报 404 model not found九成是模型没装或名字不对。先curl http://localhost:8080/v1/models看已加载列表缺哪个用local-ai models install 名称补上。内存紧张优先选小参数 低量化q4_k_m 这类的模型CPU 机器上 1B~4B 参数的模型体验最稳。GPU 没生效确认镜像和硬件匹配、NVIDIA 加了--gpus all用docker logs local-ai看启动日志能快速定位。对外暴露前一定加鉴权LOCALAI_API_KEY或LOCALAI_AUTHtrue裸奔的 8080 端口等于白送算力。排查问题curl http://localhost:8080/readyz看服务状态DEBUGtrue local-ai run开详细日志完整诊断清单在 排障文档。别一次装所有后端它是按需拉取的设计用到才下磁盘和启动都会清爽很多。花十分钟跑通qwen3-4b把现有代码的 API 地址切过来你就有了自己的本地 AI 底座。有问题或想参与开发去 docs/content/ 查细节或者直接按 CONTRIBUTING.md 提 PR。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考