尧图网站建设 
textgen 本地部署指南10 分钟从 clone 到网页出字【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen装完依赖python server.py却报 torch 找不到 CUDA——本地大模型部署的坑多半在环境。这条最快路径 10 分钟从 clone 到网页出字之后按需做参数配置。前置条件项目要求Python3.9一键脚本路线不需要自动装 Miniforge磁盘完整安装约 10 GBportable 路线约 2 GBGPU可选NVIDIA 走 CUDAAMD 走 ROCm纯 CPU 也能跑端口7860Web UI与 5000API未被占用DockerCompose ≥ v2.17仅 Docker 路线需要不知道自己显存和计算能力先跑一遍nvidia-smi。最快路径4 步跑通第 1 步选环境两条路线A 一键脚本B 手动 venv。A 会在installer_files/下自动装好 Miniforge 和全部依赖适合不想碰环境的人B 轻量、每一步都可见适合想把问题定位清楚的人。先按硬件选 requirements 文件硬件requirements 文件NVIDIArequirements/full/requirements.txtAMDrequirements/full/requirements_amd.txtApple Siliconrequirements/full/requirements_apple_silicon.txt纯 CPUrequirements/full/requirements_cpu_only.txtB 路线用requirements/portable/下的同名文件另有 Vulkan、ik 后端变体可选。第 2 步装依赖A 路线一条命令按提示选 GPU 厂商./start_linux.sh # Windows 用 start_windows.bat / macOS 用 start_macos.sh首次运行约 10 分钟要下载 Miniforge 和 PyTorch。B 路线git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen python -m venv venv source venv/bin/activatepip install -r requirements/portable/requirements.txt --upgradeWindows 激活用venv\Scripts\activate。注意安装目录路径不能含空格脚本遇到会直接退出。第 3 步首次启动B 路线python server.py --portable --api --auto-launchA 路线重跑同一个start_脚本即可。--api开启 OpenAI/Anthropic 兼容接口--auto-launch自动打开浏览器。想每次都带的参数别在命令行重复敲写进 user_data/CMD_FLAGS.txt每行一个每次启动自动生效。第 4 步验证成功浏览器打开 http://127.0.0.1:7860。出字之前先要模型下载一个 GGUF 模型文件放进user_data/modelsUI 会自动识别。顶栏选中模型、加载在 Chat 页输入一句话——有文字输出本地大模型部署就跑通了。页面能打开但模型列表为空不是故障是正常的初始状态。按需求改配置想让局域网访问默认只绑 127.0.0.1只有本机能打开场景参数推荐值生效位置局域网访问--listen写入 CMD_FLAGS.txt 一行配置文件换端口--listen-port7860 被占时改 7861命令行加了--listen还是不通查防火墙放行 7860 端口。想省显存显存不足解决方案分后端GGUFllama.cpp的显存由模型文件量化决定换更低量化Transformers 后端加启动参数场景参数推荐值生效位置8GB 显存带 13B--load-in-4bit --use_double_quant4bit 再双重量化CMD_FLAGS显存略紧--load-in-8bit质量损失小CMD_FLAGS长上下文吃显存--ctx-size4096–8192按需给CMD_FLAGS没有 GPU--cpu纯 CPU 推理命令行量化到最低还是装不下就是模型超出硬件能力了换小参数量比继续挤显存有效。想换模型或精度场景参数推荐值生效位置指定默认模型--modelMODEL_NAMEuser_data/models 内的名字CMD_FLAGS高精度大模型--bf16需 NVIDIA Ampere 及以上CMD_FLAGSCPU 线程数--threads物理核心数的一半CMD_FLAGS想换生成风格UI 的 Parameters 标签页直接调不用重启。起步值max_new_tokens512–2048调太高会截断提示词temperature0.7–1.2低于 0.5 输出会过于机械top_p0.9核采样阈值repetition_penalty1.1–1.2压住复读。语义全表见 docs/03 - Parameters Tab.md预设菜单里的骰子按钮能随机生成一组参数连续 Regenerate 都救不回来时可以试一下。进阶组合选读Docker 隔离NVIDIA 示例边界NVIDIA GPU Compose v2.17 NVIDIA Container Toolkit。适合服务器部署或想让依赖与宿主机彻底隔离ln -s docker/{nvidia/Dockerfile,nvidia/docker-compose.yml,.dockerignore} . cp docker/.env.example .env mkdir -p user_data/logs user_data/cache docker compose up --build编辑.envTORCH_CUDA_ARCH_LIST按显卡算力填nvidia-smi可查APP_RUNTIME_GID填id -g的结果。启动参数放 user_data/CMD_FLAGS.txtWeb 在 7860、API 在 5000。AMD、Intel、纯 CPU 在docker/下有同构目录换ln -s路径即可。纯 CPU 跑 7B边界内存 16GB 以上速度个位数 token/s适合体验功能而不是日常使用pip install -r requirements/full/requirements_cpu_only.txt --upgrade python server.py --cpu --threads 8 --api --auto-launchAPI 模式对外服务边界要把本地模型接进现有程序。纯 CPU 的本地大模型部署也能这样服务python server.py --nowebui --api --listen --api-port 5000 --api-key KEY程序里 base_url 指向http://主机IP:5000/v1请求不出内网OpenAI 客户端代码可直接对接。卡住时看这里现象大概率原因一句话处理torch 报 CUDA errortorch 轮子和显卡不匹配按硬件对应的 requirements 文件重装CUDA out of memory显存不足加--load-in-4bit --use_double_quant重启局域网其他设备打不开缺--listen写进 CMD_FLAGS.txt 后重启页面打不开7860 被占lsof -i:7860找进程换--listen-port生成预设去 user_data/presets/ 试工具调用、多模态、Docker 细节都在 docs/ 里。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 textgen 本地部署指南：10 分钟从 clone 到网页出字
textgen 本地部署指南10 分钟从 clone 到网页出字【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen装完依赖python server.py却报 torch 找不到 CUDA——本地大模型部署的坑多半在环境。这条最快路径 10 分钟从 clone 到网页出字之后按需做参数配置。前置条件项目要求Python3.9一键脚本路线不需要自动装 Miniforge磁盘完整安装约 10 GBportable 路线约 2 GBGPU可选NVIDIA 走 CUDAAMD 走 ROCm纯 CPU 也能跑端口7860Web UI与 5000API未被占用DockerCompose ≥ v2.17仅 Docker 路线需要不知道自己显存和计算能力先跑一遍nvidia-smi。最快路径4 步跑通第 1 步选环境两条路线A 一键脚本B 手动 venv。A 会在installer_files/下自动装好 Miniforge 和全部依赖适合不想碰环境的人B 轻量、每一步都可见适合想把问题定位清楚的人。先按硬件选 requirements 文件硬件requirements 文件NVIDIArequirements/full/requirements.txtAMDrequirements/full/requirements_amd.txtApple Siliconrequirements/full/requirements_apple_silicon.txt纯 CPUrequirements/full/requirements_cpu_only.txtB 路线用requirements/portable/下的同名文件另有 Vulkan、ik 后端变体可选。第 2 步装依赖A 路线一条命令按提示选 GPU 厂商./start_linux.sh # Windows 用 start_windows.bat / macOS 用 start_macos.sh首次运行约 10 分钟要下载 Miniforge 和 PyTorch。B 路线git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen python -m venv venv source venv/bin/activatepip install -r requirements/portable/requirements.txt --upgradeWindows 激活用venv\Scripts\activate。注意安装目录路径不能含空格脚本遇到会直接退出。第 3 步首次启动B 路线python server.py --portable --api --auto-launchA 路线重跑同一个start_脚本即可。--api开启 OpenAI/Anthropic 兼容接口--auto-launch自动打开浏览器。想每次都带的参数别在命令行重复敲写进 user_data/CMD_FLAGS.txt每行一个每次启动自动生效。第 4 步验证成功浏览器打开 http://127.0.0.1:7860。出字之前先要模型下载一个 GGUF 模型文件放进user_data/modelsUI 会自动识别。顶栏选中模型、加载在 Chat 页输入一句话——有文字输出本地大模型部署就跑通了。页面能打开但模型列表为空不是故障是正常的初始状态。按需求改配置想让局域网访问默认只绑 127.0.0.1只有本机能打开场景参数推荐值生效位置局域网访问--listen写入 CMD_FLAGS.txt 一行配置文件换端口--listen-port7860 被占时改 7861命令行加了--listen还是不通查防火墙放行 7860 端口。想省显存显存不足解决方案分后端GGUFllama.cpp的显存由模型文件量化决定换更低量化Transformers 后端加启动参数场景参数推荐值生效位置8GB 显存带 13B--load-in-4bit --use_double_quant4bit 再双重量化CMD_FLAGS显存略紧--load-in-8bit质量损失小CMD_FLAGS长上下文吃显存--ctx-size4096–8192按需给CMD_FLAGS没有 GPU--cpu纯 CPU 推理命令行量化到最低还是装不下就是模型超出硬件能力了换小参数量比继续挤显存有效。想换模型或精度场景参数推荐值生效位置指定默认模型--modelMODEL_NAMEuser_data/models 内的名字CMD_FLAGS高精度大模型--bf16需 NVIDIA Ampere 及以上CMD_FLAGSCPU 线程数--threads物理核心数的一半CMD_FLAGS想换生成风格UI 的 Parameters 标签页直接调不用重启。起步值max_new_tokens512–2048调太高会截断提示词temperature0.7–1.2低于 0.5 输出会过于机械top_p0.9核采样阈值repetition_penalty1.1–1.2压住复读。语义全表见 docs/03 - Parameters Tab.md预设菜单里的骰子按钮能随机生成一组参数连续 Regenerate 都救不回来时可以试一下。进阶组合选读Docker 隔离NVIDIA 示例边界NVIDIA GPU Compose v2.17 NVIDIA Container Toolkit。适合服务器部署或想让依赖与宿主机彻底隔离ln -s docker/{nvidia/Dockerfile,nvidia/docker-compose.yml,.dockerignore} . cp docker/.env.example .env mkdir -p user_data/logs user_data/cache docker compose up --build编辑.envTORCH_CUDA_ARCH_LIST按显卡算力填nvidia-smi可查APP_RUNTIME_GID填id -g的结果。启动参数放 user_data/CMD_FLAGS.txtWeb 在 7860、API 在 5000。AMD、Intel、纯 CPU 在docker/下有同构目录换ln -s路径即可。纯 CPU 跑 7B边界内存 16GB 以上速度个位数 token/s适合体验功能而不是日常使用pip install -r requirements/full/requirements_cpu_only.txt --upgrade python server.py --cpu --threads 8 --api --auto-launchAPI 模式对外服务边界要把本地模型接进现有程序。纯 CPU 的本地大模型部署也能这样服务python server.py --nowebui --api --listen --api-port 5000 --api-key KEY程序里 base_url 指向http://主机IP:5000/v1请求不出内网OpenAI 客户端代码可直接对接。卡住时看这里现象大概率原因一句话处理torch 报 CUDA errortorch 轮子和显卡不匹配按硬件对应的 requirements 文件重装CUDA out of memory显存不足加--load-in-4bit --use_double_quant重启局域网其他设备打不开缺--listen写进 CMD_FLAGS.txt 后重启页面打不开7860 被占lsof -i:7860找进程换--listen-port生成预设去 user_data/presets/ 试工具调用、多模态、Docker 细节都在 docs/ 里。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考