AI 相关-AI 编排平台Dify学习centos7+过时cpu 使用Xinference平台下载bge-reranker-base重排序模型特殊处理方式)
CentOS 7 + Xinference 部署 bge-reranker-base 重排序模型完整指南一、服务器环境信息1.1 操作系统[root@localhost ~]# cat /etc/centos-releaseCentOS Linux release 7.9.2009 (Core)1.2 CPU 信息[root@localhost ~]# lscpuArchitecture: x86_64CPU(s): 16Core(s) per socket: 16Socket(s): 1Model name: Intel® Core™2 Duo CPU T7700 @ 2.40GHzHypervisor vendor: KVMVirtualization type: full1.3 内存信息[root@localhost ~]# free -gtotal used free shared buff/cache availableMem: 31 4 3 0 23 25Swap: 7 0 71.4 磁盘信息[root@localhost ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root 48G 6.8G 42G 15% //dev/vdb3 197G 89G 99G 48% /opt二、问题背景与原因学习本地大模型部署，刚开始使用的ollama平台，顺序下载的LLM语言模型和Embedding向量模型，但是ollama不能下载rerank重排序模型，在安装 Xinference 下载rerank模型时由于cpu太旧无法启动模型，最终特殊处理使用python单独发布rerank模型配置到dify。2.1 为什么需要特殊处理？在 CentOS 7 服务器上，使用 Xinference 官方 Docker 镜像部署 bge-reranker-base 模型时，遇到 OSError: Start sub pool failed, returncode: 1 错误。根本原因分析：Xinference 的 subpool 机制：Xinference 在加载模型时会启动子进程池来管理模型实例。在某些环境（尤其是旧版本 Linux 内核或资源受限环境）下，subpool 启动失败。依赖版本冲突：Xinference 官方 CPU 镜像中的 sentence-transformers、transformers、peft、huggingface-hub 等库版本存在兼容性问题，导致模型无法正常加载。网络访问限制：服务器无法直接访问 Hugging Face 官网，需要使用国内镜像源 https://hf-mirror.com。2.2 典型报错日志使用 xinference launch 部署时的报错：ERROR xinference.core.worker: Launch failed: Start sub pool failed, returncode: 1 Traceback (most recent call last): File "/opt/conda/lib/python3.11/site-packages/xoscar/backends/indigen/pool.py", line 338, in _create_sub_pool_from_parent raise OSError(f"Start sub pool failed, returncode: {process.returncode}") OSError: Start sub pool failed, returncode: 1使用 sentence_transformers 直接加载时的报错：ImportError: cannot import name 'HybridCache' from 'transformers' ImportError: cannot import name 'split_torch_state_dict_into_shards' from 'huggingface_hub'2.3 解决方案思路绕过 Xinference 的 subpool 机制，直接在容器内运行独立的 Python Flask API 服务来提供 Rerank 功能。这样：不受 Xinference 进程管理限制服务更稳定，易于调试与 Dify 集成时只需配置 API URL三、完整部署步骤3.1 准备工作：创建目录mkdir-p/opt/xinferencedzmkdir-p/opt/xinference-models3.2 构建定制 Docker 镜像# cd到xinferencedz目录cd/opt/xinferencedz3.2.1 xinferencedz目录下创建 Dockerfile我指定了docker.m.daocloud.io镜像源，这个镜像源测试了不会中途超时catDockerfile'EOF' FROM docker.m.daocloud.io/xprobe/xinference:v3.0.0-cpu USER root RUN apt-get update apt-get install -y gcc g++ make 2/dev/null || true RUN pip install --no-cache-dir -i https://pypi.tuna.tsinghua.edu.cn/simple \
CentOS 7 + Xinference 部署 bge-reranker-base 重排序模型完整指南一、服务器环境信息1.1 操作系统[root@localhost ~]# cat /etc/centos-releaseCentOS Linux release 7.9.2009 (Core)1.2 CPU 信息[root@localhost ~]# lscpuArchitecture: x86_64CPU(s): 16Core(s) per socket: 16Socket(s): 1Model name: Intel® Core™2 Duo CPU T7700 @ 2.40GHzHypervisor vendor: KVMVirtualization type: full1.3 内存信息[root@localhost ~]# free -gtotal used free shared buff/cache availableMem: 31 4 3 0 23 25Swap: 7 0 71.4 磁盘信息[root@localhost ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root 48G 6.8G 42G 15% //dev/vdb3 197G 89G 99G 48% /opt二、问题背景与原因学习本地大模型部署，刚开始使用的ollama平台，顺序下载的LLM语言模型和Embedding向量模型，但是ollama不能下载rerank重排序模型，在安装 Xinference 下载rerank模型时由于cpu太旧无法启动模型，最终特殊处理使用python单独发布rerank模型配置到dify。2.1 为什么需要特殊处理？在 CentOS 7 服务器上，使用 Xinference 官方 Docker 镜像部署 bge-reranker-base 模型时，遇到 OSError: Start sub pool failed, returncode: 1 错误。根本原因分析：Xinference 的 subpool 机制：Xinference 在加载模型时会启动子进程池来管理模型实例。在某些环境（尤其是旧版本 Linux 内核或资源受限环境）下，subpool 启动失败。依赖版本冲突：Xinference 官方 CPU 镜像中的 sentence-transformers、transformers、peft、huggingface-hub 等库版本存在兼容性问题，导致模型无法正常加载。网络访问限制：服务器无法直接访问 Hugging Face 官网，需要使用国内镜像源 https://hf-mirror.com。2.2 典型报错日志使用 xinference launch 部署时的报错：ERROR xinference.core.worker: Launch failed: Start sub pool failed, returncode: 1 Traceback (most recent call last): File "/opt/conda/lib/python3.11/site-packages/xoscar/backends/indigen/pool.py", line 338, in _create_sub_pool_from_parent raise OSError(f"Start sub pool failed, returncode: {process.returncode}") OSError: Start sub pool failed, returncode: 1使用 sentence_transformers 直接加载时的报错：ImportError: cannot import name 'HybridCache' from 'transformers' ImportError: cannot import name 'split_torch_state_dict_into_shards' from 'huggingface_hub'2.3 解决方案思路绕过 Xinference 的 subpool 机制，直接在容器内运行独立的 Python Flask API 服务来提供 Rerank 功能。这样：不受 Xinference 进程管理限制服务更稳定，易于调试与 Dify 集成时只需配置 API URL三、完整部署步骤3.1 准备工作：创建目录mkdir-p/opt/xinferencedzmkdir-p/opt/xinference-models3.2 构建定制 Docker 镜像# cd到xinferencedz目录cd/opt/xinferencedz3.2.1 xinferencedz目录下创建 Dockerfile我指定了docker.m.daocloud.io镜像源，这个镜像源测试了不会中途超时catDockerfile'EOF' FROM docker.m.daocloud.io/xprobe/xinference:v3.0.0-cpu USER root RUN apt-get update apt-get install -y gcc g++ make 2/dev/null || true RUN pip install --no-cache-dir -i https://pypi.tuna.tsinghua.edu.cn/simple \
