尧图网站建设 
vLLM 服务参数详解vllm serve 的 CLI 参数、YAML 配置文件与优先级机制【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm本文围绕 vLLM 的vllm serve命令展开讲解如何启动 OpenAI 兼容 API 服务、如何通过 YAML 配置文件批量加载 CLI 参数、命令行与配置文件并存时的优先级规则以及如何借助 vLLM Recipes 工具自动生成可直接投产的部署配置。读完本文你可以掌握--config参数底层的工作机制含嵌套 YAML 的展开逻辑、参数帮助系统的查询技巧以及一套从 Recipe 到config.yamlenv.sh的完整部署配置流。vllm serve 是什么vllm serve用于启动一个本地 OpenAI 兼容的 API 服务通过 HTTP 提供 LLM 补全能力。它是 vLLM CLI 的子命令之一CLI 顶层入口在 vllm/entrypoints/cli/main.py 中注册了chat、complete、serve、launch、bench、collect-env、run-batch等全部子命令serve子命令的具体实现在 vllm/entrypoints/cli/serve.py。最基础的用法是直接把模型名作为位置参数传入源码中该位置参数名为model_tagvllm serve meta-llama/Llama-2-7b-hf # 指定端口 vllm serve meta-llama/Llama-2-7b-hf --port 8100 # 通过 Unix domain socket 提供服务 vllm serve meta-llama/Llama-2-7b-hf --uds /tmp/vllm.sock从源码结构看若不指定模型serve的描述文本明确写着“Defaults to Qwen/Qwen3-0.6B if no model is specified”见 serve.py 中的DESCRIPTION即当前仓库版本在未给模型时会回落到一个小模型默认值。此外serve还支持--grpc启动 gRPC 服务替代 HTTP OpenAI 服务需要pip install vllm[grpc]以及--headless无头模式用于多节点数据并行场景见 serve.py 的 ServeSubcommand.cmd。CLI 参数体系与帮助系统serve的完整参数定义集中在一处生成。vllm/entrypoints/launchers/cli_args.py 中的make_arg_parser负责组装 parser先注册model_tag、--headless、--api-server-count、--config、--grpc这几个服务端专属参数再依次调用FrontendArgs.add_cli_args与AsyncEngineArgs.add_cli_args把前端参数和引擎参数一次性挂入。这种“单一来源、自动生成”的方式避免了参数定义在多处重复也保证了参数文档与实现始终一致。参数数量庞大vLLM 提供了分层的--help查询机制完整说明见 CLI Guide# 列出所有 flags vllm serve --helpall # 按参数组查看例如模型配置组 vllm serve --helpModelConfig # 查看单个参数 vllm serve --helpmax-num-seqs # 按关键字或 flag 名搜索 vllm serve --helpmax一个实用的细节许多整型参数支持人类可读的后缀写法小数后缀k、m、g、t表示十进制1k 1,000且支持小数如25.6k 25,600大写后缀K、M、G、T表示二进制1K 1,02432K 32,768。目前支持的参数包括--max-model-len、--max-num-batched-tokens、--max-num-scheduled-tokens、--kv-cache-memory-bytes、--safetensors-prefetch-block-size等。参数在加载前还会经过validate_parsed_serve_args的预检cli_args.py例如--enable-auto-tool-choice必须搭配--tool-call-parser、--enable-log-outputs必须搭配--enable-log-requests、--sse-keep-alive-interval必须为非负整数等这些校验在真正加载模型之前就失败能快速暴露配置错误。使用 YAML 配置文件加载参数逐个敲几十个 CLI 参数不方便维护vllm serve支持通过--config从 YAML 配置文件加载参数。--config参数本身注册于 cli_args.pyparser.add_argument( --config, helpRead CLI options from a config file. Must be a YAML with the following options: ..., )配置文件写法配置文件中的键名必须使用 CLI 参数的长形式即带连字符的完整 flag 名去掉--前缀。例如# config.yaml model: meta-llama/Llama-3.1-8B-Instruct host: 127.0.0.1 port: 6379 uvicorn-log-level: info使用方式vllm serve --config config.yaml注意由于model也可以作为位置参数传入配置文件中可以省略model键改为在命令行给出模型vllm serve SOME_MODEL --config config.yaml。底层实现YAML 如何被展开成 CLI 参数配置文件并不是单独的一套配置体系它的本质是在参数解析前被展开成等价的--key value命令行序列后续走与手工敲入完全相同的解析链路。这一逻辑在 vllm/utils/argparse_utils.py 的load_config_file中实现它决定了哪些 YAML 写法是合法的文件扩展名校验只接受.yaml/.yml否则直接抛错Config file must be of a yaml/yml type。扁平键值port: 12323展开为--port 12323tensor-parallel-size: 4展开为--tensor-parallel-size 4。布尔值true展开为--keystore_true 开关false只有在存在对应的--no-key反向开关时才会展开为--no-key。列表展开为--key item1 item2 ...的多值形式。嵌套字典整段序列化成一个 JSON 字符串传给对应参数。也就是说像compilation-config、speculative-config这类本身接受 JSON 的复合参数可以直接用 YAML 层级表达无需手工转义 JSON。例如compilation-config: pass_config: fuse_allreduce_rms: true speculative-config: model: nvidia/gpt-oss-120b-Eagle3-v2 num_speculative_tokens: 3会被展开为--compilation-config {pass_config: {fuse_allreduce_rms: true}} --speculative-config {model: ..., ...}该嵌套示例出自load_config_file的源码文档字符串。由于配置文件最终等价于一组 CLI 参数所以“配置文件中能写什么”完全由vllm serve --helpall列出的长参数决定两者不会出现能力差异。优先级命令行 配置文件 默认值当同一个参数同时出现在命令行和配置文件中时命令行取值优先整体优先级为command line config file values defaults。例如vllm serve SOME_MODEL --config config.yaml中SOME_MODEL会覆盖配置文件里的model键。从源码结构看这一规则由FlexibleArgumentParser在展开配置参数时保证它检查命令行中是否已经给出了位置模型参数model_tag若是则把配置展开出的--model ...插入到不覆盖命令行模型的位置argparse_utils.py其余参数的覆盖则依赖 argparse 对重复 flag 的处理顺序——配置展开项排在同名命令行项之前后解析者生效。理解这一点有助于排查“为什么配置文件里的某项没生效”先检查命令行是否显式写了同名参数。从 vLLM Recipes 生成配置文件如果你不想手写配置可以把 vLLM Recipes完整用法见 Recipes 转换工具 README。该流程只需 PyYAML 依赖不强制要求已安装 vLLM 包除非启用可选的运行时调优或 sweep 生成pip install pyyaml三种选择 Recipe 的方式# 交互式发现搜索模型再选择硬件与策略 python3 tools/recipes/recipe_json_to_vllm_config.py # 非交互式指定模型与硬件使用 Recipes 推荐策略 python3 tools/recipes/recipe_json_to_vllm_config.py \ --model meta-llama/Llama-3.1-8B-Instruct \ --hardware xeon6 # 直接输入 JSONRecipes JSON URL 或本地 JSON 文件 python3 tools/recipes/recipe_json_to_vllm_config.py recipe.json生成后先加载环境再启动服务source env.sh vllm serve --config config.yaml根据 tools/recipes/README.md 描述的流程Recipe 是基线配置可选的硬件信息与负载信息会细化初始配置sweep 调优见 SWEEP_TUNING.md作为可选的验证环节最终产物config.yml env.sh直接对接 vLLM 服务进程。小结与实用建议参数以 CLI 为唯一事实来源不确定键名是否可用时用vllm serve --help关键字查证配置文件只写长形式键名。复合参数如compilation-config、speculative-config优先用 YAML 嵌套写法可避免手工拼接 JSON 字符串布尔开关直接写true/false。排障时牢记优先级链命令行 配置文件 默认值配置文件必须是.yaml/.yml扩展名。需要可复现的部署基线时走 Recipes 转换流程生成config.yamlenv.sh把“选硬件—生成配置—启动服务”固定为一条可重复的路径。更多上下文可参考仓库内的 serve_args 原始文档、CLI Guide 与 参数定义实现。【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 vLLM 服务参数详解：vllm serve 的 CLI 参数、YAML 配置文件与优先级机制
vLLM 服务参数详解vllm serve 的 CLI 参数、YAML 配置文件与优先级机制【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm本文围绕 vLLM 的vllm serve命令展开讲解如何启动 OpenAI 兼容 API 服务、如何通过 YAML 配置文件批量加载 CLI 参数、命令行与配置文件并存时的优先级规则以及如何借助 vLLM Recipes 工具自动生成可直接投产的部署配置。读完本文你可以掌握--config参数底层的工作机制含嵌套 YAML 的展开逻辑、参数帮助系统的查询技巧以及一套从 Recipe 到config.yamlenv.sh的完整部署配置流。vllm serve 是什么vllm serve用于启动一个本地 OpenAI 兼容的 API 服务通过 HTTP 提供 LLM 补全能力。它是 vLLM CLI 的子命令之一CLI 顶层入口在 vllm/entrypoints/cli/main.py 中注册了chat、complete、serve、launch、bench、collect-env、run-batch等全部子命令serve子命令的具体实现在 vllm/entrypoints/cli/serve.py。最基础的用法是直接把模型名作为位置参数传入源码中该位置参数名为model_tagvllm serve meta-llama/Llama-2-7b-hf # 指定端口 vllm serve meta-llama/Llama-2-7b-hf --port 8100 # 通过 Unix domain socket 提供服务 vllm serve meta-llama/Llama-2-7b-hf --uds /tmp/vllm.sock从源码结构看若不指定模型serve的描述文本明确写着“Defaults to Qwen/Qwen3-0.6B if no model is specified”见 serve.py 中的DESCRIPTION即当前仓库版本在未给模型时会回落到一个小模型默认值。此外serve还支持--grpc启动 gRPC 服务替代 HTTP OpenAI 服务需要pip install vllm[grpc]以及--headless无头模式用于多节点数据并行场景见 serve.py 的 ServeSubcommand.cmd。CLI 参数体系与帮助系统serve的完整参数定义集中在一处生成。vllm/entrypoints/launchers/cli_args.py 中的make_arg_parser负责组装 parser先注册model_tag、--headless、--api-server-count、--config、--grpc这几个服务端专属参数再依次调用FrontendArgs.add_cli_args与AsyncEngineArgs.add_cli_args把前端参数和引擎参数一次性挂入。这种“单一来源、自动生成”的方式避免了参数定义在多处重复也保证了参数文档与实现始终一致。参数数量庞大vLLM 提供了分层的--help查询机制完整说明见 CLI Guide# 列出所有 flags vllm serve --helpall # 按参数组查看例如模型配置组 vllm serve --helpModelConfig # 查看单个参数 vllm serve --helpmax-num-seqs # 按关键字或 flag 名搜索 vllm serve --helpmax一个实用的细节许多整型参数支持人类可读的后缀写法小数后缀k、m、g、t表示十进制1k 1,000且支持小数如25.6k 25,600大写后缀K、M、G、T表示二进制1K 1,02432K 32,768。目前支持的参数包括--max-model-len、--max-num-batched-tokens、--max-num-scheduled-tokens、--kv-cache-memory-bytes、--safetensors-prefetch-block-size等。参数在加载前还会经过validate_parsed_serve_args的预检cli_args.py例如--enable-auto-tool-choice必须搭配--tool-call-parser、--enable-log-outputs必须搭配--enable-log-requests、--sse-keep-alive-interval必须为非负整数等这些校验在真正加载模型之前就失败能快速暴露配置错误。使用 YAML 配置文件加载参数逐个敲几十个 CLI 参数不方便维护vllm serve支持通过--config从 YAML 配置文件加载参数。--config参数本身注册于 cli_args.pyparser.add_argument( --config, helpRead CLI options from a config file. Must be a YAML with the following options: ..., )配置文件写法配置文件中的键名必须使用 CLI 参数的长形式即带连字符的完整 flag 名去掉--前缀。例如# config.yaml model: meta-llama/Llama-3.1-8B-Instruct host: 127.0.0.1 port: 6379 uvicorn-log-level: info使用方式vllm serve --config config.yaml注意由于model也可以作为位置参数传入配置文件中可以省略model键改为在命令行给出模型vllm serve SOME_MODEL --config config.yaml。底层实现YAML 如何被展开成 CLI 参数配置文件并不是单独的一套配置体系它的本质是在参数解析前被展开成等价的--key value命令行序列后续走与手工敲入完全相同的解析链路。这一逻辑在 vllm/utils/argparse_utils.py 的load_config_file中实现它决定了哪些 YAML 写法是合法的文件扩展名校验只接受.yaml/.yml否则直接抛错Config file must be of a yaml/yml type。扁平键值port: 12323展开为--port 12323tensor-parallel-size: 4展开为--tensor-parallel-size 4。布尔值true展开为--keystore_true 开关false只有在存在对应的--no-key反向开关时才会展开为--no-key。列表展开为--key item1 item2 ...的多值形式。嵌套字典整段序列化成一个 JSON 字符串传给对应参数。也就是说像compilation-config、speculative-config这类本身接受 JSON 的复合参数可以直接用 YAML 层级表达无需手工转义 JSON。例如compilation-config: pass_config: fuse_allreduce_rms: true speculative-config: model: nvidia/gpt-oss-120b-Eagle3-v2 num_speculative_tokens: 3会被展开为--compilation-config {pass_config: {fuse_allreduce_rms: true}} --speculative-config {model: ..., ...}该嵌套示例出自load_config_file的源码文档字符串。由于配置文件最终等价于一组 CLI 参数所以“配置文件中能写什么”完全由vllm serve --helpall列出的长参数决定两者不会出现能力差异。优先级命令行 配置文件 默认值当同一个参数同时出现在命令行和配置文件中时命令行取值优先整体优先级为command line config file values defaults。例如vllm serve SOME_MODEL --config config.yaml中SOME_MODEL会覆盖配置文件里的model键。从源码结构看这一规则由FlexibleArgumentParser在展开配置参数时保证它检查命令行中是否已经给出了位置模型参数model_tag若是则把配置展开出的--model ...插入到不覆盖命令行模型的位置argparse_utils.py其余参数的覆盖则依赖 argparse 对重复 flag 的处理顺序——配置展开项排在同名命令行项之前后解析者生效。理解这一点有助于排查“为什么配置文件里的某项没生效”先检查命令行是否显式写了同名参数。从 vLLM Recipes 生成配置文件如果你不想手写配置可以把 vLLM Recipes完整用法见 Recipes 转换工具 README。该流程只需 PyYAML 依赖不强制要求已安装 vLLM 包除非启用可选的运行时调优或 sweep 生成pip install pyyaml三种选择 Recipe 的方式# 交互式发现搜索模型再选择硬件与策略 python3 tools/recipes/recipe_json_to_vllm_config.py # 非交互式指定模型与硬件使用 Recipes 推荐策略 python3 tools/recipes/recipe_json_to_vllm_config.py \ --model meta-llama/Llama-3.1-8B-Instruct \ --hardware xeon6 # 直接输入 JSONRecipes JSON URL 或本地 JSON 文件 python3 tools/recipes/recipe_json_to_vllm_config.py recipe.json生成后先加载环境再启动服务source env.sh vllm serve --config config.yaml根据 tools/recipes/README.md 描述的流程Recipe 是基线配置可选的硬件信息与负载信息会细化初始配置sweep 调优见 SWEEP_TUNING.md作为可选的验证环节最终产物config.yml env.sh直接对接 vLLM 服务进程。小结与实用建议参数以 CLI 为唯一事实来源不确定键名是否可用时用vllm serve --help关键字查证配置文件只写长形式键名。复合参数如compilation-config、speculative-config优先用 YAML 嵌套写法可避免手工拼接 JSON 字符串布尔开关直接写true/false。排障时牢记优先级链命令行 配置文件 默认值配置文件必须是.yaml/.yml扩展名。需要可复现的部署基线时走 Recipes 转换流程生成config.yamlenv.sh把“选硬件—生成配置—启动服务”固定为一条可重复的路径。更多上下文可参考仓库内的 serve_args 原始文档、CLI Guide 与 参数定义实现。【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考