尧图网站建设 
收录100项目的中文大模型开源清单3步跑通你的第一个本地LLM【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM看到几百个中文大模型仓库却不知道该从哪个下手Awesome-Chinese-LLM 就是为这个问题整理的开源中文大语言模型LLM资源清单它把 100 个底座模型、垂直领域微调、数据集、训练与推理框架、教程和评测基准收进同一份目录且刻意偏向小规模、可私有化部署、训练成本低的模型——你本地能跑起来的那一类。 清单里有什么一句话定位它是一本目录不是软件——把中文 LLM 开源生态按底座 → 应用 → 数据 → 框架 → 评测排好序的索引。按使用目的划分的六块内容底座模型文本 LLMChatGLM、Qwen、Baichuan、InternLM、DeepSeek、Yi、MiniCPM 等与多模态模型Qwen-VL、MiniCPM-V、CogVLM 等垂直领域微调医疗、法律、金融、教育、科技、电商、网络安全、农业八个方向数据集预训练MNBVC、WuDaoCorpora、SFT 指令微调COIG、Huatuo-26M、偏好对齐CValues、UltraFeedback三类训练微调框架DeepSpeed-Chat、LLaMA Efficient Tuning 等支持 LoRA/QLoRA 的工具推理部署框架vLLM、LMDeploy、MNN、AirLLM 等评测与教程C-Eval、CMMLU、OpenCompass 基准以及从原理到实战的教程链接README 里还有一张常见底座模型细节概览表摘录几行方便你先建立量级概念模型家族参数规模训练语料量最大上下文可商用ChatGLM6B1.4T32K可商用Qwen7B–110B2.2T–18T8K–32K可商用Baichuan7B/13B1.2T–1.4T4K可商用DeepSeek1.3B–67B—4K可商用InternLM7B/20B—200K可商用LLaMA7B–70B1T–2T2K–4K部分可商用完整表格见 README.md医疗、法律、金融方向另有单独整理的思维导图可读 doc/Medical.md、doc/Legal.md、doc/Financial.md。 最小闭环3步从清单跑到会回答的中文对话第1步拿到清单git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM执行后你应看到仓库根目录是一个 README.md内容按1.模型 → 8.相关仓库组织每个条目都带简介和来源仓库信息。第2步按显存圈定候选模型对照上一节的概览表先定参数档位24G 显存选 6B 档如 ChatGLM 系列、Qwen-7B12G 选 4bit 量化版再没有独显就选 CPU 路线见显存不够一节。这一步你应看到自己心里有一个明确的模型名字而不是随便一个。第3步加载权重并发起第一轮对话pip install torch transformersfrom transformers import AutoTokenizer, AutoModelForCausalLM # 以清单收录的 ChatGLM3-6B 为例权重从清单指向的官方开源渠道获取 tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( THUDM/chatglm3-6b, trust_remote_codeTrue ).half().cuda() response, _ model.chat(tokenizer, 你好请用一句话介绍你自己, history[]) print(response)执行后你应看到终端打印出一句中文自我介绍用nvidia-smi观察6B 模型 fp16 推理大约占用 13–16GB 显存。能收到一句像样的中文回复闭环就通了——后面所有玩法都是在这一步之上换模型、换数据。 同一个清单四类用法要领域知识查垂直微调区。通用底座不认识辨证和法条清单在医疗、法律、金融等八个方向各列了一批已微调好的模型和它们各自的训练数据说明。典型用法做医疗文本预研先翻医疗区里 DoctorGLM、BenTsao 的条目确认它们用了什么数据、基于哪个底座再决定要不要复现。要自己训配数据集 微调框架两栏。清单把预训练、SFT、偏好数据分开列出和 DeepSpeed-Chat、LLaMA Efficient Tuning 等支持 LoRA/QLoRA 的训练框架一一对得上。典型用法想低成本定制一个客服模型从 SFT 数据区挑一份中文指令集用 LoRA 微调一个 7B 底座。要部署提速看推理框架区。从吞吐优先的 vLLM、量化推理见长的 LMDeploy到面向端侧的 MNN、低显存分层的 AirLLM各自适用场景在简介里写得很直白。典型用法内部要同时服务几十个并发请求直接用 vLLM 起服务而不是裸调 transformers。要验收和上手用评测区 教程区。C-Eval、CMMLU 这类中文基准能给你横向对比的锚点HuggingLLM、提示工程中文课、llm-action 等教程覆盖从原理到代码。典型用法选型纠结两个模型时先看它们在同一条基准上的分数再跑自己业务里的十个真实问题。 显存不够时的四条降配路线换小参数档DeepSeek-1.3B、MiniCPM 这类小模型在 8G 显存甚至端侧设备就能跑牺牲部分能力换能跑。4bit 量化加载GPTQ、GGUF配合 llama.cpp或 QLoRA 系工具能把 6B 模型显存占用从 13GB 压到 6GB 上下是 12G 显卡最常见的解法。走 CPU 或端侧JittorLLMs 明确写着笔记本没有显卡也能跑大模型MNN 支持 iOS/Android适合验证流程而非追求速度。低显存推理框架AirLLM 用分层推理让 4GB 单卡加载 70B 权重代价是速度慢。推理参数层面同样有省的空间max_new_tokens按任务复杂度收紧temperature在知识问答场景调到 0.7 以下让输出更稳上下文窗口别默认拉满。 这份清单适合谁谁什么场景用清单做什么算法工程师给项目挑底座看底座概览表的参数/上下文/商用条款再对照评测区分数企业 IT 团队私有化部署方案在推理部署框架区按并发量和显存量选 vLLM、LMDeploy 等医疗/法律/金融业务团队找现成的领域模型进对应垂直微调区核对模型的训练数据与底座学生与自学者建立完整认知按教程区 → 数据集区 → 微调框架区顺序走一遍研究者找数据与训练管线用数据集区选语料用评测区定义验收指标⚠️ 开始之前先说清四条边界清单本身不含可运行模型。克隆下来得到的是文档和链接索引所有模型权重、训练与推理代码都要去清单指向的对应仓库获取README 里的介绍也可能滞后于上游最新进展。硬件门槛以显存为准。6B 模型 fp16 推理约需 16GB 显存13B 约 30GB4bit 量化可接近减半。CPU 路线能跑通但生成速度以分钟计只适合验证流程。输出准确性存在边界。通用模型存在幻觉垂直领域模型受限于领域训练数据的规模与质量其输出只能作参考信息不能直接作为诊疗、法律意见或投资决策依据上线前必须在自有测试集上验证。商用前逐条核对许可证。底座模型的授权并不统一部分仅限研究用途或需登记备案概览表的可商用列可作初筛具体以各模型原始仓库的 License 为准清单不构成法律意见。收尾打开 README.md 里的底座概览表按你的显存圈一个 6B 档模型把上面三步今天跑完——这份清单给你的是中文开源大模型生态的目录跑通之后往哪个领域钻垂直微调和数据区都是现成的路。只是要记住清单负责指路模型质量与许可证边界最终要在你自己的环境里验证。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 收录100+项目的中文大模型开源清单：3步跑通你的第一个本地LLM
收录100项目的中文大模型开源清单3步跑通你的第一个本地LLM【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM看到几百个中文大模型仓库却不知道该从哪个下手Awesome-Chinese-LLM 就是为这个问题整理的开源中文大语言模型LLM资源清单它把 100 个底座模型、垂直领域微调、数据集、训练与推理框架、教程和评测基准收进同一份目录且刻意偏向小规模、可私有化部署、训练成本低的模型——你本地能跑起来的那一类。 清单里有什么一句话定位它是一本目录不是软件——把中文 LLM 开源生态按底座 → 应用 → 数据 → 框架 → 评测排好序的索引。按使用目的划分的六块内容底座模型文本 LLMChatGLM、Qwen、Baichuan、InternLM、DeepSeek、Yi、MiniCPM 等与多模态模型Qwen-VL、MiniCPM-V、CogVLM 等垂直领域微调医疗、法律、金融、教育、科技、电商、网络安全、农业八个方向数据集预训练MNBVC、WuDaoCorpora、SFT 指令微调COIG、Huatuo-26M、偏好对齐CValues、UltraFeedback三类训练微调框架DeepSpeed-Chat、LLaMA Efficient Tuning 等支持 LoRA/QLoRA 的工具推理部署框架vLLM、LMDeploy、MNN、AirLLM 等评测与教程C-Eval、CMMLU、OpenCompass 基准以及从原理到实战的教程链接README 里还有一张常见底座模型细节概览表摘录几行方便你先建立量级概念模型家族参数规模训练语料量最大上下文可商用ChatGLM6B1.4T32K可商用Qwen7B–110B2.2T–18T8K–32K可商用Baichuan7B/13B1.2T–1.4T4K可商用DeepSeek1.3B–67B—4K可商用InternLM7B/20B—200K可商用LLaMA7B–70B1T–2T2K–4K部分可商用完整表格见 README.md医疗、法律、金融方向另有单独整理的思维导图可读 doc/Medical.md、doc/Legal.md、doc/Financial.md。 最小闭环3步从清单跑到会回答的中文对话第1步拿到清单git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM执行后你应看到仓库根目录是一个 README.md内容按1.模型 → 8.相关仓库组织每个条目都带简介和来源仓库信息。第2步按显存圈定候选模型对照上一节的概览表先定参数档位24G 显存选 6B 档如 ChatGLM 系列、Qwen-7B12G 选 4bit 量化版再没有独显就选 CPU 路线见显存不够一节。这一步你应看到自己心里有一个明确的模型名字而不是随便一个。第3步加载权重并发起第一轮对话pip install torch transformersfrom transformers import AutoTokenizer, AutoModelForCausalLM # 以清单收录的 ChatGLM3-6B 为例权重从清单指向的官方开源渠道获取 tokenizer AutoTokenizer.from_pretrained(THUDM/chatglm3-6b, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( THUDM/chatglm3-6b, trust_remote_codeTrue ).half().cuda() response, _ model.chat(tokenizer, 你好请用一句话介绍你自己, history[]) print(response)执行后你应看到终端打印出一句中文自我介绍用nvidia-smi观察6B 模型 fp16 推理大约占用 13–16GB 显存。能收到一句像样的中文回复闭环就通了——后面所有玩法都是在这一步之上换模型、换数据。 同一个清单四类用法要领域知识查垂直微调区。通用底座不认识辨证和法条清单在医疗、法律、金融等八个方向各列了一批已微调好的模型和它们各自的训练数据说明。典型用法做医疗文本预研先翻医疗区里 DoctorGLM、BenTsao 的条目确认它们用了什么数据、基于哪个底座再决定要不要复现。要自己训配数据集 微调框架两栏。清单把预训练、SFT、偏好数据分开列出和 DeepSpeed-Chat、LLaMA Efficient Tuning 等支持 LoRA/QLoRA 的训练框架一一对得上。典型用法想低成本定制一个客服模型从 SFT 数据区挑一份中文指令集用 LoRA 微调一个 7B 底座。要部署提速看推理框架区。从吞吐优先的 vLLM、量化推理见长的 LMDeploy到面向端侧的 MNN、低显存分层的 AirLLM各自适用场景在简介里写得很直白。典型用法内部要同时服务几十个并发请求直接用 vLLM 起服务而不是裸调 transformers。要验收和上手用评测区 教程区。C-Eval、CMMLU 这类中文基准能给你横向对比的锚点HuggingLLM、提示工程中文课、llm-action 等教程覆盖从原理到代码。典型用法选型纠结两个模型时先看它们在同一条基准上的分数再跑自己业务里的十个真实问题。 显存不够时的四条降配路线换小参数档DeepSeek-1.3B、MiniCPM 这类小模型在 8G 显存甚至端侧设备就能跑牺牲部分能力换能跑。4bit 量化加载GPTQ、GGUF配合 llama.cpp或 QLoRA 系工具能把 6B 模型显存占用从 13GB 压到 6GB 上下是 12G 显卡最常见的解法。走 CPU 或端侧JittorLLMs 明确写着笔记本没有显卡也能跑大模型MNN 支持 iOS/Android适合验证流程而非追求速度。低显存推理框架AirLLM 用分层推理让 4GB 单卡加载 70B 权重代价是速度慢。推理参数层面同样有省的空间max_new_tokens按任务复杂度收紧temperature在知识问答场景调到 0.7 以下让输出更稳上下文窗口别默认拉满。 这份清单适合谁谁什么场景用清单做什么算法工程师给项目挑底座看底座概览表的参数/上下文/商用条款再对照评测区分数企业 IT 团队私有化部署方案在推理部署框架区按并发量和显存量选 vLLM、LMDeploy 等医疗/法律/金融业务团队找现成的领域模型进对应垂直微调区核对模型的训练数据与底座学生与自学者建立完整认知按教程区 → 数据集区 → 微调框架区顺序走一遍研究者找数据与训练管线用数据集区选语料用评测区定义验收指标⚠️ 开始之前先说清四条边界清单本身不含可运行模型。克隆下来得到的是文档和链接索引所有模型权重、训练与推理代码都要去清单指向的对应仓库获取README 里的介绍也可能滞后于上游最新进展。硬件门槛以显存为准。6B 模型 fp16 推理约需 16GB 显存13B 约 30GB4bit 量化可接近减半。CPU 路线能跑通但生成速度以分钟计只适合验证流程。输出准确性存在边界。通用模型存在幻觉垂直领域模型受限于领域训练数据的规模与质量其输出只能作参考信息不能直接作为诊疗、法律意见或投资决策依据上线前必须在自有测试集上验证。商用前逐条核对许可证。底座模型的授权并不统一部分仅限研究用途或需登记备案概览表的可商用列可作初筛具体以各模型原始仓库的 License 为准清单不构成法律意见。收尾打开 README.md 里的底座概览表按你的显存圈一个 6B 档模型把上面三步今天跑完——这份清单给你的是中文开源大模型生态的目录跑通之后往哪个领域钻垂直微调和数据区都是现成的路。只是要记住清单负责指路模型质量与许可证边界最终要在你自己的环境里验证。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考