尧图网站建设 
在实际法律科技和司法智能化场景中如何让大模型准确理解复杂的法律条文、进行专业的罪名识别、刑期预测乃至生成司法解释是一个极具挑战性的工程问题。直接使用通用大模型往往会产生“幻觉”输出不准确或脱离法条的内容。本文将以一个“手撕刑法大模型”的实战项目为例系统讲解如何结合 Qwen 大模型、RAG 检索增强生成和 LoRA 微调技术构建一个能够进行专业法律推理的智能系统。我们将从零开始完成一个涵盖罪名识别、刑期预测和司法解释生成三大核心功能的原型并重点解决开发过程中可能遇到的配置、数据、推理和部署问题。本文适合有一定 Python 和深度学习基础希望将大模型应用于垂直领域如法律、金融、医疗的开发者。通过本文你将掌握如何搭建一个基于 RAG 的知识库系统如何利用 LoRA 高效微调大模型以适应专业领域以及如何将两者结合构建一个既具备通用知识又拥有领域专精能力的混合智能体。我们将使用 Qwen 系列模型作为基座因其优秀的开源生态和对中文的良好支持。1. 理解技术栈为什么是 Qwen RAG LoRA在开始动手之前必须厘清我们为何选择这套技术组合。每一层技术都为了解决特定问题它们的结合构成了一个稳健的垂直领域大模型应用架构。1.1 Qwen强大且开源的中文基座模型Qwen通义千问是阿里云开源的大语言模型系列。选择 Qwen 而非其他模型主要基于以下几点工程考量优秀的原生中文能力Qwen 在预训练阶段使用了高质量的中文语料对中文法律文本的理解和生成更为自然、准确。丰富的模型尺寸从 0.5B 到 72B 等多种规格便于我们在资源显存、速度和效果之间进行权衡。对于本地部署和微调Qwen-7B 或 Qwen-14B 是常见的起点。完善的工具链提供了 Transformers 格式的模型、详细的部署指南和微调脚本社区活跃问题容易找到解决方案。宽松的开源协议允许商业使用为项目后续发展扫清了法律障碍。1.2 RAG为模型注入准确、实时的外部知识大模型的“幻觉”问题在严肃的法律场景中是致命的。RAG 的核心思想是在回答用户问题前先从外部知识库如刑法条文、司法解释、案例库中检索出最相关的文档片段然后将这些片段和原始问题一起交给大模型生成答案。解决知识更新滞后法律条文会修订而预训练模型的知识是静态的。RAG 允许我们随时更新知识库文件模型就能基于最新条文作答。提升答案的可信度与可解释性模型生成的答案可以引用检索到的具体法条如“根据《中华人民共和国刑法》第二百六十四条…”这使得答案有据可查增强了可信度。降低模型负担模型无需记忆海量具体的法条细节只需专注于理解和推理。知识存储的任务交给专门的向量数据库。1.3 LoRA低成本、高效率的领域适应微调全参数微调一个大模型需要巨大的计算资源。LoRA 是一种参数高效的微调方法它冻结预训练模型的权重只在原始模型结构中插入少量的、可训练的“低秩适配器”层。极大节省显存与时间通常只需微调原模型参数的 0.1%~1%就能达到接近全参数微调的效果使得在消费级显卡如 RTX 3090/4090上微调 7B/14B 模型成为可能。便于模块化管理训练得到的 LoRA 权重文件很小几十到几百 MB可以像插件一样加载或卸载方便针对不同法律子领域如刑法、民法训练不同的适配器。保留通用能力由于原始模型权重被冻结模型在通用语言理解上的能力不会因为领域微调而严重退化。三者协作流程离线阶段将《刑法》全文、司法解释等文本进行切分、向量化存入向量数据库如 Milvus, Chroma。同时使用领域数据如法律问答对对 Qwen 基座模型进行 LoRA 微调使其更“懂法言法语”。在线阶段用户提问“盗窃数额巨大且是累犯怎么判”RAG 系统从向量数据库中检索出与“盗窃罪”、“数额巨大”、“累犯”相关的法条和司法解释片段。将检索到的片段和用户问题组合成提示词Prompt输入给经过 LoRA 微调的 Qwen 模型。模型结合外部知识和内部的法律推理能力生成最终答案“根据《刑法》第264条…可能判处三年以上十年以下有期徒刑并处罚金。同时根据第65条对于累犯应当从重处罚…”2. 环境准备与项目结构搭建一个清晰的项目结构是后续一切工作的基础。我们将创建一个标准的 Python 项目。2.1 基础环境与依赖首先确保你的开发环境满足以下要求Python: 3.8 或以上版本。CUDA: 11.7 或 11.8与 PyTorch 版本匹配。使用nvidia-smi命令检查驱动和 CUDA 版本。显存: 建议至少 16GB。运行 Qwen-7B 推理约需 14GB微调则需要更多。可使用量化技术如 GPTQ, AWQ降低显存需求。创建并激活虚拟环境然后安装核心依赖# 创建项目目录 mkdir law-llm-project cd law-llm-project # 创建虚拟环境 python -m venv venv # Windows 激活 venv\Scripts\activate # Linux/Mac 激活 source venv/bin/activate # 安装 PyTorch (请根据你的 CUDA 版本访问 pytorch.org 获取正确命令) # 例如对于 CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装核心库 pip install transformers accelerate peft # 模型加载、加速、LoRA pip install langchain langchain-community # RAG 应用框架 pip install sentence-transformers chromadb # 文本向量化与向量数据库轻量级选择 pip install pypdf python-docx # 用于解析 PDF/DOCX 格式的法律文档 pip install jupyter # 可选用于实验和调试2.2 项目目录结构建立如下目录结构这是保持代码可维护性的关键。law-llm-project/ ├── data/ # 存放原始数据 │ ├── raw/ # 原始法律文本如刑法.txt司法解释.pdf │ └── processed/ # 处理后的数据如切分后的文本块 ├── knowledge_base/ # 向量数据库持久化目录 ├── model/ # 模型相关 │ ├── base_model/ # 下载的原始 Qwen 模型 │ └── lora_adapter/ # 训练好的 LoRA 权重 ├── src/ # 源代码 │ ├── __init__.py │ ├── data_processor.py # 数据清洗、切分逻辑 │ ├── retriever.py # 构建和查询向量数据库 │ ├── model_loader.py # 加载基座模型和 LoRA 权重 │ ├── rag_pipeline.py # RAG 问答流水线 │ └── train_lora.py # LoRA 微调脚本 ├── config.yaml # 配置文件模型路径、参数等 ├── requirements.txt # 依赖列表 └── main.py # 主程序入口2.3 准备法律文本数据这是 RAG 系统的“知识源泉”。你需要准备结构化的法律文本。例如创建一个data/raw/criminal_law.txt文件内容格式如下第二百三十二条 【故意杀人罪】故意杀人的处死刑、无期徒刑或者十年以上有期徒刑情节较轻的处三年以上十年以下有期徒刑。 第二百六十四条 【盗窃罪】盗窃公私财物数额较大的或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的处三年以下有期徒刑、拘役或者管制并处或者单处罚金数额巨大或者有其他严重情节的处三年以上十年以下有期徒刑并处罚金数额特别巨大或者有其他特别严重情节的处十年以上有期徒刑或者无期徒刑并处罚金或者没收财产。 第六十五条 【累犯】被判处有期徒刑以上刑罚的犯罪分子刑罚执行完毕或者赦免以后在五年以内再犯应当判处有期徒刑以上刑罚之罪的是累犯应当从重处罚但是过失犯罪和不满十八周岁的人犯罪的除外。 ...注意数据质量决定上限。务必使用权威、准确的法律文本。可以从中国人大网、最高人民法院等官方网站获取。数据应尽可能干净去除无关的页眉页脚、注释编号等。3. 构建 RAG 知识库从文本到向量检索RAG 的第一步是构建一个可以高效检索的法律知识库。3.1 文本加载与切分法律条文具有结构性简单的按字符切分会破坏条文完整性。我们采用基于语义的切分策略。在src/data_processor.py中from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.document_loaders import TextLoader, PyPDFLoader import os class LawDataProcessor: def __init__(self, chunk_size512, chunk_overlap50): # 使用递归字符分割器优先按段落、句子分割 self.text_splitter RecursiveCharacterTextSplitter( chunk_sizechunk_size, chunk_overlapchunk_overlap, separators[\n\n, \n, 。, , , , ] ) def load_and_split(self, file_path): 加载单个文件并切分 if file_path.endswith(.txt): loader TextLoader(file_path, encodingutf-8) elif file_path.endswith(.pdf): loader PyPDFLoader(file_path) else: raise ValueError(fUnsupported file type: {file_path}) documents loader.load() # 为每个文档添加元数据如来源 for doc in documents: doc.metadata[source] os.path.basename(file_path) split_docs self.text_splitter.split_documents(documents) print(fLoaded {len(documents)} documents, split into {len(split_docs)} chunks.) return split_docs def process_directory(self, input_dir, output_dir): 批量处理目录下的所有文件 all_splits [] for filename in os.listdir(input_dir): if filename.endswith((.txt, .pdf)): file_path os.path.join(input_dir, filename) splits self.load_and_split(file_path) all_splits.extend(splits) # 保存处理后的文本块可选用于调试 if not os.path.exists(output_dir): os.makedirs(output_dir) output_file os.path.join(output_dir, processed_chunks.jsonl) with open(output_file, w, encodingutf-8) as f: for doc in all_splits: import json f.write(json.dumps({text: doc.page_content, metadata: doc.metadata}, ensure_asciiFalse) \n) return all_splits if __name__ __main__: processor LawDataProcessor(chunk_size300, chunk_overlap30) # 法律条文较短块可以小一些 docs processor.process_directory(../data/raw, ../data/processed)关键参数解释chunk_size每个文本块的最大字符数。太小会丢失上下文太大会降低检索精度。对于法律条文300-500 是一个合理的范围。chunk_overlap块之间的重叠字符数。防止一个完整的句子或条文被割裂到两个块中。3.2 向量化与存储我们将使用sentence-transformers生成文本向量并用轻量级的Chroma作为向量数据库。在src/retriever.py中from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma from langchain.schema import Document import os class LawRetriever: def __init__(self, persist_directory./knowledge_base): # 选择适合中文的嵌入模型 self.embedding_model HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh-v1.5, # 中文小模型效果不错 model_kwargs{device: cuda}, # 或 cpu encode_kwargs{normalize_embeddings: True} # 归一化提升余弦相似度效果 ) self.persist_directory persist_directory self.vectorstore None def create_knowledge_base(self, documents): 从文档创建向量数据库 print(Creating vector database...) self.vectorstore Chroma.from_documents( documentsdocuments, embeddingself.embedding_model, persist_directoryself.persist_directory ) self.vectorstore.persist() print(fKnowledge base created and persisted to {self.persist_directory}) def load_knowledge_base(self): 加载已存在的向量数据库 if os.path.exists(self.persist_directory): self.vectorstore Chroma( persist_directoryself.persist_directory, embedding_functionself.embedding_model ) print(Knowledge base loaded.) return True else: print(Knowledge base directory does not exist.) return False def similarity_search(self, query, k3): 检索最相关的 k 个文本块 if self.vectorstore is None: raise ValueError(Vectorstore not initialized. Please create or load knowledge base first.) results self.vectorstore.similarity_search(query, kk) return results if __name__ __main__: from data_processor import LawDataProcessor # 1. 处理数据 processor LawDataProcessor() docs processor.process_directory(../data/raw, ../data/processed) # 2. 构建知识库 retriever LawRetriever() retriever.create_knowledge_base(docs) # 3. 测试检索 test_query 盗窃罪数额巨大的量刑标准是什么 retrieved retriever.similarity_search(test_query, k2) for i, doc in enumerate(retrieved): print(f\n--- Result {i1} ---) print(fContent: {doc.page_content[:200]}...) print(fSource: {doc.metadata.get(source)})运行此脚本完成知识库的构建。BAAI/bge-small-zh-v1.5是一个在中文文本相似度任务上表现良好的轻量级模型适合本地部署。4. 加载与集成 Qwen 大模型有了知识库下一步是准备能够理解和生成法律文本的大模型。4.1 下载与加载 Qwen 基座模型从 ModelScope 或 Hugging Face 下载 Qwen 模型。这里以Qwen2-7B-Instruct为例它是一个经过指令微调的版本更适合对话和问答。在src/model_loader.py中我们编写一个安全的模型加载器from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig import torch from peft import PeftModel import warnings warnings.filterwarnings(ignore) class QwenModelLoader: def __init__(self, model_name_or_pathQwen/Qwen2-7B-Instruct, device_mapauto): self.model_name_or_path model_name_or_path self.device_map device_map self.tokenizer None self.model None def load_base_model(self, use_4bit_quantizationFalse): 加载基座模型可选择 4-bit 量化以节省显存 print(fLoading base model: {self.model_name_or_path}) # 配置 Tokenizer self.tokenizer AutoTokenizer.from_pretrained( self.model_name_or_path, trust_remote_codeTrue, # Qwen 需要此参数 padding_sideleft # 生成时通常左侧填充 ) # 设置 pad_token if self.tokenizer.pad_token is None: self.tokenizer.pad_token self.tokenizer.eos_token # 配置模型加载参数 model_kwargs { torch_dtype: torch.float16, device_map: self.device_map, trust_remote_code: True } if use_4bit_quantization: # 使用 BitsAndBytes 进行 4-bit 量化 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_quant_typenf4, bnb_4bit_use_double_quantTrue, ) model_kwargs[quantization_config] bnb_config model_kwargs[torch_dtype] None # 量化时 dtype 由 config 控制 self.model AutoModelForCausalLM.from_pretrained( self.model_name_or_path, **model_kwargs ) # 设置为评估模式 self.model.eval() print(Base model loaded successfully.) return self.model, self.tokenizer def load_lora_adapter(self, lora_path): 加载 LoRA 适配器权重 if self.model is None: raise ValueError(Please load the base model first.) print(fLoading LoRA adapter from: {lora_path}) self.model PeftModel.from_pretrained(self.model, lora_path) print(LoRA adapter loaded successfully.) return self.model def generate(self, prompt, max_new_tokens512, temperature0.1): 生成文本 if self.model is None or self.tokenizer is None: raise ValueError(Model or tokenizer not loaded.) inputs self.tokenizer(prompt, return_tensorspt, paddingTrue, truncationTrue).to(self.model.device) with torch.no_grad(): outputs self.model.generate( **inputs, max_new_tokensmax_new_tokens, temperaturetemperature, do_sampletemperature 0, # 温度0时采样 top_p0.9, repetition_penalty1.1, pad_token_idself.tokenizer.pad_token_id, eos_token_idself.tokenizer.eos_token_id, ) response self.tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response关键点与 Debug 提示trust_remote_codeTrue加载 Qwen 模型必须设置此参数因为它使用了自定义的模型代码。pad_token设置如果 tokenizer 没有 pad_token需要手动设置为 eos_token否则在 batch 处理或生成时可能报错。4-bit 量化如果显存不足例如小于 16GB设置use_4bit_quantizationTrue可以大幅降低显存占用使 7B 模型能在 8GB 显存上运行但可能会轻微影响精度。device_map“auto”让accelerate库自动分配模型层到可用的 GPU 或 CPU 上对于多卡或混合设备环境很方便。4.2 构建 RAG 问答流水线现在我们将检索器Retriever和生成器Generator组装起来。在src/rag_pipeline.py中class LawRAGPipeline: def __init__(self, retriever, model_loader): self.retriever retriever self.model_loader model_loader def build_prompt(self, query, context_docs): 构建包含上下文和问题的提示词模板 context \n\n.join([doc.page_content for doc in context_docs]) # 使用适合 Qwen-Instruct 的聊天模板 prompt f你是一个专业的法律AI助手请严格根据提供的《中华人民共和国刑法》相关条文回答用户的问题。 如果提供的法条中没有明确依据请如实告知“根据提供的资料无法找到明确依据”不要编造信息。 相关法律条文 {context} 用户问题{query} 请给出专业、准确的法律意见 return prompt def ask(self, query, k3): 核心问答函数 # 1. 检索 relevant_docs self.retriever.similarity_search(query, kk) if not relevant_docs: return 抱歉知识库中未找到相关信息。, [] # 2. 构建 Prompt prompt self.build_prompt(query, relevant_docs) # print(\n Debug: Generated Prompt ) # 调试时可打开 # print(prompt) # 3. 生成 try: answer self.model_loader.generate(prompt, max_new_tokens512, temperature0.1) except Exception as e: answer f生成答案时出错{e} return answer, relevant_docs if __name__ __main__: # 集成测试 from retriever import LawRetriever from model_loader import QwenModelLoader # 初始化组件 print(Initializing components...) retriever LawRetriever() if not retriever.load_knowledge_base(): print(Please create knowledge base first.) exit(1) model_loader QwenModelLoader(model_name_or_pathQwen/Qwen2-7B-Instruct) model_loader.load_base_model(use_4bit_quantizationTrue) # 根据显存调整 # 创建流水线 pipeline LawRAGPipeline(retriever, model_loader) # 测试问答 test_queries [ 什么是累犯, 盗窃公私财物数额巨大的怎么判刑, 故意杀人但情节较轻会判多少年 ] for q in test_queries: print(f\n{*50}) print(fQuery: {q}) answer, docs pipeline.ask(q, k2) print(fAnswer: {answer}) print(fRetrieved {len(docs)} relevant document(s).)运行此脚本你将看到模型基于检索到的法条生成的答案。此时模型尚未经过法律领域微调答案可能格式不规范或包含通用描述。5. 使用 LoRA 微调 Qwen 适应法律领域为了让模型输出更专业、更符合法律文书风格我们需要用法律相关的指令数据对其进行微调。5.1 准备微调数据微调数据通常是指令-输出对Instruction-Output。我们需要构造一个 JSON 文件例如data/fine_tune_data.jsonl每一行是一个样本{instruction: 根据《刑法》规定解释什么是‘故意伤害罪’。, output: 故意伤害罪是指故意非法损害他人身体健康的行为。根据《中华人民共和国刑法》第二百三十四条故意伤害他人身体的处三年以下有期徒刑、拘役或者管制。致人重伤的处三年以上十年以下有期徒刑致人死亡或者以特别残忍手段致人重伤造成严重残疾的处十年以上有期徒刑、无期徒刑或者死刑。} {instruction: 预测一下盗窃数额巨大且是累犯可能会如何量刑, output: 根据《刑法》第二百六十四条盗窃公私财物数额巨大或者有其他严重情节的处三年以上十年以下有期徒刑并处罚金。同时根据第六十五条累犯应当从重处罚。因此对于盗窃数额巨大的累犯可能会在三年以上十年以下有期徒刑的幅度内从重判处例如判处六年或七年有期徒刑并处罚金。具体刑期需结合案件其他情节确定。} {instruction: 生成关于‘自首’情节在量刑中作用的司法解释风格说明。, output: 根据《最高人民法院关于常见犯罪的量刑指导意见》等相关司法解释对于自首情节综合考虑自首的动机、时间、方式、罪行轻重、如实供述罪行的程度以及悔罪表现等情况可以减少基准刑的40%以下犯罪较轻的可以减少基准刑的40%以上或者依法免除处罚。恶意利用自首规避法律制裁等不足以从宽处罚的除外。}数据可以从公开的法律问答社区、判决文书网去除敏感信息或通过专业法律知识构造。质量比数量更重要几百条高质量数据对 LoRA 微调已有明显效果。5.2 编写 LoRA 微调脚本我们使用peft和transformers库进行 LoRA 微调。在src/train_lora.py中import json from datasets import Dataset from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq from peft import LoraConfig, get_peft_model, TaskType import torch def load_and_preprocess_data(file_path, tokenizer, max_length512): 加载并预处理微调数据 instructions [] outputs [] with open(file_path, r, encodingutf-8) as f: for line in f: data json.loads(line) instructions.append(data[instruction]) outputs.append(data[output]) # 构建模型输入格式 (Qwen2-Instruct 使用 ChatML 格式) formatted_prompts [] for instr, out in zip(instructions, outputs): # 简单构建指令微调格式 messages [ {role: user, content: instr}, {role: assistant, content: out} ] # 使用 tokenizer 的 apply_chat_template 方法如果支持 # 这里简化处理直接拼接 prompt f|im_start|user\n{instr}|im_end|\n|im_start|assistant\n{out}|im_end|\n formatted_prompts.append(prompt) # 对文本进行 Tokenization tokenized_data tokenizer( formatted_prompts, truncationTrue, paddingmax_length, max_lengthmax_length, return_tensorspt ) # 标签就是输入ID因为我们是因果语言建模 tokenized_data[labels] tokenized_data[input_ids].clone() return Dataset.from_dict(tokenized_data) def train(): model_name Qwen/Qwen2-7B-Instruct output_dir ../model/lora_adapter/criminal_law_lora data_path ../data/fine_tune_data.jsonl # 1. 加载 Tokenizer 和模型 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) # 2. 配置 LoRA lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果语言模型任务 r8, # LoRA 秩影响参数量和效果通常 8, 16, 32 lora_alpha32, # 缩放参数通常设为 r 的 2-4 倍 lora_dropout0.1, # Dropout 防止过拟合 target_modules[q_proj, k_proj, v_proj, o_proj], # 针对 Qwen 的注意力模块 biasnone ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可训练参数量应该只占很小比例 # 3. 准备数据 dataset load_and_preprocess_data(data_path, tokenizer) data_collator DataCollatorForSeq2Seq(tokenizertokenizer, modelmodel, paddingTrue) # 4. 配置训练参数 training_args TrainingArguments( output_diroutput_dir, per_device_train_batch_size2, # 根据显存调整 gradient_accumulation_steps4, # 模拟更大 batch size num_train_epochs3, # 训练轮数 learning_rate2e-4, # LoRA 常用学习率 fp16True, # 混合精度训练节省显存 logging_steps10, save_steps200, save_total_limit2, remove_unused_columnsFalse, push_to_hubFalse, report_tonone # 可以设置为 tensorboard ) # 5. 创建 Trainer 并训练 trainer Trainer( modelmodel, argstraining_args, train_datasetdataset, data_collatordata_collator, tokenizertokenizer, ) trainer.train() trainer.save_model(output_dir) tokenizer.save_pretrained(output_dir) print(fTraining complete. Model saved to {output_dir}) if __name__ __main__: train()关键参数与 Debug 提示target_modules指定将 LoRA 适配器加到模型的哪些线性层。对于 Qwen/Llama 架构的模型通常是注意力机制中的q_proj,k_proj,v_proj,o_proj。如果效果不佳可以尝试加入gate_proj,up_proj,down_projFFN层。per_device_train_batch_size如果出现 CUDA out of memory (OOM)首先降低此值。也可以尝试开启梯度检查点gradient_checkpointingTrue。数据格式不同的模型有不同的指令模板。上述示例是简化版。更严谨的做法是使用tokenizer.apply_chat_template()来构建符合模型原始训练格式的输入。请查阅 Qwen 官方文档获取正确的聊天模板。训练后加载训练完成后在model_loader.py的load_lora_adapter方法中指定lora_path为../model/lora_adapter/criminal_law_lora即可加载微调后的权重。6. 运行验证与效果对比将 LoRA 微调后的模型集成到 RAG 流水线中进行效果验证。修改main.py或创建一个测试脚本# test_integration.py from src.retriever import LawRetriever from src.model_loader import QwenModelLoader from src.rag_pipeline import LawRAGPipeline def test_with_and_without_lora(): # 1. 加载检索器 retriever LawRetriever() retriever.load_knowledge_base() # 2. 加载基础模型未微调 print( Testing with Base Model (No LoRA) ) base_loader QwenModelLoader(Qwen/Qwen2-7B-Instruct) base_loader.load_base_model(use_4bit_quantizationTrue) base_pipeline LawRAGPipeline(retriever, base_loader) query 请预测盗窃数额巨大且是累犯的刑期。 answer_base, _ base_pipeline.ask(query) print(fQuery: {query}) print(fBase Model Answer:\n{answer_base}\n) # 3. 加载 LoRA 微调后的模型 print(\n Testing with LoRA Fine-tuned Model ) lora_loader QwenModelLoader(Qwen/Qwen2-7B-Instruct) lora_loader.load_base_model(use_4bit_quantizationTrue) lora_loader.load_lora_adapter(../model/lora_adapter/criminal_law_lora) # 路径指向你的 LoRA 权重 lora_pipeline LawRAGPipeline(retriever, lora_loader) answer_lora, docs lora_pipeline.ask(query) print(fLoRA Model Answer:\n{answer_lora}\n) print(Retrieved Context:) for i, doc in enumerate(docs): print(f[Doc {i1}] {doc.page_content[:150]}...) if __name__ __main__: test_with_and_without_lora()预期效果对比基础模型可能回答“盗窃罪一般判三年以下...累犯会从重处罚”但表述可能笼统缺乏具体的法条引用和刑期幅度分析。LoRA微调模型回答应更专业结构更清晰例如“根据《刑法》第264条盗窃数额巨大处三年以上十年以下有期徒刑并处罚金。同时根据第65条累犯应当从重处罚。因此综合判断可能会在三年至十年有期徒刑的幅度内判处较重的刑罚例如六年以上有期徒刑。具体需结合案件细节。” 并且更倾向于使用法律术语。7. 常见问题排查与 Debug 指南在实际操作中你几乎一定会遇到以下问题。这里提供系统的排查路径。7.1 模型加载失败或报错问题现象可能原因检查与解决OSError: Unable to load weights...模型路径错误或文件不完整。1. 确认model_name_or_path是有效的 Hugging Face 模型ID或本地路径。2. 本地路径需包含config.json,pytorch_model.bin(或.safetensors) 等文件。3. 运行from_pretrained时设置local_files_onlyTrue测试本地文件。TypeError: ... trust_remote_code加载 Qwen 模型未设置trust_remote_codeTrue。在AutoTokenizer.from_pretrained和AutoModelForCausalLM.from_pretrained中均添加trust_remote_codeTrue参数。CUDA out of memory显存不足。1. 使用use_4bit_quantizationTrue。2. 降低per_device_train_batch_size。3. 使用gradient_checkpointingTrue训练时。4. 考虑使用更小的模型如 Qwen-1.8B。KeyError: ‘pad_token_id’Tokenizer 未设置 pad_token。添加代码if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token。7.2 RAG 检索效果差问题现象可能原因检查与解决检索到的内容不相关。1. 文本切分不合理破坏了条文完整性。2. 嵌入模型不适合中文法律文本。3. 查询语句与文档表述差异大。1. 调整chunk_size和chunk_overlap尝试按“条”或“款”切分。2. 更换嵌入模型如BAAI/bge-large-zh-v1.5更大效果更好。3. 对查询进行关键词提取或同义词扩展后再检索。检索速度慢。1. 嵌入模型在 CPU 上运行。2. 向量数据库未使用索引。1. 确保HuggingFaceEmbeddings的model_kwargs中设置了{‘device’: ‘cuda’}。2. Chroma 默认使用内存索引对于大数据集10万条可考虑 Milvus 或 PGVector。7.3 模型生成内容不佳问题现象可能原因检查与解决答案未引用检索到的法条。Prompt 模板设计不佳模型未理解要利用上下文。优化 Prompt 模板使用更强烈的指令如“请严格根据以下条文回答…”并在上下文中加入明显标记。答案存在幻觉编造法条。1. 模型未经过领域微调通用性强。2. 检索到的上下文不足或无关。1. 进行 LoRA 微调强化其遵循上下文的指令遵循能力。2. 增加检索数量k或改进检索质量。3. 在 Prompt 中加入约束“如果提供的法条中没有明确依据请回答‘无法找到依据’。”答案冗长或格式混乱。生成参数temperature过高。降低temperature(如 0.1) 使输出更确定。调整max_new_tokens限制长度。微调后模型输出乱码或性能下降。1. 训练数据格式与模型预训练格式不匹配。2. 学习率过高训练轮次过多导致过拟合。1. 严格按照 Qwen 的 ChatML 格式准备训练数据。2. 降低学习率如从 2e-4 到 1e-4减少训练轮次并保留验证集监控损失。7.4 流水线集成错误问题现象可能原因检查与解决模块导入错误 (ModuleNotFoundError)。项目路径未添加到 Python 路径。在脚本开头添加import sys; sys.path.append(‘..’)或使用相对导入时确保在项目根目录下运行。向量数据库连接失败。Chroma 持久化目录权限问题或文件损坏。检查persist_directory路径是否存在且可写。尝试删除目录重新构建知识库。8. 生产环境最佳实践与扩展方向将原型推进到生产环境需要考虑更多因素。8.1 性能与稳定性优化模型量化与服务化使用GPTQ或AWQ进行更低比特的量化进一步提升推理速度并降低显存。使用vLLM、TGI(Text Generation Inference) 或FastChat部署模型服务获得高并发推理能力。检索增强混合检索结合基于关键词的稀疏检索如 BM25和向量检索提升召回率。重排序使用更精细的交叉编码器模型对初步检索结果进行重排序提升 top-k 的相关性。元数据过滤为文档添加“章节”、“罪名类型”、“颁布年份”等元数据检索时进行过滤提高精度。缓存策略对常见查询如“什么是故意杀人罪”的结果进行缓存避免重复检索和推理。8.2 安全与合规性输入输出过滤对用户输入进行严格的敏感词和恶意 Prompt 检测。对模型输出进行后处理过滤掉不符合法律法规、伦理道德或带有偏见的内容。结果不确定性声明在系统界面明确提示“本结果基于AI模型生成仅供参考不构成正式法律意见”并引导用户咨询专业律师。数据安全确保训练和检索用的法律数据来源合法、内容准确。用户查询日志需进行脱敏处理。8.3 系统扩展方向多模态输入结合 Qwen-VL 模型处理包含图表、现场照片需脱敏等视觉信息的法律材料。Agentic RAG让模型具备自主决策能力例如当检索结果不充分时自动拆解问题、进行多轮检索或调用法律计算工具如刑期计算器。领域扩展将知识库从刑法扩展到民法、行政法、公司法等并训练对应的 LoRA 适配器通过路由机制调用不同的适配器。持续学习建立反馈机制将人工纠正的答案作为新的训练数据定期更新 LoRA 权重使模型持续进化。通过本文的实践你不仅搭建了一个可用的法律大模型应用更掌握了一套解决垂直领域大模型“幻觉”和知识更新问题的通用方法论。核心在于理解 RAG 与微调并非互斥而是互补RAG 提供准确、可追溯的外部知识LoRA 微调则让模型学会如何专业地理解和运用这些知识。在实际项目中从高质量的数据准备开始逐步迭代检索策略、Prompt 工程和微调数据是提升系统效果最可靠的路径。 基于Qwen+RAG+LoRA构建法律大模型：从原理到实战部署
在实际法律科技和司法智能化场景中如何让大模型准确理解复杂的法律条文、进行专业的罪名识别、刑期预测乃至生成司法解释是一个极具挑战性的工程问题。直接使用通用大模型往往会产生“幻觉”输出不准确或脱离法条的内容。本文将以一个“手撕刑法大模型”的实战项目为例系统讲解如何结合 Qwen 大模型、RAG 检索增强生成和 LoRA 微调技术构建一个能够进行专业法律推理的智能系统。我们将从零开始完成一个涵盖罪名识别、刑期预测和司法解释生成三大核心功能的原型并重点解决开发过程中可能遇到的配置、数据、推理和部署问题。本文适合有一定 Python 和深度学习基础希望将大模型应用于垂直领域如法律、金融、医疗的开发者。通过本文你将掌握如何搭建一个基于 RAG 的知识库系统如何利用 LoRA 高效微调大模型以适应专业领域以及如何将两者结合构建一个既具备通用知识又拥有领域专精能力的混合智能体。我们将使用 Qwen 系列模型作为基座因其优秀的开源生态和对中文的良好支持。1. 理解技术栈为什么是 Qwen RAG LoRA在开始动手之前必须厘清我们为何选择这套技术组合。每一层技术都为了解决特定问题它们的结合构成了一个稳健的垂直领域大模型应用架构。1.1 Qwen强大且开源的中文基座模型Qwen通义千问是阿里云开源的大语言模型系列。选择 Qwen 而非其他模型主要基于以下几点工程考量优秀的原生中文能力Qwen 在预训练阶段使用了高质量的中文语料对中文法律文本的理解和生成更为自然、准确。丰富的模型尺寸从 0.5B 到 72B 等多种规格便于我们在资源显存、速度和效果之间进行权衡。对于本地部署和微调Qwen-7B 或 Qwen-14B 是常见的起点。完善的工具链提供了 Transformers 格式的模型、详细的部署指南和微调脚本社区活跃问题容易找到解决方案。宽松的开源协议允许商业使用为项目后续发展扫清了法律障碍。1.2 RAG为模型注入准确、实时的外部知识大模型的“幻觉”问题在严肃的法律场景中是致命的。RAG 的核心思想是在回答用户问题前先从外部知识库如刑法条文、司法解释、案例库中检索出最相关的文档片段然后将这些片段和原始问题一起交给大模型生成答案。解决知识更新滞后法律条文会修订而预训练模型的知识是静态的。RAG 允许我们随时更新知识库文件模型就能基于最新条文作答。提升答案的可信度与可解释性模型生成的答案可以引用检索到的具体法条如“根据《中华人民共和国刑法》第二百六十四条…”这使得答案有据可查增强了可信度。降低模型负担模型无需记忆海量具体的法条细节只需专注于理解和推理。知识存储的任务交给专门的向量数据库。1.3 LoRA低成本、高效率的领域适应微调全参数微调一个大模型需要巨大的计算资源。LoRA 是一种参数高效的微调方法它冻结预训练模型的权重只在原始模型结构中插入少量的、可训练的“低秩适配器”层。极大节省显存与时间通常只需微调原模型参数的 0.1%~1%就能达到接近全参数微调的效果使得在消费级显卡如 RTX 3090/4090上微调 7B/14B 模型成为可能。便于模块化管理训练得到的 LoRA 权重文件很小几十到几百 MB可以像插件一样加载或卸载方便针对不同法律子领域如刑法、民法训练不同的适配器。保留通用能力由于原始模型权重被冻结模型在通用语言理解上的能力不会因为领域微调而严重退化。三者协作流程离线阶段将《刑法》全文、司法解释等文本进行切分、向量化存入向量数据库如 Milvus, Chroma。同时使用领域数据如法律问答对对 Qwen 基座模型进行 LoRA 微调使其更“懂法言法语”。在线阶段用户提问“盗窃数额巨大且是累犯怎么判”RAG 系统从向量数据库中检索出与“盗窃罪”、“数额巨大”、“累犯”相关的法条和司法解释片段。将检索到的片段和用户问题组合成提示词Prompt输入给经过 LoRA 微调的 Qwen 模型。模型结合外部知识和内部的法律推理能力生成最终答案“根据《刑法》第264条…可能判处三年以上十年以下有期徒刑并处罚金。同时根据第65条对于累犯应当从重处罚…”2. 环境准备与项目结构搭建一个清晰的项目结构是后续一切工作的基础。我们将创建一个标准的 Python 项目。2.1 基础环境与依赖首先确保你的开发环境满足以下要求Python: 3.8 或以上版本。CUDA: 11.7 或 11.8与 PyTorch 版本匹配。使用nvidia-smi命令检查驱动和 CUDA 版本。显存: 建议至少 16GB。运行 Qwen-7B 推理约需 14GB微调则需要更多。可使用量化技术如 GPTQ, AWQ降低显存需求。创建并激活虚拟环境然后安装核心依赖# 创建项目目录 mkdir law-llm-project cd law-llm-project # 创建虚拟环境 python -m venv venv # Windows 激活 venv\Scripts\activate # Linux/Mac 激活 source venv/bin/activate # 安装 PyTorch (请根据你的 CUDA 版本访问 pytorch.org 获取正确命令) # 例如对于 CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装核心库 pip install transformers accelerate peft # 模型加载、加速、LoRA pip install langchain langchain-community # RAG 应用框架 pip install sentence-transformers chromadb # 文本向量化与向量数据库轻量级选择 pip install pypdf python-docx # 用于解析 PDF/DOCX 格式的法律文档 pip install jupyter # 可选用于实验和调试2.2 项目目录结构建立如下目录结构这是保持代码可维护性的关键。law-llm-project/ ├── data/ # 存放原始数据 │ ├── raw/ # 原始法律文本如刑法.txt司法解释.pdf │ └── processed/ # 处理后的数据如切分后的文本块 ├── knowledge_base/ # 向量数据库持久化目录 ├── model/ # 模型相关 │ ├── base_model/ # 下载的原始 Qwen 模型 │ └── lora_adapter/ # 训练好的 LoRA 权重 ├── src/ # 源代码 │ ├── __init__.py │ ├── data_processor.py # 数据清洗、切分逻辑 │ ├── retriever.py # 构建和查询向量数据库 │ ├── model_loader.py # 加载基座模型和 LoRA 权重 │ ├── rag_pipeline.py # RAG 问答流水线 │ └── train_lora.py # LoRA 微调脚本 ├── config.yaml # 配置文件模型路径、参数等 ├── requirements.txt # 依赖列表 └── main.py # 主程序入口2.3 准备法律文本数据这是 RAG 系统的“知识源泉”。你需要准备结构化的法律文本。例如创建一个data/raw/criminal_law.txt文件内容格式如下第二百三十二条 【故意杀人罪】故意杀人的处死刑、无期徒刑或者十年以上有期徒刑情节较轻的处三年以上十年以下有期徒刑。 第二百六十四条 【盗窃罪】盗窃公私财物数额较大的或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的处三年以下有期徒刑、拘役或者管制并处或者单处罚金数额巨大或者有其他严重情节的处三年以上十年以下有期徒刑并处罚金数额特别巨大或者有其他特别严重情节的处十年以上有期徒刑或者无期徒刑并处罚金或者没收财产。 第六十五条 【累犯】被判处有期徒刑以上刑罚的犯罪分子刑罚执行完毕或者赦免以后在五年以内再犯应当判处有期徒刑以上刑罚之罪的是累犯应当从重处罚但是过失犯罪和不满十八周岁的人犯罪的除外。 ...注意数据质量决定上限。务必使用权威、准确的法律文本。可以从中国人大网、最高人民法院等官方网站获取。数据应尽可能干净去除无关的页眉页脚、注释编号等。3. 构建 RAG 知识库从文本到向量检索RAG 的第一步是构建一个可以高效检索的法律知识库。3.1 文本加载与切分法律条文具有结构性简单的按字符切分会破坏条文完整性。我们采用基于语义的切分策略。在src/data_processor.py中from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.document_loaders import TextLoader, PyPDFLoader import os class LawDataProcessor: def __init__(self, chunk_size512, chunk_overlap50): # 使用递归字符分割器优先按段落、句子分割 self.text_splitter RecursiveCharacterTextSplitter( chunk_sizechunk_size, chunk_overlapchunk_overlap, separators[\n\n, \n, 。, , , , ] ) def load_and_split(self, file_path): 加载单个文件并切分 if file_path.endswith(.txt): loader TextLoader(file_path, encodingutf-8) elif file_path.endswith(.pdf): loader PyPDFLoader(file_path) else: raise ValueError(fUnsupported file type: {file_path}) documents loader.load() # 为每个文档添加元数据如来源 for doc in documents: doc.metadata[source] os.path.basename(file_path) split_docs self.text_splitter.split_documents(documents) print(fLoaded {len(documents)} documents, split into {len(split_docs)} chunks.) return split_docs def process_directory(self, input_dir, output_dir): 批量处理目录下的所有文件 all_splits [] for filename in os.listdir(input_dir): if filename.endswith((.txt, .pdf)): file_path os.path.join(input_dir, filename) splits self.load_and_split(file_path) all_splits.extend(splits) # 保存处理后的文本块可选用于调试 if not os.path.exists(output_dir): os.makedirs(output_dir) output_file os.path.join(output_dir, processed_chunks.jsonl) with open(output_file, w, encodingutf-8) as f: for doc in all_splits: import json f.write(json.dumps({text: doc.page_content, metadata: doc.metadata}, ensure_asciiFalse) \n) return all_splits if __name__ __main__: processor LawDataProcessor(chunk_size300, chunk_overlap30) # 法律条文较短块可以小一些 docs processor.process_directory(../data/raw, ../data/processed)关键参数解释chunk_size每个文本块的最大字符数。太小会丢失上下文太大会降低检索精度。对于法律条文300-500 是一个合理的范围。chunk_overlap块之间的重叠字符数。防止一个完整的句子或条文被割裂到两个块中。3.2 向量化与存储我们将使用sentence-transformers生成文本向量并用轻量级的Chroma作为向量数据库。在src/retriever.py中from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma from langchain.schema import Document import os class LawRetriever: def __init__(self, persist_directory./knowledge_base): # 选择适合中文的嵌入模型 self.embedding_model HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh-v1.5, # 中文小模型效果不错 model_kwargs{device: cuda}, # 或 cpu encode_kwargs{normalize_embeddings: True} # 归一化提升余弦相似度效果 ) self.persist_directory persist_directory self.vectorstore None def create_knowledge_base(self, documents): 从文档创建向量数据库 print(Creating vector database...) self.vectorstore Chroma.from_documents( documentsdocuments, embeddingself.embedding_model, persist_directoryself.persist_directory ) self.vectorstore.persist() print(fKnowledge base created and persisted to {self.persist_directory}) def load_knowledge_base(self): 加载已存在的向量数据库 if os.path.exists(self.persist_directory): self.vectorstore Chroma( persist_directoryself.persist_directory, embedding_functionself.embedding_model ) print(Knowledge base loaded.) return True else: print(Knowledge base directory does not exist.) return False def similarity_search(self, query, k3): 检索最相关的 k 个文本块 if self.vectorstore is None: raise ValueError(Vectorstore not initialized. Please create or load knowledge base first.) results self.vectorstore.similarity_search(query, kk) return results if __name__ __main__: from data_processor import LawDataProcessor # 1. 处理数据 processor LawDataProcessor() docs processor.process_directory(../data/raw, ../data/processed) # 2. 构建知识库 retriever LawRetriever() retriever.create_knowledge_base(docs) # 3. 测试检索 test_query 盗窃罪数额巨大的量刑标准是什么 retrieved retriever.similarity_search(test_query, k2) for i, doc in enumerate(retrieved): print(f\n--- Result {i1} ---) print(fContent: {doc.page_content[:200]}...) print(fSource: {doc.metadata.get(source)})运行此脚本完成知识库的构建。BAAI/bge-small-zh-v1.5是一个在中文文本相似度任务上表现良好的轻量级模型适合本地部署。4. 加载与集成 Qwen 大模型有了知识库下一步是准备能够理解和生成法律文本的大模型。4.1 下载与加载 Qwen 基座模型从 ModelScope 或 Hugging Face 下载 Qwen 模型。这里以Qwen2-7B-Instruct为例它是一个经过指令微调的版本更适合对话和问答。在src/model_loader.py中我们编写一个安全的模型加载器from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig import torch from peft import PeftModel import warnings warnings.filterwarnings(ignore) class QwenModelLoader: def __init__(self, model_name_or_pathQwen/Qwen2-7B-Instruct, device_mapauto): self.model_name_or_path model_name_or_path self.device_map device_map self.tokenizer None self.model None def load_base_model(self, use_4bit_quantizationFalse): 加载基座模型可选择 4-bit 量化以节省显存 print(fLoading base model: {self.model_name_or_path}) # 配置 Tokenizer self.tokenizer AutoTokenizer.from_pretrained( self.model_name_or_path, trust_remote_codeTrue, # Qwen 需要此参数 padding_sideleft # 生成时通常左侧填充 ) # 设置 pad_token if self.tokenizer.pad_token is None: self.tokenizer.pad_token self.tokenizer.eos_token # 配置模型加载参数 model_kwargs { torch_dtype: torch.float16, device_map: self.device_map, trust_remote_code: True } if use_4bit_quantization: # 使用 BitsAndBytes 进行 4-bit 量化 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_quant_typenf4, bnb_4bit_use_double_quantTrue, ) model_kwargs[quantization_config] bnb_config model_kwargs[torch_dtype] None # 量化时 dtype 由 config 控制 self.model AutoModelForCausalLM.from_pretrained( self.model_name_or_path, **model_kwargs ) # 设置为评估模式 self.model.eval() print(Base model loaded successfully.) return self.model, self.tokenizer def load_lora_adapter(self, lora_path): 加载 LoRA 适配器权重 if self.model is None: raise ValueError(Please load the base model first.) print(fLoading LoRA adapter from: {lora_path}) self.model PeftModel.from_pretrained(self.model, lora_path) print(LoRA adapter loaded successfully.) return self.model def generate(self, prompt, max_new_tokens512, temperature0.1): 生成文本 if self.model is None or self.tokenizer is None: raise ValueError(Model or tokenizer not loaded.) inputs self.tokenizer(prompt, return_tensorspt, paddingTrue, truncationTrue).to(self.model.device) with torch.no_grad(): outputs self.model.generate( **inputs, max_new_tokensmax_new_tokens, temperaturetemperature, do_sampletemperature 0, # 温度0时采样 top_p0.9, repetition_penalty1.1, pad_token_idself.tokenizer.pad_token_id, eos_token_idself.tokenizer.eos_token_id, ) response self.tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) return response关键点与 Debug 提示trust_remote_codeTrue加载 Qwen 模型必须设置此参数因为它使用了自定义的模型代码。pad_token设置如果 tokenizer 没有 pad_token需要手动设置为 eos_token否则在 batch 处理或生成时可能报错。4-bit 量化如果显存不足例如小于 16GB设置use_4bit_quantizationTrue可以大幅降低显存占用使 7B 模型能在 8GB 显存上运行但可能会轻微影响精度。device_map“auto”让accelerate库自动分配模型层到可用的 GPU 或 CPU 上对于多卡或混合设备环境很方便。4.2 构建 RAG 问答流水线现在我们将检索器Retriever和生成器Generator组装起来。在src/rag_pipeline.py中class LawRAGPipeline: def __init__(self, retriever, model_loader): self.retriever retriever self.model_loader model_loader def build_prompt(self, query, context_docs): 构建包含上下文和问题的提示词模板 context \n\n.join([doc.page_content for doc in context_docs]) # 使用适合 Qwen-Instruct 的聊天模板 prompt f你是一个专业的法律AI助手请严格根据提供的《中华人民共和国刑法》相关条文回答用户的问题。 如果提供的法条中没有明确依据请如实告知“根据提供的资料无法找到明确依据”不要编造信息。 相关法律条文 {context} 用户问题{query} 请给出专业、准确的法律意见 return prompt def ask(self, query, k3): 核心问答函数 # 1. 检索 relevant_docs self.retriever.similarity_search(query, kk) if not relevant_docs: return 抱歉知识库中未找到相关信息。, [] # 2. 构建 Prompt prompt self.build_prompt(query, relevant_docs) # print(\n Debug: Generated Prompt ) # 调试时可打开 # print(prompt) # 3. 生成 try: answer self.model_loader.generate(prompt, max_new_tokens512, temperature0.1) except Exception as e: answer f生成答案时出错{e} return answer, relevant_docs if __name__ __main__: # 集成测试 from retriever import LawRetriever from model_loader import QwenModelLoader # 初始化组件 print(Initializing components...) retriever LawRetriever() if not retriever.load_knowledge_base(): print(Please create knowledge base first.) exit(1) model_loader QwenModelLoader(model_name_or_pathQwen/Qwen2-7B-Instruct) model_loader.load_base_model(use_4bit_quantizationTrue) # 根据显存调整 # 创建流水线 pipeline LawRAGPipeline(retriever, model_loader) # 测试问答 test_queries [ 什么是累犯, 盗窃公私财物数额巨大的怎么判刑, 故意杀人但情节较轻会判多少年 ] for q in test_queries: print(f\n{*50}) print(fQuery: {q}) answer, docs pipeline.ask(q, k2) print(fAnswer: {answer}) print(fRetrieved {len(docs)} relevant document(s).)运行此脚本你将看到模型基于检索到的法条生成的答案。此时模型尚未经过法律领域微调答案可能格式不规范或包含通用描述。5. 使用 LoRA 微调 Qwen 适应法律领域为了让模型输出更专业、更符合法律文书风格我们需要用法律相关的指令数据对其进行微调。5.1 准备微调数据微调数据通常是指令-输出对Instruction-Output。我们需要构造一个 JSON 文件例如data/fine_tune_data.jsonl每一行是一个样本{instruction: 根据《刑法》规定解释什么是‘故意伤害罪’。, output: 故意伤害罪是指故意非法损害他人身体健康的行为。根据《中华人民共和国刑法》第二百三十四条故意伤害他人身体的处三年以下有期徒刑、拘役或者管制。致人重伤的处三年以上十年以下有期徒刑致人死亡或者以特别残忍手段致人重伤造成严重残疾的处十年以上有期徒刑、无期徒刑或者死刑。} {instruction: 预测一下盗窃数额巨大且是累犯可能会如何量刑, output: 根据《刑法》第二百六十四条盗窃公私财物数额巨大或者有其他严重情节的处三年以上十年以下有期徒刑并处罚金。同时根据第六十五条累犯应当从重处罚。因此对于盗窃数额巨大的累犯可能会在三年以上十年以下有期徒刑的幅度内从重判处例如判处六年或七年有期徒刑并处罚金。具体刑期需结合案件其他情节确定。} {instruction: 生成关于‘自首’情节在量刑中作用的司法解释风格说明。, output: 根据《最高人民法院关于常见犯罪的量刑指导意见》等相关司法解释对于自首情节综合考虑自首的动机、时间、方式、罪行轻重、如实供述罪行的程度以及悔罪表现等情况可以减少基准刑的40%以下犯罪较轻的可以减少基准刑的40%以上或者依法免除处罚。恶意利用自首规避法律制裁等不足以从宽处罚的除外。}数据可以从公开的法律问答社区、判决文书网去除敏感信息或通过专业法律知识构造。质量比数量更重要几百条高质量数据对 LoRA 微调已有明显效果。5.2 编写 LoRA 微调脚本我们使用peft和transformers库进行 LoRA 微调。在src/train_lora.py中import json from datasets import Dataset from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq from peft import LoraConfig, get_peft_model, TaskType import torch def load_and_preprocess_data(file_path, tokenizer, max_length512): 加载并预处理微调数据 instructions [] outputs [] with open(file_path, r, encodingutf-8) as f: for line in f: data json.loads(line) instructions.append(data[instruction]) outputs.append(data[output]) # 构建模型输入格式 (Qwen2-Instruct 使用 ChatML 格式) formatted_prompts [] for instr, out in zip(instructions, outputs): # 简单构建指令微调格式 messages [ {role: user, content: instr}, {role: assistant, content: out} ] # 使用 tokenizer 的 apply_chat_template 方法如果支持 # 这里简化处理直接拼接 prompt f|im_start|user\n{instr}|im_end|\n|im_start|assistant\n{out}|im_end|\n formatted_prompts.append(prompt) # 对文本进行 Tokenization tokenized_data tokenizer( formatted_prompts, truncationTrue, paddingmax_length, max_lengthmax_length, return_tensorspt ) # 标签就是输入ID因为我们是因果语言建模 tokenized_data[labels] tokenized_data[input_ids].clone() return Dataset.from_dict(tokenized_data) def train(): model_name Qwen/Qwen2-7B-Instruct output_dir ../model/lora_adapter/criminal_law_lora data_path ../data/fine_tune_data.jsonl # 1. 加载 Tokenizer 和模型 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue ) # 2. 配置 LoRA lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果语言模型任务 r8, # LoRA 秩影响参数量和效果通常 8, 16, 32 lora_alpha32, # 缩放参数通常设为 r 的 2-4 倍 lora_dropout0.1, # Dropout 防止过拟合 target_modules[q_proj, k_proj, v_proj, o_proj], # 针对 Qwen 的注意力模块 biasnone ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可训练参数量应该只占很小比例 # 3. 准备数据 dataset load_and_preprocess_data(data_path, tokenizer) data_collator DataCollatorForSeq2Seq(tokenizertokenizer, modelmodel, paddingTrue) # 4. 配置训练参数 training_args TrainingArguments( output_diroutput_dir, per_device_train_batch_size2, # 根据显存调整 gradient_accumulation_steps4, # 模拟更大 batch size num_train_epochs3, # 训练轮数 learning_rate2e-4, # LoRA 常用学习率 fp16True, # 混合精度训练节省显存 logging_steps10, save_steps200, save_total_limit2, remove_unused_columnsFalse, push_to_hubFalse, report_tonone # 可以设置为 tensorboard ) # 5. 创建 Trainer 并训练 trainer Trainer( modelmodel, argstraining_args, train_datasetdataset, data_collatordata_collator, tokenizertokenizer, ) trainer.train() trainer.save_model(output_dir) tokenizer.save_pretrained(output_dir) print(fTraining complete. Model saved to {output_dir}) if __name__ __main__: train()关键参数与 Debug 提示target_modules指定将 LoRA 适配器加到模型的哪些线性层。对于 Qwen/Llama 架构的模型通常是注意力机制中的q_proj,k_proj,v_proj,o_proj。如果效果不佳可以尝试加入gate_proj,up_proj,down_projFFN层。per_device_train_batch_size如果出现 CUDA out of memory (OOM)首先降低此值。也可以尝试开启梯度检查点gradient_checkpointingTrue。数据格式不同的模型有不同的指令模板。上述示例是简化版。更严谨的做法是使用tokenizer.apply_chat_template()来构建符合模型原始训练格式的输入。请查阅 Qwen 官方文档获取正确的聊天模板。训练后加载训练完成后在model_loader.py的load_lora_adapter方法中指定lora_path为../model/lora_adapter/criminal_law_lora即可加载微调后的权重。6. 运行验证与效果对比将 LoRA 微调后的模型集成到 RAG 流水线中进行效果验证。修改main.py或创建一个测试脚本# test_integration.py from src.retriever import LawRetriever from src.model_loader import QwenModelLoader from src.rag_pipeline import LawRAGPipeline def test_with_and_without_lora(): # 1. 加载检索器 retriever LawRetriever() retriever.load_knowledge_base() # 2. 加载基础模型未微调 print( Testing with Base Model (No LoRA) ) base_loader QwenModelLoader(Qwen/Qwen2-7B-Instruct) base_loader.load_base_model(use_4bit_quantizationTrue) base_pipeline LawRAGPipeline(retriever, base_loader) query 请预测盗窃数额巨大且是累犯的刑期。 answer_base, _ base_pipeline.ask(query) print(fQuery: {query}) print(fBase Model Answer:\n{answer_base}\n) # 3. 加载 LoRA 微调后的模型 print(\n Testing with LoRA Fine-tuned Model ) lora_loader QwenModelLoader(Qwen/Qwen2-7B-Instruct) lora_loader.load_base_model(use_4bit_quantizationTrue) lora_loader.load_lora_adapter(../model/lora_adapter/criminal_law_lora) # 路径指向你的 LoRA 权重 lora_pipeline LawRAGPipeline(retriever, lora_loader) answer_lora, docs lora_pipeline.ask(query) print(fLoRA Model Answer:\n{answer_lora}\n) print(Retrieved Context:) for i, doc in enumerate(docs): print(f[Doc {i1}] {doc.page_content[:150]}...) if __name__ __main__: test_with_and_without_lora()预期效果对比基础模型可能回答“盗窃罪一般判三年以下...累犯会从重处罚”但表述可能笼统缺乏具体的法条引用和刑期幅度分析。LoRA微调模型回答应更专业结构更清晰例如“根据《刑法》第264条盗窃数额巨大处三年以上十年以下有期徒刑并处罚金。同时根据第65条累犯应当从重处罚。因此综合判断可能会在三年至十年有期徒刑的幅度内判处较重的刑罚例如六年以上有期徒刑。具体需结合案件细节。” 并且更倾向于使用法律术语。7. 常见问题排查与 Debug 指南在实际操作中你几乎一定会遇到以下问题。这里提供系统的排查路径。7.1 模型加载失败或报错问题现象可能原因检查与解决OSError: Unable to load weights...模型路径错误或文件不完整。1. 确认model_name_or_path是有效的 Hugging Face 模型ID或本地路径。2. 本地路径需包含config.json,pytorch_model.bin(或.safetensors) 等文件。3. 运行from_pretrained时设置local_files_onlyTrue测试本地文件。TypeError: ... trust_remote_code加载 Qwen 模型未设置trust_remote_codeTrue。在AutoTokenizer.from_pretrained和AutoModelForCausalLM.from_pretrained中均添加trust_remote_codeTrue参数。CUDA out of memory显存不足。1. 使用use_4bit_quantizationTrue。2. 降低per_device_train_batch_size。3. 使用gradient_checkpointingTrue训练时。4. 考虑使用更小的模型如 Qwen-1.8B。KeyError: ‘pad_token_id’Tokenizer 未设置 pad_token。添加代码if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token。7.2 RAG 检索效果差问题现象可能原因检查与解决检索到的内容不相关。1. 文本切分不合理破坏了条文完整性。2. 嵌入模型不适合中文法律文本。3. 查询语句与文档表述差异大。1. 调整chunk_size和chunk_overlap尝试按“条”或“款”切分。2. 更换嵌入模型如BAAI/bge-large-zh-v1.5更大效果更好。3. 对查询进行关键词提取或同义词扩展后再检索。检索速度慢。1. 嵌入模型在 CPU 上运行。2. 向量数据库未使用索引。1. 确保HuggingFaceEmbeddings的model_kwargs中设置了{‘device’: ‘cuda’}。2. Chroma 默认使用内存索引对于大数据集10万条可考虑 Milvus 或 PGVector。7.3 模型生成内容不佳问题现象可能原因检查与解决答案未引用检索到的法条。Prompt 模板设计不佳模型未理解要利用上下文。优化 Prompt 模板使用更强烈的指令如“请严格根据以下条文回答…”并在上下文中加入明显标记。答案存在幻觉编造法条。1. 模型未经过领域微调通用性强。2. 检索到的上下文不足或无关。1. 进行 LoRA 微调强化其遵循上下文的指令遵循能力。2. 增加检索数量k或改进检索质量。3. 在 Prompt 中加入约束“如果提供的法条中没有明确依据请回答‘无法找到依据’。”答案冗长或格式混乱。生成参数temperature过高。降低temperature(如 0.1) 使输出更确定。调整max_new_tokens限制长度。微调后模型输出乱码或性能下降。1. 训练数据格式与模型预训练格式不匹配。2. 学习率过高训练轮次过多导致过拟合。1. 严格按照 Qwen 的 ChatML 格式准备训练数据。2. 降低学习率如从 2e-4 到 1e-4减少训练轮次并保留验证集监控损失。7.4 流水线集成错误问题现象可能原因检查与解决模块导入错误 (ModuleNotFoundError)。项目路径未添加到 Python 路径。在脚本开头添加import sys; sys.path.append(‘..’)或使用相对导入时确保在项目根目录下运行。向量数据库连接失败。Chroma 持久化目录权限问题或文件损坏。检查persist_directory路径是否存在且可写。尝试删除目录重新构建知识库。8. 生产环境最佳实践与扩展方向将原型推进到生产环境需要考虑更多因素。8.1 性能与稳定性优化模型量化与服务化使用GPTQ或AWQ进行更低比特的量化进一步提升推理速度并降低显存。使用vLLM、TGI(Text Generation Inference) 或FastChat部署模型服务获得高并发推理能力。检索增强混合检索结合基于关键词的稀疏检索如 BM25和向量检索提升召回率。重排序使用更精细的交叉编码器模型对初步检索结果进行重排序提升 top-k 的相关性。元数据过滤为文档添加“章节”、“罪名类型”、“颁布年份”等元数据检索时进行过滤提高精度。缓存策略对常见查询如“什么是故意杀人罪”的结果进行缓存避免重复检索和推理。8.2 安全与合规性输入输出过滤对用户输入进行严格的敏感词和恶意 Prompt 检测。对模型输出进行后处理过滤掉不符合法律法规、伦理道德或带有偏见的内容。结果不确定性声明在系统界面明确提示“本结果基于AI模型生成仅供参考不构成正式法律意见”并引导用户咨询专业律师。数据安全确保训练和检索用的法律数据来源合法、内容准确。用户查询日志需进行脱敏处理。8.3 系统扩展方向多模态输入结合 Qwen-VL 模型处理包含图表、现场照片需脱敏等视觉信息的法律材料。Agentic RAG让模型具备自主决策能力例如当检索结果不充分时自动拆解问题、进行多轮检索或调用法律计算工具如刑期计算器。领域扩展将知识库从刑法扩展到民法、行政法、公司法等并训练对应的 LoRA 适配器通过路由机制调用不同的适配器。持续学习建立反馈机制将人工纠正的答案作为新的训练数据定期更新 LoRA 权重使模型持续进化。通过本文的实践你不仅搭建了一个可用的法律大模型应用更掌握了一套解决垂直领域大模型“幻觉”和知识更新问题的通用方法论。核心在于理解 RAG 与微调并非互斥而是互补RAG 提供准确、可追溯的外部知识LoRA 微调则让模型学会如何专业地理解和运用这些知识。在实际项目中从高质量的数据准备开始逐步迭代检索策略、Prompt 工程和微调数据是提升系统效果最可靠的路径。