简介面向计算机、人工智能等专业在校学生及从业者的毕业设计/课程设计级项目源码聚焦地铁场景下基于深度学习的智能问答系统覆盖从中文命名实体识别到Django后端服务搭建的完整思路。压缩包共17个文件以15个Python文件为主配合1个txt说明和1个md介绍整体仅7KB体量小巧但结构清晰Python文件按Django分层组织用于处理数据模型、迁移、视图响应及路由配置适合快速读懂并扩展成实际问答应用。目前已有126人学习下载。项目代码经本地运行验证可在此基础上进行二次开发目录包含后端核心应用及命名实体识别相关模块兼顾NLP算法学习与Web工程实践。对于需要完成智能交通类选题、问答系统项目或期末大作业的读者具有直接的借鉴价值既能作为入门进阶练习也能作为答辩演示的基础项目。1. 地铁智能问答系统为什么说“专业小模型”比“大模型”更实用把“智能交通”“地铁”“智能问答系统”“Python源码”这几个词拼在一起你得到的不是一套花哨的Demo而是一个要能扛住乘客真实提问的落地系统。地铁站的典型问题翻来覆去就那几千个“末班车几点”“怎么换乘”“婴儿车能进吗”“失物招领在哪”这些问题的表述每天都不一样但语义高度集中。用深度学习做问答本质上是训练一个语义匹配器——让模型学到“B口怎么走”和“B出口在哪里”是同一个意图而不是像关键词搜索那样死抠字面。这篇笔记围绕一个Python源码包能拆出的完整链路来写从领域语料构建、模型选型、训练调参到部署和验证。适合手里有一个QA数据但不知道怎么做成系统的开发也适合想评估“自己训练一个问答模型是否值得”的技术决策者。2. 构建地铁领域语料数据采集与清洗的落地细节2.1 数据来源与格式FAQ、乘客对话、运营规则的结构化地铁智能问答系统第一步不是挑模型而是把散落在各处的问题答案变成结构化的QA对。常见来源有三类客服平台的FAQ文档、地铁官网的运营规则票价、首末班车、安检规定、以及历史乘客会话记录。我一般会把这三类统一转成CSV或JSON格式字段至少包含question标准问、answer标准答、category意图类别、source来源。不要嫌这一步土后面所有训练都建立在它的基础上。数据质量决定了模型上限这里有一个血泪经验原始的乘客提问里“今天还有票吗”这种问题实际意图常常是“末班车时间”如果直接拿原始问句去做训练模型会学到错误关联。所以数据整理阶段要做意图归一化——把同一个意思的不同说法聚合到一条标准问下并在旁边保留一批同义改写问句。比如标准问是“地铁几点停运”你要同时准备“最后一班车几点”“末班车时间”“几点没车了”等说法。这样构造出的question_variants字段才是深度学习真正需要的训练语料。下面是一个常见的数据结构示例我用JSON保存一天能整理几百条典型问答{ standard_question: 地铁末班车时间是几点, category: 运营时间, answer: 各线路末班车时间不同通常为22:30至23:30请参照车站公告。, variants: [最后一班车几点, 末班车还有吗, 几点没有地铁了, 晚上到几点], source: 人工整理 }这里的variants非常重要。深度学习模型不会直接匹配标准问它需要大量语义相近但表述不同的句子来学习“意思相同”。如果没有这些变体模型很容易变成背诵机器——换个说法就认不出来。2.2 文本预处理与增强分词、去停用词、同义替换、序列长度拿到原始文本后预处理步骤直接决定训练效果不能跳过。地铁问答里有大量数字和专有名词比如“4号线”“2号口”“大兴线”这些词如果被错误切分后面的模型再怎么调参都救不回来。我常用的预处理脚本长这样用jieba分词并保留自定义词典import jieba import re import json # 地铁领域自定义词典防止专有名词被切开 CUSTOM_WORDS [末班车, 首班车, 4号线, 10号线, 换乘站, 安检口, 失物招领] for w in CUSTOM_WORDS: jieba.add_word(w) def clean_text(text): # 去掉URL、符号、多余空白保留中英文、数字和常用标点 text re.sub(rhttp\S, , text) text re.sub(r\w, , text) text re.sub(r\s, , text).strip() return text def preprocess_for_train(sent): sent clean_text(sent) words jieba.lcut(sent) # 精确模式分词 # 过滤掉只有单个字符的助词但要保留“站”“口”等单字信息 words [w for w in words if w.strip() and (len(w) 1 or w in {站, 口, 线})] return .join(words) # 示例 print(preprocess_for_train(请问4号线末班车是几点))逻辑说明jieba.add_word把“4号线”注册成整体避免切出“4/号线”这种错误片段。在去停用词时我刻意没有过滤单字“站”和“口”因为“北京站”去掉“站”就成了“北京”语义不完整。这个细节是很多新手会踩的坑停用词表不能一刀切。参数说明jieba.lcut返回词列表len(w) 1是基本过滤条件后面加的或条件是为了保住方位词和量词。如果你用的是BERT这类自带分词的模型字符级别预处理就够不需要做分词但如果你用BiLSTMWord2Vec分词是必须的。两种路线在下一章展开。2.3 数据增强让模型见过更多“说法”地铁乘客提问方式千奇百怪真实场景里会出现“Wi-Fi怎么连不上”“卫生巾在哪买”“我被门夹了怎么办”这种训练语料里没出现过的问题。所以数据增强不是锦上添花是必需的。我一般做三类增强同义词替换“几号线”和“哪条线”、语序调整“末班车几点”和“几点末班车”、随机插入冗余词“你好请问一下末班车几点”。但增强不是越多越好过度增强会把“请问地铁站怎么走”这种正常句子变成“请问地铁地铁站走怎么”反而干扰模型。增强代码用简单的Python就够了不必上复杂框架import random same_meaning { 几号线: [哪条线, 几号线地铁], 末班车: [最后一班, 末班车], 换乘: [中转, 转乘] } def augment_sentence(sent, p0.3): words sent.split() new_words [] for w in words: if w in same_meaning and random.random() p: new_words.append(random.choice(same_meaning[w])) else: new_words.append(w) return .join(new_words)参数说明p0.3是替换概率太高容易破坏句子结构。增强后的样本量一般控制在原始样本的23倍超过之后收益递减。把增强后的文本存成单独的train_aug.csv训练时直接读取不要和原始数据混在一起方便回溯。3. 模型选型与代码结构从Word2Vec到SentenceTransformer3.1 三种主选模型对比TF-IDF、BiLSTMAttention、预训练模型搞清楚数据和预处理流程后面临第一个技术选型。标题里写的是“基于深度学习”所以TF-IDF只能做基线不能当主角。真正常用的路线是下面三条方案核心原理训练成本推理速度适用场景TF-IDF 余弦相似度词频统计词袋模型极低极快基线对比BiLSTM Attention学习句子语义向量再做余弦相似度中等快数据量小、想控成本SentenceTransformer预训练模型编码句子向量检索较低微调中等语义多变推荐首选我一般会把BiLSTM和SentenceTransformer都搭起来跑一遍。BiLSTM的好处是可控性强——你对模型结构有完全主动权调参空间大SentenceTransformer的好处是精度高、出活快中文用paraphrase-multilingual-MiniLM-L12-v2这种小型多语言模型就够了不需要自己从零训练BERT。但这里有一个容易被忽略的点预训练模型对地铁领域专有名词如“角门西站”的编码并不友好因为它的词表里压根没有这些词。所以纯用预训练模型不一定比BiLSTM用领域语料训练出的向量更准。我的做法是做“召回精排”两级结构用SentenceTransformer做粗召回把候选答案缩小到Top10再用一个轻量分类器做精排。这样兼顾性能和准确率。3.2 用SentenceTransformer做语义召回最小可跑代码这一节直接给最小可用代码目标是输入用户问题返回最相似的标准问。你需要先安装库pip install sentence-transformers faiss-cpu然后加载模型并做向量化。注意第一次运行会从网上下载模型国内网络环境可能需要配置镜像。from sentence_transformers import SentenceTransformer import numpy as np import faiss # 加载多语言预训练模型模型体积约120MB model SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) # 假设你已经从JSON里读出了所有标准问 standard_questions [ 地铁末班车时间是几点, 如何换乘到4号线, 失物招领处在哪里, 票价是怎么计算的 ] # 批量编码成向量normalize是为了后续用内积近似余弦相似度 embeddings model.encode(standard_questions, normalize_embeddingsTrue) dim embeddings.shape[1] index faiss.IndexFlatIP(dim) # 内积检索 index.add(embeddings) def search_question(user_query, top_k3): query_vec model.encode([user_query], normalize_embeddingsTrue) scores, idx index.search(query_vec, top_k) return scores, [standard_questions[i] for i in idx[0]] scores, results search_question(最后一班车几点开) print(检索结果:, results) print(相似度分数:, scores)逻辑说明IndexFlatIP是内积索引配合normalize_embeddingsTrue时等价于余弦相似度。这里的top_k3是召回数量不是最终答案数量。召回阶段别把top_k调太大否则精排阶段要处理的噪声太多。需要特别注意一个坑faiss索引建立后如果添加新的标准问不能直接add到原索引上需要重新构建或者用IndexIDMap管理ID映射。否则索引和数据对不上查出来的是张冠李戴。3.3 用BERT做精排把候选答案分类为“可回答/不可回答”召回阶段拿到Top3候选后需要一个精排模型确认到底哪个标准问最匹配。这里常用的做法是把“问题候选答案”拼成一个句子训练一个二分类器判断这个配对是否为正确回答。我用BERT变体做这个任务比从零训练的BiLSTM收敛更快。下面是用transformers库定义分类模型的代码骨架from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments # 用中文BERT的小模型相对轻量 model_name hfl/chinese-roberta-wwm-ext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) # 训练样本格式问题 标准问 回答 拼起来 def make_input(sample): text f问题{sample[query]} 候选{sample[candidate]} return tokenizer(text, truncationTrue, max_length128, paddingmax_length) # Trainer 训练配置 training_args TrainingArguments( output_dir./reranker, num_train_epochs3, per_device_train_batch_size16, learning_rate2e-5, save_strategyepoch, evaluation_strategyepoch )参数说明max_length128是硬限制超过128字的问答对会被截断。地铁问句一般都很短但有些运营规定答案很长所以我把“问题候选答案”而不是“问题问题”做输入答案过长时截断。learning_rate2e-5是BERT微调的标准起点太高容易破坏预训练权重太低半天不收斂。num_train_epochs3对于问答这类小数据集通常够跑完看验证损失再决定是否加。精排模型的输出是一个0/1标签1表示“这个候选答案可以回答用户问题”0表示不可回答。预测时先对召回的Top3分别打分取分数最高的那个作为最终回答。这个流程纯用Python就能串起来不需要额外架构。4. 训练、评估与调参让模型回答“下一站是哪里”4.1 生成训练样本正例与负例的构造策略精排模型的质量完全取决于训练对的构造。正例很好建把用户提问和对应标准问放进一个样本标1。负例就考验手艺了——你不能随便拿两个无关的问答对当作负样本那样模型很快就学会“看到不相关的就拒绝”但遇到相近而不一样的问法时反而手忙脚乱。我常用的负例构造方式分为“简单负例”和“困难负例”。简单负例是随机选取不同类目的问答对比如用户问“票价”候选回答却是“失物招领”这种负例没有挑战性模型学不到细粒度区别。困难负例则是从“语义相似但答案不同”的样本里挑比如“首班车几点”对抗“末班车几点”两者结构高度相似模型必须真正理解“首”和“末”的区别才能判断正确。下面这段代码演示如何构造混合负样本import random qa_pairs [...] # 从JSON加载的标准问题答案 pos_samples [] neg_samples [] # 对每个标准问生成一个正例和两个负例 for qa in qa_pairs: q qa[question] a qa[answer] pos_samples.append({query: q, candidate: a, label: 1}) # 简单负例随机挑一个相似长度但不相关的问题 other random.choice(qa_pairs) while other[category] qa[category]: other random.choice(qa_pairs) neg_samples.append({query: q, candidate: other[answer], label: 0}) # 困难负例同一类别但不同答案 same_cat [x for x in qa_pairs if x[category] qa[category] and x[question] ! q] if same_cat: hard random.choice(same_cat) neg_samples.append({query: q, candidate: hard[answer], label: 0}) # 合并时正负比例控制在1:1到1:2之间 train_samples pos_samples neg_samples random.shuffle(train_samples)这里的label用0/1整数模型损失用交叉熵。正负比例很重要——如果负例太多模型会倾向输出0表现为“拒绝回答一切问题”如果负例太少模型又什么都敢答车轱辘话来回说。我一般控制在1:1.5左右先跑一轮看准确率再按错误样本补充困难负例。4.2 训练脚本与超参数batch_size、学习率、早停精排模型的训练脚本比模型定义更琐碎踩坑点集中在超参数和训练循环上。下面是一段用pytorch手写训练循环的核心代码我习惯用它而不是Trainer因为对早停和梯度累积控制更直观import torch from torch.utils.data import DataLoader, Dataset from transformers import AutoTokenizer, AutoModelForSequenceClassification from torch.optim import AdamW class QADataset(Dataset): def __init__(self, samples, tokenizer, max_len128): self.samples samples self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.samples) def __getitem__(self, idx): s self.samples[idx] text f问题{s[query]} 候选{s[candidate]} encoding self.tokenizer( text, truncationTrue, paddingmax_length, max_lengthself.max_len, return_tensorspt ) return { input_ids: encoding[input_ids].squeeze(0), attention_mask: encoding[attention_mask].squeeze(0), labels: torch.tensor(s[label], dtypetorch.long) } model AutoModelForSequenceClassification.from_pretrained( hfl/chinese-roberta-wwm-ext, num_labels2 ) optimizer AdamW(model.parameters(), lr2e-5) # 训练中记录验证集的loss连续3个epoch不下降就早停 best_loss float(inf) patience 0 for epoch in range(10): model.train() for batch in DataLoader(train_dataset, batch_size16, shuffleTrue): outputs model(**batch) loss outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() # 这里略去验证集计算用val_loss表示 val_loss evaluate(model, val_dataset) if val_loss best_loss: best_loss val_loss torch.save(model.state_dict(), best_reranker.pt) patience 0 else: patience 1 if patience 3: print(fEarly stop at epoch {epoch}) break逻辑说明batch_size16是跑在8GB显存上的保守值如果显存不够减到8同时把max_len减到96也可以。lr2e-5是BERT微调的标准值但如果你发现验证loss震荡不降可以降到1e-5如果训练速度太慢再尝试3e-5。早停的耐心值设为3不要太长否则容易过拟合。这里有个玄学经验BERT类模型在数据量少于2000条时微调效果很不稳定同样的代码、同样的数据两次训练结果可能差出5个点。所以我把随机种子固定住并且保留验证集不要拿测试集频繁调参。4.3 评估指标准确率、召回率、业务满意度训练完的模型最终要回答乘客问题不能只看整体准确率。除了常规的准确率、召回率、F1我还额外统计三类业务指标意图混淆率把“票价”问成“运营时间”的比例、拒答率明明有答案却答“不知道”的比例、以及端到端回答覆盖率真实乘客问题里能返回正确答案的比例。下面的表格是评估时我常用的阈值和分析维度指标计算方式可接受范围调参方向准确率正确回答数 / 总问题数0.90调阈值召回率正确召回的相关问题 / 应该召回的总数0.90降低精排阈值拒答率模型说“不知道”的比例0.05增加正样本意图混淆率错误分类到其他类别0.05增加困难负例评估脚本可以用现成的sklearn但真实业务评测还要跑一部分人工标注的“开放问题集”。这些问题是乘客可能说但不在标准库里的比如“我把包丢在车上了”。如果模型能在Top5里命中等价标准问就算合格。只盯着测试集准确率容易被数据分布骗过去。这一章的调参路线是先确认正负样本比例再调节精排阈值最后才是改学习率。前两个因素对业务效果的影响远大于模型结构本身。5. 避坑/常见问题地铁问答项目里最容易翻车的5个点5.1 现象分词把“4号线”切成“4/号线”这是预处理阶段最常见的翻车。“4号线”如果被切分成“4”和“号线”Word2Vec训练出的“4”向量会和“5”“6”这些数字混在一起导致模型认为“4号线”和“5号线”可以随便互换。乘客问“4号线末班车”模型可能答出5号线的时刻表。原因jieba的默认词典没有收录地铁线路名数字加线的组合被当成普通数量词处理。解决在自定义词典里显式加入所有线路名和站点名并且在预处理后用字符串匹配做一次强制合并确保“4号线”不可分割。代码可以在jieba.add_word之后追加一行正则处理import re text re.sub(r(\d{1,2})\s*号线, r\1号线, text)这行替换把“4 号线”和“4号线”统一成“4号线”避免空格干扰分词。5.2 现象模型对所有问题都回答“可以”包括完全不懂的问题精排模型输出全是1随便给个“明天天气怎么样”也能匹配到某个地铁问答这是负样本不足的典型症状。模型根本没有见过“不可回答”的样本学到的决策边界就偏向正例。原因负例构造时只用了随机其他类别困难负例太少模型没学会区分“相似但不同”。解决把5.1节的“困难负例”比例从0提高到50%。具体做法是收集一批真实场景里用户问过但系统无法回答的问题比如“地铁站附近有什么餐厅”把它和所有标准问逐一匹配成负例。这样模型才会真正理解“哪些问题不在地铁服务范围内”。5.3 现象站点名和线路名经常被误识别比如“角门西站”被拆开预训练模型和传统Word2Vec都处理不好低频专有名词。“角门西站”在通用语料里出现次数很少模型学不到它的稳定表示导致检索时把它当成普通词向量加权。原因专有名词在预训练词表里没有独立token被切分成“角门”“西站”。解决先做一次领域实体词典的强制匹配把“角门西站”作为一个整体token输入。如果你用SentenceTransformer可以在编码前用“|||”把实体连接起来或者干脆在自己训练BiLSTM时使用自定义分词并单独训练这些词的词向量。实际操作中我通常维护一个stations.txt在预处理阶段遍历替换。5.4 现象长问题比如包含换乘方案的提问超出模型输入长度限制BERT类模型的max_length默认512但地铁问题里偶尔会有“从4号线角门西站换乘10号线到三元桥全程大概要多久中间需要出站吗”这种超长描述。超出长度后被硬截断关键信息“换乘”和“10号线”保留住了但“出站”这个意图词可能被丢掉模型答非所问。原因简单截断策略把句尾信息丢弃而句尾往往承载完整意图。解决把截断策略改成前后各留一半或者先做句子压缩。更实用的做法是把用户问题先送到命名实体识别模块提取出线路、站点、时间等关键槽位再把槽位拼成结构化查询绕开长文本截断问题。常见做法是这样def extract_slots(query): # 用正则粗提取线路和站点 line re.search(r(\d{1,2}号线), query) station re.search(r([\u4e00-\u9fa5]站), query) return {line: line.group(1) if line else None, destination: station.group(1) if station else None}虽然正则粗糙但能保证关键信息不丢。把槽位作为辅助特征与文本向量拼接后再进精排模型。5.5 现象部署后CPU推理速度太慢乘客等不了3秒钟模型在GPU训练部署到生产环境的CPU推理SentenceTransformer编码一次要100300毫秒BERT精排一次也要200400毫秒整个链路如果串联执行响应时间超过2秒乘客直接流失。原因没做模型量化和缓存每个问题都重新计算全链路。解决把高频标准问的向量提前缓存启动时一次性加载到内存精排模型转成ONNX推理速度能快23倍。另外给完全相同或高度相似的问题加一层Short-Circuit缓存如果用户问题和历史问题哈希相同直接返回缓存答案。6. 部署与验证用FastAPI把模型包成可调用接口最终一步是把训练好的模型封装成HTTP接口方便前端App和地铁触摸屏调用。我用FastAPI实现原因很简单异步支持和自动文档比Flask省事代码量还少。下面是一个最小可用的服务端代码把召回和精排整合到一个/answer接口里from fastapi import FastAPI from pydantic import BaseModel from sentence_transformers import SentenceTransformer import faiss import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification app FastAPI() class Query(BaseModel): question: str # 启动时加载模型避免每次请求都初始化 sentence_model SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) tokenizer AutoTokenizer.from_pretrained(hfl/chinese-roberta-wwm-ext) reranker AutoModelForSequenceClassification.from_pretrained(hfl/chinese-roberta-wwm-ext, num_labels2) reranker.load_state_dict(torch.load(best_reranker.pt, map_locationcpu)) reranker.eval() index faiss.read_index(qa_index.faiss) standard_questions load_questions_from_json() # 自己实现 app.post(/answer) async def answer(query: Query): # 召回 q_vec sentence_model.encode([query.question], normalize_embeddingsTrue) scores, idx index.search(q_vec, top_k5) candidates [standard_questions[i] for i in idx[0]] # 精排 best_score -1 best_candidate None for c in candidates: text f问题{query.question} 候选{c[question]} inputs tokenizer(text, return_tensorspt, truncationTrue, max_length128) with torch.no_grad(): logits reranker(**inputs).logits score torch.softmax(logits, dim-1)[0][1].item() if score best_score: best_score score best_candidate c if best_score 0.6: # 阈值控制拒答率 return {answer: 抱歉我暂时无法回答这个问题。, confidence: best_score} return {answer: best_candidate[answer], confidence: best_score}逻辑说明best_score 0.6的阈值需要根据验证集调整低于它就返回兜底文案。这个阈值直接影响拒答率调太高会让模型什么都不敢答调太低什么都会答。启动时加载模型是常规操作但要注意CPU内存占用两个模型加起来可能要1GB以上部署机器至少配2GB空闲内存。接口写完后本地验证用uvicorn启动直接发一个测试请求uvicorn main:app --host 0.0.0.0 --port 8000 curl -X POST http://localhost:8000/answer -H Content-Type: application/json -d {question: 最后一班地铁几点}如果返回的confidence稳定在0.9以上说明链路通了。如果只有0.5左右先回查第4步的精排阈值再回查第2步的负样本构造。我吃过一次亏把阈值定在0.8结果系统对三分之一的真实问题都答“不知道”后来调到0.55才平衡。这个教训让我养成了一个习惯——部署前一定要留50条真实乘客问题做冒烟测试不能用测试集数据自欺欺人。做问答系统永远要先跑通数据再折腾模型最后才轮到调参顺序反了后面每一步都在还债。希望这篇笔记能帮你把地铁问答系统这条路走得顺一点。本文还有配套的精品资源点击获取