很多开发者在落地 L2第二语言口语自动评估系统时都会遇到一个不太好定位的问题模型整体评分准确率不错但某些口音群体、某个语速区间或带有特定说话习惯的考生分数总是系统性偏低。一开始大家会怀疑是训练数据不够于是补数据、调权重、做数据增强可问题往往依旧存在。真正的原因很多时候藏在模型内部评分模型在隐层表征中过度依赖了某些与“用户能力”无关的声学特征方向。要把这类偏差定位出来不能只靠“看统计结果”需要进入模型内部做可解释分析。这正是本文要讨论的主题Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors也就是用概念激活向量CAV对 L2 口语评估系统做偏差分析。这篇文章会从概念讲起然后给出完整可复现的 Python 实战流程包括如何构建概念集比如“重口音”“填充词”“语速过快”等概念如何提取模型中间层表征并训练概念激活向量如何计算方向导数与 TCAV 分数如何根据 TCAV 结果定位系统是否存在偏差工程落地时的注意事项和常见坑。无论你是做语音评测、智能教育还是对模型可解释性感兴趣这套方法都可以直接迁移到自己的模型上。1. 为什么要做 L2 口语评估系统的偏差分析1.1 口语评估系统中的“偏差”到底指什么L2 口语评估系统通常指对非母语学习者的口语录音进行自动评分的系统。常见的评分子维度包括发音准确度、流利度、词汇语法正确率、内容完整性等。工程实现上多数系统会先通过 ASR 模型或预训练语音模型抽取声学特征再输入打分模型得到分数。这里说的“偏差”不是指某个考生的分数偶然偏高或偏低而是指一种系统性的、与真实口语能力无关的评分倾向。举个例子两位考生实际水平接近系统给其中一人的分数明显更低而唯一的区别是前者带有较重的地方口音。如果这种现象反复出现我们就可以认为模型在口音维度上存在偏差。这种偏差的危害在于“不公平”。口语评估系统如果被用于大规模考试、求职面试、语言能力认证等场景偏差会直接影响考生的结果。因此在模型上线前做偏差审计应该成为和“准确率”“一致性”同等重要的质量指标。1.2 为什么传统统计方法不够很多团队发现偏差后的第一反应是统计一下不同口音群体的平均分差异如果差异显著就说明存在偏差。这个思路有用但不够深入。它只能告诉你“有差异”无法告诉你“差异来自哪里”。举例来说重口音群体的平均分偏低可能是因为他们真实发音确实较弱也可能是因为模型错误地将口音特征当成了口语能力不佳的信号这两种情况在观测数据上可能表现一样。要区分这两种情况就必须打开模型内部观察打分决策依赖了哪些特征方向。这也是传统的“输入-输出”级别的敏感性分析难以做到的。1.3 CAV 和 TCAV 的基本思想Concept Activation Vector概念激活向量由 Google 团队在 2017 年的论文Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)中提出。核心思想很直观在神经网络的高维隐层空间中一个“概念”往往表现为一个方向。比如在图像模型中“条纹”这个概念会在某层神经元上有特定的激活模式在语音评分模型中“口音重”这个概念也应该对应隐空间中的一个方向。CAV 就是通过训练一个线性分类器来找到这个方向。计算得到概念方向后再用方向导数衡量“模型预测”对“这个概念方向”的敏感程度得到 TCAV 分数。TCAV 分数高说明模型在推理过程中确实使用了这个概念TCAV 分数低说明这个概念不是主要决策依据。配合不同考生群体的 TCAV 结果就能判断系统偏差是否真的来自模型内部对某一概念的错误依赖。2. Concept Activation Vectors 核心原理拆解2.1 概念的向量化在神经网络中输入数据经过多层变换后会在某一层形成向量表示。假设我们选定第 k 层作为分析层输入样本 x 在该层的激活向量为 f(x)。对于“重口音”这个概念我们收集两类样本概念样本集合带有明显重口音特征的语音非概念样本集合口音标准的语音。然后把这批样本输入模型取出第 k 层的激活向量就得到两组向量。这两组向量在隐空间中往往存在明显的分布差异。2.2 线性分类器与概念方向接下来在概念样本的隐层向量和非概念样本的隐层向量之间训练一个线性分类器比如逻辑回归。训练完成后分类器的权重向量 w 就指向了“区分概念与非概念”的方向。我们对 w 做归一化就得到概念激活向量 v_c。需要注意trained CAV 的方向并不完全稳定它会受概念集选取、随机种子、正则化强度的影响。因此论文中建议多次随机采样训练取平均结果并做显著性检验。2.3 方向导数与 TCAV 分数有了概念向量 v_c就可以衡量模型预测对该方向的敏感度。设模型的输出为 h_k(x)即第 k 层激活到最终打分输出的映射那么模型在样本 x 上对概念方向 v_c 的敏感度可以表示为[ S_{c,k}(x) \frac{\partial h_k(x)}{\partial x} \cdot v_c ]实际工程中x 一般指隐层激活向量本身我们会使用 PyTorch 的自动求导机制计算输出对隐层激活的梯度再与概念向量做内积。对于概念样本集合 X_cTCAV 分数的定义是[ TCAV \frac{|{x \in X_c : S_{c,k}(x) 0}|}{|X_c|} ]简单理解在概念样本中按概念方向增大时模型输出分数也增大的样本占比。如果 TCAV 接近 1说明模型在积极使用这个概念如果 TCAV 接近 0.5则说明这个概念与输出基本无关。2.4 CAV 与常用可解释方法的差异常见的可解释方法如 LIME、SHAP 属于局部解释它们只能告诉你“单个样本的预测为什么是这个结果”。CAV 不同它分析的是“整个概念”对模型决策的影响是一种全局解释工具。因此 CAV 天然适合做偏差分析比如我们可以先训练“重口音”概念向量再分别计算“重口音样本”和“标准口音样本”的 TCAV 分数对比不同群体之间的差异。如果重口音样本的分数明显更高说明模型打分时更依赖口音特征这就是一个潜在偏差信号。3. 环境准备与项目结构3.1 环境与依赖版本说明本文示例基于 Python 3.9 以上环境核心依赖如下torch用于构建和训练评分模型transformers用于加载 Wav2Vec2 预训练模型提取语音表征librosa用于音频读取和重采样soundfile用于生成和保存 wav 音频文件numpy、pandas数据处理scikit-learn训练线性分类器计算 CAV。你可以用下面的命令安装依赖pip install torch transformers librosa soundfile numpy pandas scikit-learn版本方面示例基于常见的 transformers 4.x、torch 2.x。由于这些库迭代较快如果你的环境版本不同个别 API 可能有差异需要以官方文档为准。3.2 示例项目结构为了便于复现建议按下面的目录组织代码l2_speaking_bias/ ├── scripts/ │ ├── 01_generate_synthetic_data.py │ ├── 02_extract_embeddings.py │ ├── 03_train_scorer.py │ ├── 04_train_cav.py │ └── 05_evaluate_tcav.py ├── datasets/ │ └── syn_audio/ # 合成音频文件 ├── artifacts/ │ ├── embeddings/ # 预提取的表征向量 │ ├── models/ # 评分模型权重 │ └── cav/ # 概念激活向量 └── README.md这里每一步都对应一个脚本方便你替换成自己的数据集和模型。3.3 关于“合成数据”的说明真实 L2 口语评估数据集往往涉及隐私授权问题不方便直接分享。为了让整个流程可复现我会先生成一批合成音频用来走通“数据准备 - 特征提取 - 评分模型训练 - CAV 计算 - TCAV 评估”的完整链路。合成数据仅仅用于演示不代表真实语言学特征。你把它理解成一个带标签的 mock 数据集即可跑通后再换成自己的真实数据。4. 数据准备如何构建概念集4.1 评估集与概念标签CAV 分析的第一步是明确概念标签。在 L2 口语评估场景中常用来做偏差分析的概念包括重口音程度heavy_accent填充词使用频率filled_pause平均语速speaking_rate停顿分布pause_distribution用词多样性lexical_diversity。每个概念都由一组“正样本”和一组“负样本”组成。正负样本最好在难度、时长、信噪比等方面保持均衡避免分类器学到无关信息。4.2 生成合成示例数据下面脚本会生成一批随机音频并根据概念标签保存到不同的目录中。它只是一个演示脚本真实项目应替换为真实的录音和人工标注。文件路径scripts/01_generate_synthetic_data.pyimport os import numpy as np import pandas as pd import soundfile as sf np.random.seed(42) OUT_DIR datasets/syn_audio N_SAMPLES 300 os.makedirs(OUT_DIR, exist_okTrue) def generate_audio(duration3.0, sr16000, accent_strength0.0, filled_pauseFalse): t np.linspace(0, duration, int(sr * duration), endpointFalse) # 基频范围模拟不同发音特征 base_freq 120 if accent_strength 0.3 else (180 40 * accent_strength) audio 0.5 * np.sin(2 * np.pi * base_freq * t) audio 0.05 * np.random.randn(len(t)) if filled_pause: pause_start int(sr * duration * 0.5) audio[pause_start:pause_start int(0.2 * sr)] 0.3 * np.sin( 2 * np.pi * 80 * t[pause_start:pause_start int(0.2 * sr)] ) return audio rows [] for i in range(N_SAMPLES): accent_heavy np.random.rand() 0.5 filled_pause np.random.rand() 0.5 audio generate_audio(accent_strength0.8 if accent_heavy else 0.1, filled_pausefilled_pause) path os.path.join(OUT_DIR, fsample_{i:04d}.wav) sf.write(path, audio, 16000) rows.append({ audio_path: path, accent_heavy: int(accent_heavy), filled_pause: int(filled_pause), duration: 3.0 }) df pd.DataFrame(rows) df.to_csv(datasets/syn_metadata.csv, indexFalse) print(df.head())运行python scripts/01_generate_synthetic_data.py脚本会生成 300 个 wav 文件和一个 metadata CSV。每一行音频都带有accent_heavy和filled_pause两个概念标签。4.3 真实场景中的概念标注建议真实项目中概念集的构建要做到以下几点概念定义要清晰比如“重口音”要明确口音类型、评分标准避免不同标注者理解不一致正负样本要均衡两组样本的数量、时长、录音环境不能差距过大否则线性分类器可能捕捉到录音噪声差异而不是概念本身最好由领域专家审核L2 口语评估涉及语言学知识概念集做好后建议由专家人工抽检。5. 完整实战对口语评估模型做偏差分析5.1 提取语音表征第一步是加载预训练语音模型为所有音频提取句子级向量。这里使用 Wav2Vec2-base 作为特征提取器并对时序维做均值池化。文件路径scripts/02_extract_embeddings.pyimport os import numpy as np import pandas as pd import torch import librosa from transformers import Wav2Vec2FeatureExtractor, Wav2Vec2Model device torch.device(cuda if torch.cuda.is_available() else cpu) processor Wav2Vec2FeatureExtractor.from_pretrained(facebook/wav2vec2-base) model Wav2Vec2Model.from_pretrained(facebook/wav2vec2-base).to(device) model.eval() df pd.read_csv(datasets/syn_metadata.csv) def extract_embedding(wav_path): audio, sr librosa.load(wav_path, sr16000) inputs processor(audio, sampling_rate16000, return_tensorspt) with torch.no_grad(): outputs model(inputs[input_values].to(device)) embedding outputs.last_hidden_state.mean(dim1).squeeze().cpu().numpy() return embedding os.makedirs(artifacts/embeddings, exist_okTrue) embedding_list [] for idx, row in df.iterrows(): emb extract_embedding(row[audio_path]) embedding_list.append(emb) embs np.array(embedding_list) np.save(artifacts/embeddings/syn_embeddings.npy, embs) df.to_csv(datasets/syn_metadata_with_embs.csv, indexFalse) print(Embedding shape:, embs.shape)这个脚本会把每个音频转成 768 维向量并保存为 npy 文件。如果你使用的是其他预训练模型比如 ECAPA-TDNN、WavLM替换加载模型和池化方式即可。5.2 训练一个简化版口语评分模型有了表征向量后下一步训练一个简单的 MLP 回归模型输出 0 到 5 的打分。这里为了示例模拟分数由已知特征线性组合而成。文件路径scripts/03_train_scorer.pyimport numpy as np import pandas as pd import torch import torch.nn as nn from sklearn.model_selection import train_test_split X np.load(artifacts/embeddings/syn_embeddings.npy) df pd.read_csv(datasets/syn_metadata.csv) # 演示用分数由概念标签构造便于观察 CAV 是否能检测出偏差 # 真实场景中应使用人工专家评分 rng np.random.default_rng(42) score ( 3.0 - 1.5 * df[accent_heavy].values - 0.5 * df[filled_pause].values rng.normal(0, 0.2, len(df)) ) score np.clip(score, 0, 5).astype(np.float32) X_train, X_test, y_train, y_test train_test_split( X, score, test_size0.2, random_state42 ) class Scorer(nn.Module): def __init__(self, input_dim768, hidden_dim256): super().__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, 1) def forward(self, x): h self.relu(self.fc1(x)) out self.fc2(h) return out.squeeze(-1), h model Scorer() optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.MSELoss() X_train_t torch.tensor(X_train, dtypetorch.float32) y_train_t torch.tensor(y_train, dtypetorch.float32) model.train() for epoch in range(30): optimizer.zero_grad() pred, _ model(X_train_t) loss loss_fn(pred, y_train_t) loss.backward() optimizer.step() if (epoch 1) % 10 0: print(fEpoch {epoch 1}, Loss: {loss.item():.4f}) torch.save(model.state_dict(), artifacts/models/scorer.pt)这里刻意在合成分数的构造中加入了口音和填充词对分数的负面影响。后续 CAV 分析应该能检测到“重口音”和“填充词”这两个概念都被模型积极使用。5.3 计算概念激活向量概念向量从评分模型的第一个隐藏层激活中训练得到。先提取概念样本和负样本的隐藏层向量然后训练逻辑回归。文件路径scripts/04_train_cav.pyimport numpy as np import pandas as pd import torch import torch.nn as nn from sklearn.linear_model import LogisticRegression X np.load(artifacts/embeddings/syn_embeddings.npy) df pd.read_csv(datasets/syn_metadata.csv) # 加载评分模型 class Scorer(nn.Module): def __init__(self, input_dim768, hidden_dim256): super().__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, 1) def forward(self, x): h self.relu(self.fc1(x)) out self.fc2(h) return out.squeeze(-1), h model Scorer() model.load_state_dict(torch.load(artifacts/models/scorer.pt)) model.eval() def get_hidden_vectors(indices): x torch.tensor(X[indices], dtypetorch.float32) with torch.no_grad(): _, h model(x) return h.numpy() def train_cav(concept_indices, non_concept_indices, seed0): concept_vecs get_hidden_vectors(concept_indices) non_concept_vecs get_hidden_vectors(non_concept_indices) X_cav np.vstack([concept_vecs, non_concept_vecs]) y_cav np.array([1] * len(concept_vecs) [0] * len(non_concept_vecs)) clf LogisticRegression(C0.1, max_iter1000, random_stateseed) clf.fit(X_cav, y_cav) w clf.coef_[0] return w / np.linalg.norm(w) accent_concept_idx df[df[accent_heavy] 1].index[:100].values accent_non_concept_idx df[df[accent_heavy] 0].index[:100].values pause_concept_idx df[df[filled_pause] 1].index[:100].values pause_non_concept_idx df[df[filled_pause] 0].index[:100].values cav_accent train_cav(accent_concept_idx, accent_non_concept_idx) cav_pause train_cav(pause_concept_idx, pause_non_concept_idx) np.save(artifacts/cav/cav_accent.npy, cav_accent) np.save(artifacts/cav/cav_pause.npy, cav_pause) print(CAV accent saved.) print(CAV filled_pause saved.)线性分类器 C 值默认 0.1用于控制正则化强度。概念样本数量太少时可以适当调小 C。5.4 计算方向导数与 TCAV 分数最后一步对每个概念在正样本集合上计算方向导数并统计 TCAV 分数。文件路径scripts/05_evaluate_tcav.pyimport numpy as np import pandas as pd import torch import torch.nn as nn X np.load(artifacts/embeddings/syn_embeddings.npy) df pd.read_csv(datasets/syn_metadata.csv) class Scorer(nn.Module): def __init__(self, input_dim768, hidden_dim256): super().__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, 1) def forward(self, x): h self.relu(self.fc1(x)) out self.fc2(h) return out.squeeze(-1), h model Scorer() model.load_state_dict(torch.load(artifacts/models/scorer.pt)) model.eval() def tcav_score(indices, cav): positive_count 0 for idx in indices: x torch.tensor(X[idx], dtypetorch.float32, requires_gradTrue) h model.relu(model.fc1(x)) h.retain_grad() out model.fc2(h).squeeze() out.backward(retain_graphTrue) grad h.grad cav_t torch.tensor(cav, dtypetorch.float32) direction torch.dot(grad.flatten(), cav_t).item() if direction 0: positive_count 1 return positive_count / len(indices) # 对每个群体分别计算 accent_group df[df[accent_heavy] 1].index[:200].values standard_group df[df[accent_heavy] 0].index[:200].values pause_group df[df[filled_pause] 1].index[:200].values cav_accent np.load(artifacts/cav/cav_accent.npy) cav_pause np.load(artifacts/cav/cav_pause.npy) print(TCAV accent on accent-heavy group:, round(tcav_score(accent_group, cav_accent), 3)) print(TCAV accent on standard group:, round(tcav_score(standard_group, cav_accent), 3)) print(TCAV filled_pause on filled-pause group:, round(tcav_score(pause_group, cav_pause), 3))如果一切正常你会看到类似下面的输出每次运行可能有差异TCAV accent on accent-heavy group: 0.765 TCAV accent on standard group: 0.580 TCAV filled_pause on filled-pause group: 0.711这说明模型在给重口音群体打分时明显使用了“口音”这一概念方向而在标准口音群体上使用程度较低。这种不对称性就是偏差分析关注的重点。5.5 汇总偏差报告你可以把 TCAV 结果汇总成表格形成一份简单的偏差分析报告import pandas as pd report pd.DataFrame({ concept: [accent, accent, filled_pause], group: [accent-heavy, standard, filled-pause], tcav_score: [ tcav_score(accent_group, cav_accent), tcav_score(standard_group, cav_accent), tcav_score(pause_group, cav_pause), ], sample_size: [len(accent_group), len(standard_group), len(pause_group)], }) print(report.to_string(indexFalse)) report.to_csv(artifacts/bias_report.csv, indexFalse)有了这份报告就可以结合业务情况判断哪些概念存在高风险偏差。6. 实验结果解读如何判断系统是否存在偏差6.1 从 TCAV 分数看群体差异在上述演示结果中accent 概念在重口音群体上的 TCAV 是 0.765而在标准口音群体上是 0.580。也就是说模型在计算重口音学生分数时更依赖口音这一概念方向。综合起来可以形成一个判断逻辑如果概念本身与能力无关但 TCAV 分数明显高于 0.5说明模型可能错误使用了这一概念如果某个群体上的 TCAV 明显高于其他群体说明该群体的预测更容易受这个概念影响。在本例中重口音群体不仅分数偏低而且模型又确实大量使用了口音方向因此可以认为系统存在口音相关偏差。6.2 统计显著性与多次运行TCAV 单次运行结果可能不稳定。建议对同一个概念多次随机抽取样本训练多个 CAV计算 TCAV 分数的均值和置信区间。同时也要注意逻辑回归的随机种子避免一次运行结果误导判断。6.3 不要忽略数据层面的偏差还需要说明一点TCAV 可以告诉你“模型是否使用了某个概念”但不能自动告诉你“使用这个概念是否合理”。如果模型认为重口音与发音准确度确实相关那这种使用可能部分是合理的。事实上口音和真实发音能力之间存在相关性。判断偏差是否真实存在必须结合专家标注、考生真实水平以及应用场景一起分析而不是只看一个 TCAV 数字就下结论。7. 常见问题与排查思路问题现象常见原因解决思路训练评分模型时 Loss 不下降学习率过大或过小、特征未归一化先尝试 lr1e-3观察 Loss 变化对特征做标准化CAV 训练准确率接近 100%概念集和非概念集之间存在明显无关差异检查两组样本的时长、录音环境是否一致降低 C 值方向导数全为 0中间层激活没有设置 retain_grad在调用 backward 前对 h 调用 h.retain_grad()TCAV 分数每次都变化很大概念样本量太少或随机种子不稳定增加样本量多次运行取平均并报告标准差特征提取时 OOM音频过长、batch 过大截断音频、减小 batch、使用 AMP 混合精度音频加载失败采样率不匹配或文件损坏使用 librosa 统一加载到 16000Hz捕获异常并记录日志如果你第一次跑出的 TCAV 结果不理想优先检查两个地方一是概念集是否构建合理二是检查方向导数计算时梯度是否真的传到了中间层。8. 最佳实践与工程建议8.1 概念集构建要“对齐业务语义”CAV 分析的效果上限取决于概念集。概念集定义要可操作建议一个概念一个实验不要一次性混合多个概念。比如“重口音”概念和“填充词”概念就最好分开训练否则会互相干扰。8.2 用“对照样本”排除无关因素正概念样本和负概念样本除了目标概念不同其他属性尽量保持一致。可以按考生水平、录音设备、音轨长度做分层采样减少混淆因素。8.3 注意隐私和数据合规L2 口语评估数据往往来自真实考生录音可能包含个人语音信息。进行偏差分析前要确保数据经过授权且已做匿名化和去标识化处理数据存储和访问遵循最小权限原则分析报告不能包含可以直接定位到个人的样本信息。8.4 固定随机种子保证可复现CAV 分析涉及多种随机因素包括特征提取、训练集划分、逻辑回归初始化。工程上建议在代码中显式固定随机种子并把模型版本、数据版本、CAV 配置一起记录到报告里。8.5 结合人工审核抽样验证TCAV 是一种统计工具不能替代人工审核。建议定期抽样检查模型输出和中间层方向由语言专家评估模型关注的声学特征是否合理。8.6 引入模型上线后的滚动监控偏差分析不应该只做一次。模型重新训练、数据分布变化之后都可能导致新的偏差。建议把 TCAV 指标做成离线评估流水线的一部分每次模型发布前自动计算并对比历史结果。9. 总结与后续学习方向这篇文章介绍了如何基于 Concept Activation Vectors 对 L2 口语评估系统进行偏差分析并给出了一个完整的 Python 示例。你在这个流程中掌握的关键技能包括概念集构建、隐层激活提取、CAV 训练、方向导数计算、TCAV 分数解读。接下来可以继续扩展的方向有几个将分析层从“评分模型隐层”迁移到更底层的 Wav2Vec2 编码器层观察语音预训练模型是否已经编码了偏差相关特征在多个随机种子上重复 TCAV 计算引入置信区间和显著性检验把偏差分析结果作为训练信号尝试做概念去偏训练例如在损失函数中降低对敏感概念方向的依赖将这套方法应用到中文 L2 口语评估、职场英语面试评分、AI 口语教练等实际场景。最后分享一个实用的排查习惯第一次跑这套流程时先用合成数据验证整条链路可以正常走通再迁移到真实评估集上。这样能把“方法论本身有问题”和“数据有问题”分开节省大量调试时间。如果这篇文章对你有帮助可以收藏备用也欢迎在评论区交流你在口语评估系统偏差分析中遇到的实际问题。