尧图网站建设 
数据库 A 与数据库 B 检索实验结果对比分析报告本报告横向对比paperDatabaseA与paperDatabaseB两套论文库在四种检索方式下的实验结果从性能、稳定性、资源消耗、适用场景四个维度展开明确各自优劣。所有数值均源自双方实验记录。第一章 对比框架与数据集数据集规模两库语料均为 171 篇文献漏洞修复 20、漏洞检测 93、LLM 安全 58。测试查询3 条英文查询分别映射上述三类主题。评估指标RecallK、PrecisionK、F1KF1 为核心择优指标。对比维度①性能检索质量②稳定性对超参数/类别的鲁棒性③资源消耗架构推断实验记录未含时延/内存实测④适用场景。第二章 性能对比2.1 各检索方式最优 F1K 对比检索方式A库 最优F1B库 最优F1A→B 变化全文检索10.95%10.95%→ 0.00 pp向量检索23.88%28.86%↑ 4.98 pp混合检索-Rerank21.89%21.89%→ 0.00 pp混合检索-权重设置23.88%29.85%↑ 5.97 ppA 库综合最优检索方式按整体均值 F1混合检索-权重设置峰值 F1K 23.88%。B 库综合最优检索方式按整体均值 F1混合检索-权重设置峰值 F1K 29.85%。两库在最优检索方式上一致均为「混合检索-权重设置」。2.2 分主题类别性能对比各自最优配置检索方式类别A库 F1B库 F1全文检索漏洞修复26.67%46.67%全文检索漏洞检测11.65%7.77%全文检索LLM安全2.94%—向量检索漏洞修复46.67%66.67%向量检索漏洞检测19.42%17.48%向量检索LLM安全20.59%29.41%混合检索-Rerank漏洞修复46.67%66.67%混合检索-Rerank漏洞检测13.59%11.65%混合检索-RerankLLM安全23.53%17.65%混合检索-权重设置漏洞修复53.33%66.67%混合检索-权重设置漏洞检测15.53%19.42%混合检索-权重设置LLM安全23.53%29.41%第三章 稳定性对比稳定性从两方面衡量(a) 超参数敏感度所有配置 F1K 的变异系数 CV越小越稳(b) 类别覆盖鲁棒性最优配置下三类主题是否均取得正例 F1。3.1 超参数敏感度CV of F1K检索方式A库 CVB库 CV更稳一方全文检索0.8150.885A向量检索1.2931.049B混合检索-Rerank0.8940.870B混合检索-权重设置0.4530.403B3.2 类别覆盖鲁棒性最优配置下三类是否均有正例检索方式A库 覆盖B库 覆盖全文检索漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✗向量检索漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✓混合检索-Rerank漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✓混合检索-权重设置漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✓解读B 库在“全文检索”最优配置下未检索到任何 LLM 安全类文献覆盖✗说明该方式在 B 库上对该类别存在失效风险A 库各方式最优配置三类均有正例但 LLM 安全类 F1 普遍极低仍属短板。两库在 F1 对超参数的敏感度上整体接近而“混合检索-权重设置”因配置更密集、寻优更充分反而获得了最低的 F1 变异系数A 0.453 / B 0.403即在不同权重下质量最稳定且上限最高。第四章 资源消耗对比检索方式计算链路相对资源消耗推断依据全文检索倒排索引 重排序低仅关键词匹配无需向量化与向量库重排序为唯一附加模型推理向量检索向量化 向量索引 重排序中-高需嵌入模型生成向量并建立/查询向量索引外加重排序推理混合检索-Rerank全文 向量双路召回 重排序高双路召回并行 重排序两阶段计算与存储成本最高混合检索-权重设置全文 向量双路召回 加权融合中双路召回并行但用加权融合替代独立重排序模型调用省去一次模型推理在相同语料规模171 篇下绝对资源消耗均处于轻量级差异主要体现在相对链路复杂度与是否触发额外模型推理。若在未来扩大语料混合检索-Rerank 因“重排序”为串行瓶颈扩展性弱于“权重设置”融合可在召回阶段并行完成。第五章 适用场景对比维度数据库 A数据库 B整体检索质量中等最优F1 23.88%较高最优F1 29.85%实验覆盖一致性弱向量检索未扫变体强四类均扫12变体向量检索表现单一模型结论置信度有限12变体扫描可定位最优重排序模型短板类别LLM安全召回极低全文检索对LLM安全存在失效推荐默认策略混合检索-权重设置细粒度寻优混合检索-权重设置 / 向量检索均优第六章 综合优劣与选型建议6.1 各方式横向优劣全文检索资源最省、可解释性强但语义泛化弱对 LLM 安全等语义分散类召回差两库均表现最弱。向量检索语义匹配能力强B 库可达最高 F128.86%依赖嵌入与重排序质量A 库因未扫变体而受限。混合检索-Rerank融合双路优势质量居中偏上但资源消耗最高、串行重排成瓶颈。混合检索-权重设置两库综合最优44 组权重扫描寻优空间大且以融合替代串行重排、资源更可控是推荐默认方案。6.2 数据库层面结论数据库 A检索质量中等实验设计在向量检索上存在覆盖缺口其“混合检索-权重设置”在 TOP-K10、权重 0.5:0.5 时达到最优 F1 23.88%。数据库 B检索质量整体更优最优 F1 29.85%实验覆盖完整、结论可信其“混合检索-权重设置”在权重 0.4:0.6 时达到最优 F1 29.85%。选型建议若追求开箱即用的高质量检索优先采用混合检索-权重设置语义:关键词 ≈ 0.4~0.5 : 0.6~0.5TOP-K10阈值0在算力受限场景下可用全文检索兜底在语义要求高的场景用向量检索并务必扫描重排序模型变体以确定最优配置。 数据库 A 与数据库 B 检索实验结果对比分析报告
数据库 A 与数据库 B 检索实验结果对比分析报告本报告横向对比paperDatabaseA与paperDatabaseB两套论文库在四种检索方式下的实验结果从性能、稳定性、资源消耗、适用场景四个维度展开明确各自优劣。所有数值均源自双方实验记录。第一章 对比框架与数据集数据集规模两库语料均为 171 篇文献漏洞修复 20、漏洞检测 93、LLM 安全 58。测试查询3 条英文查询分别映射上述三类主题。评估指标RecallK、PrecisionK、F1KF1 为核心择优指标。对比维度①性能检索质量②稳定性对超参数/类别的鲁棒性③资源消耗架构推断实验记录未含时延/内存实测④适用场景。第二章 性能对比2.1 各检索方式最优 F1K 对比检索方式A库 最优F1B库 最优F1A→B 变化全文检索10.95%10.95%→ 0.00 pp向量检索23.88%28.86%↑ 4.98 pp混合检索-Rerank21.89%21.89%→ 0.00 pp混合检索-权重设置23.88%29.85%↑ 5.97 ppA 库综合最优检索方式按整体均值 F1混合检索-权重设置峰值 F1K 23.88%。B 库综合最优检索方式按整体均值 F1混合检索-权重设置峰值 F1K 29.85%。两库在最优检索方式上一致均为「混合检索-权重设置」。2.2 分主题类别性能对比各自最优配置检索方式类别A库 F1B库 F1全文检索漏洞修复26.67%46.67%全文检索漏洞检测11.65%7.77%全文检索LLM安全2.94%—向量检索漏洞修复46.67%66.67%向量检索漏洞检测19.42%17.48%向量检索LLM安全20.59%29.41%混合检索-Rerank漏洞修复46.67%66.67%混合检索-Rerank漏洞检测13.59%11.65%混合检索-RerankLLM安全23.53%17.65%混合检索-权重设置漏洞修复53.33%66.67%混合检索-权重设置漏洞检测15.53%19.42%混合检索-权重设置LLM安全23.53%29.41%第三章 稳定性对比稳定性从两方面衡量(a) 超参数敏感度所有配置 F1K 的变异系数 CV越小越稳(b) 类别覆盖鲁棒性最优配置下三类主题是否均取得正例 F1。3.1 超参数敏感度CV of F1K检索方式A库 CVB库 CV更稳一方全文检索0.8150.885A向量检索1.2931.049B混合检索-Rerank0.8940.870B混合检索-权重设置0.4530.403B3.2 类别覆盖鲁棒性最优配置下三类是否均有正例检索方式A库 覆盖B库 覆盖全文检索漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✗向量检索漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✓混合检索-Rerank漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✓混合检索-权重设置漏洞✓/漏洞✓/LL✓漏洞✓/漏洞✓/LL✓解读B 库在“全文检索”最优配置下未检索到任何 LLM 安全类文献覆盖✗说明该方式在 B 库上对该类别存在失效风险A 库各方式最优配置三类均有正例但 LLM 安全类 F1 普遍极低仍属短板。两库在 F1 对超参数的敏感度上整体接近而“混合检索-权重设置”因配置更密集、寻优更充分反而获得了最低的 F1 变异系数A 0.453 / B 0.403即在不同权重下质量最稳定且上限最高。第四章 资源消耗对比检索方式计算链路相对资源消耗推断依据全文检索倒排索引 重排序低仅关键词匹配无需向量化与向量库重排序为唯一附加模型推理向量检索向量化 向量索引 重排序中-高需嵌入模型生成向量并建立/查询向量索引外加重排序推理混合检索-Rerank全文 向量双路召回 重排序高双路召回并行 重排序两阶段计算与存储成本最高混合检索-权重设置全文 向量双路召回 加权融合中双路召回并行但用加权融合替代独立重排序模型调用省去一次模型推理在相同语料规模171 篇下绝对资源消耗均处于轻量级差异主要体现在相对链路复杂度与是否触发额外模型推理。若在未来扩大语料混合检索-Rerank 因“重排序”为串行瓶颈扩展性弱于“权重设置”融合可在召回阶段并行完成。第五章 适用场景对比维度数据库 A数据库 B整体检索质量中等最优F1 23.88%较高最优F1 29.85%实验覆盖一致性弱向量检索未扫变体强四类均扫12变体向量检索表现单一模型结论置信度有限12变体扫描可定位最优重排序模型短板类别LLM安全召回极低全文检索对LLM安全存在失效推荐默认策略混合检索-权重设置细粒度寻优混合检索-权重设置 / 向量检索均优第六章 综合优劣与选型建议6.1 各方式横向优劣全文检索资源最省、可解释性强但语义泛化弱对 LLM 安全等语义分散类召回差两库均表现最弱。向量检索语义匹配能力强B 库可达最高 F128.86%依赖嵌入与重排序质量A 库因未扫变体而受限。混合检索-Rerank融合双路优势质量居中偏上但资源消耗最高、串行重排成瓶颈。混合检索-权重设置两库综合最优44 组权重扫描寻优空间大且以融合替代串行重排、资源更可控是推荐默认方案。6.2 数据库层面结论数据库 A检索质量中等实验设计在向量检索上存在覆盖缺口其“混合检索-权重设置”在 TOP-K10、权重 0.5:0.5 时达到最优 F1 23.88%。数据库 B检索质量整体更优最优 F1 29.85%实验覆盖完整、结论可信其“混合检索-权重设置”在权重 0.4:0.6 时达到最优 F1 29.85%。选型建议若追求开箱即用的高质量检索优先采用混合检索-权重设置语义:关键词 ≈ 0.4~0.5 : 0.6~0.5TOP-K10阈值0在算力受限场景下可用全文检索兜底在语义要求高的场景用向量检索并务必扫描重排序模型变体以确定最优配置。