尧图网站建设 
简介《公募基金行业深度研究报告.pdf》是一份面向公募基金从业者、资管研究人士及金融专业学生的行业分析资料围绕国内公募基金发展现状与惠理集团这一亚洲价值投资标杆展开用于理解行业格局、产品结构变化与机构经营逻辑。压缩包仅含1个pdf文件约650KB篇幅精炼、图表密集适合快速通读与专题索引查阅。报告以五部分串联主线先梳理我国公募基金管理规模增长与开放式基金中货币基金占比走高的结构变化再以惠理集团为样本剖析其价值投资方法论、大中华区域布局、权益为主并拓宽多元投资的策略以及管理费收入与AUM规模、分销能力之间的关联随后结合营收构成、固定成本覆盖率、价值基金回报率与重仓股持股时长等指标拆解其规模与业绩并举的经营路径最后提炼差异化品牌、激励机制革新、扩容资管规模与平台化分销降本三条启示并附有完整目录与图表索引便于按章节定位数据。目前已有132人学习适合作为行业比较与投资研究的参考素材。1. 把「公募基金行业深度研究报告」当成数据源第一步不是读而是拆研究员甩过来一份 200 页的《公募基金行业深度研究报告.pdf》需求是「把里面近三年的基金规模、份额、费率、持仓集中度抠出来做成一张能对比的表」。你打开 PDFCtrlA 复制粘到编辑器里——双栏正文串成一行表格塌成一条乱码脚注插进段落中间页码和图注混在句子末尾。这时候才意识到标题里的.pdf不是文件后缀而是一类需要工程化处理的结构化文档对象。公募基金行业深度研究报告这类文档有几个固定特征A4 纵向、正文常为双栏、图表横跨整页、大量脚注小字号、数据表既有三线表也有带完整边框的表、同一指标在不同章节可能用「亿元」「万元」两种口径。直接上正则清洗文本一定踩坑先做版面拆解再做语义抽取才是能复现的路径。这篇写给要做投研数据管道、文档知识库、报告自动化生成的工程师从解析选型讲到验收技巧。2. 公募基金行业深度研究报告 PDF 的版面拆解与解析选型2.1 先建立「物理页 → 区块 → 语义单元」三层模型PDF 内部没有段落、没有表格、没有标题只有一堆带坐标的字形绘制指令。你要的段落和表格是从坐标里重新聚类出来的。我一般把抽取拆成三层第一层是物理页每个 page 有宽高和一批 text block第二层是区块把 block 按坐标归到栏、表、图注、页眉页脚第三层才是语义单元把区块拼成「章节 → 小节 → 段落 / 表格」。判断这份报告属于哪种类型用一条命令就够逐页取纯文本如果大部分页面get_text()结果长度不到 50 字符说明正文是图片必须走 OCR 或版面识别模型如果长度正常说明是文字型 PDF坐标抽取就够用成本和准确率都远好于 OCR。双栏是最大的坑。同一个 y 坐标附近会有左右两段文字如果按 y 排序直接拼接会得到「左栏第一行 右栏第一行 左栏第二行」这种交错文本语义完全断裂。正确做法是按 x 坐标做一维聚类切成左右两组各自按 y 排序再拼接。图表横跨双栏时它的 x 范围会覆盖全页宽用宽度阈值就能识别出来并单独处理。页眉页脚也要按 y 坐标裁掉。A4 页面高度约 842pt常见页边距 50~72pt所以y0 60或y1 height - 60的块基本都是页码和页眉直接丢弃。注意脚注通常在页面底部但属于正文它的字号比正文小、y 值在正文最后一行之后必须靠字号和与正文最后一块的间距区分简单按 y 裁剪会把脚注一起删掉。2.2 解析引擎怎么选四类工具的适用边界不要一上来就上大模型。文字型 PDF 用坐标级工具又快又准OCR 只在扫描件或图片型图表上才值得付成本。工具抽取对象文字型 PDF扫描件坐标能力适合环节pdfplumber文本、表格、线框强不支持提供每个字符的 x0/x1/top/bottom表格抽取、精确坐标定位PyMuPDF文本块、图片、页面结构很强速度快不支持块级 bbox字符级需rawdict批量分页、版面聚类、图片导出Camelot线框表格强不支持单元格级只抽表格、批量抽同一版式表OCR / 版面识别方案整页转文本版面一般强依赖模型输出扫描件、图内文字、复杂图表我一般的组合是PyMuPDF 跑全量分页和坐标聚类pdfplumber 精修表格OCR 只对判定为图片的页面兜底。这样 200 页的报告纯文字部分几秒钟处理完成本可控。2.3 用 PyMuPDF 跑通最小抽取拿到带坐标的文本块先装依赖建独立环境避免和系统里的 PDF 库冲突。python -m venv .venv source .venv/bin/activate pip install pymupdf pdfplumber pandas下面这段代码把每页的文本块连坐标一起导出成 jsonl这是后续所有处理的底座。import fitz # PyMuPDF import json doc fitz.open(公募基金行业深度研究报告.pdf) rows [] for pno, page in enumerate(doc): h page.rect.height # blocks 返回 (x0, y0, x1, y1, text, block_no, block_type) for x0, y0, x1, y1, text, bno, btype in page.get_text(blocks): if btype ! 0: # 1 是图片块单独走 OCR 分支 continue if y0 60 or y1 h - 60: # 裁页眉页脚按自己 PDF 的页边距调 continue rows.append({ page: pno 1, x0: round(x0, 1), y0: round(y0, 1), x1: round(x1, 1), y1: round(y1, 1), text: text.strip().replace(\n, ) }) with open(blocks.jsonl, w, encodingutf-8) as f: for r in rows: f.write(json.dumps(r, ensure_asciiFalse) \n)逻辑说明get_text(blocks)是块级抽取比get_text(text)多出坐标代价是块内换行被保留所以统一把\n换成空格后面按块重新拼段。参数上btype只保留 0图片块不进文本流60pt 是页眉页脚阈值正规报告通常在 50~72 之间先跑一版把所有块的y0分布打出来看页眉通常集中在最上方 3% 高度内阈值取那个断点最稳。分栏判断用 x 分布的直方图不要写死中位数。import numpy as np xs np.array([r[x0] for r in rows]) hist, edges np.histogram(xs, bins40) # 两个峰之间的谷底就是分栏线A4 双栏常在 290~310pt 之间 print(list(zip(edges[:-1].round(0), hist)))拿到分栏线split_x之后左栏取x0 split_x右栏取其余各自按(page, y0)排序再拼接语义就顺了。3. 公募基金行业深度研究报告 PDF 中表格与关键指标的抽取3.1 三种表格结构的处理策略公募基金行业深度研究报告里的表大致三类处理方法完全不同。表格类型特征推荐策略关键参数三线表只有上下边线和表头下线线框策略会漏列vertical_strategytext调text_x_tolerance全边框表每个单元格都有线线框策略最准vertical_strategylines无框对齐表全靠空格对齐只能按 x 坐标聚类分列列间距阈值gap 8pt判断方法是先看页面里的线段数量len(page.lines)和len(page.edges)线段多走线框线段少走文本聚类。这个判断比人工看表可靠得多也能自动化。3.2 用 pdfplumber 抽一张基金规模表pdfplumber 的extract_tables支持传参比默认参数准很多。import pdfplumber import pandas as pd with pdfplumber.open(公募基金行业深度研究报告.pdf) as pdf: page pdf.pages[37] # 页码从 0 开始 tables page.extract_tables({ vertical_strategy: lines, # 有边框线时用 lines horizontal_strategy: lines, snap_tolerance: 3, # 3pt 内的线视为同一条抗抖动 join_tolerance: 3, # 断线拼接容差 edge_min_length: 20, # 忽略太短的装饰线 intersection_tolerance: 5, # 横竖线交点容差 }) for t in tables: df pd.DataFrame(t[1:], columnst[0]) df df.dropna(howall) # 去掉空行 print(df.head())逻辑说明extract_tables先按线框切单元格再按坐标把字符归到格子里所以线框参数比文本参数更重要。snap_tolerance调大会把相邻两列合并调小会把一列拆成两列遇到列错位先动这个值每次改 1~2pt 试。表头如果有合并单元格第一行往往带None需要在df上做一次列名补全别直接拿t[0]当 columns。提示如果同一份报告里几十张表版式一致把这段逻辑封成函数入参只留页码列表批量跑完再人工抽查 5%比逐张调参快得多。3.3 单位归一化亿元、万元、亿份必须分开存表抽出来了坑才刚开始。同一份报告里规模可能写「1,234.56 亿元」也可能写「1234.56」还可能写「123.46 万万元」。份额用的是「亿份」跟金额不是一回事混进同一列后续所有计算都会错。import re UNIT {亿元: 1e8, 万元: 1e4, 元: 1.0, 亿份: 1e8, 万份: 1e4, 份: 1.0} NUM re.compile(r^(-?\d(?:\.\d)?)\s*(亿元|万元|亿份|万份|元|份)?$) def normalize(raw: str, field_type: str) - float: field_type: amount 金额类share 份额类 s str(raw).replace(,, ).replace( , ).strip() m NUM.match(s) if not m: raise ValueError(f无法解析: {raw}) v, unit float(m.group(1)), m.group(2) if unit is None: # 无单位时按表头继承 unit 亿元 if field_type amount else 亿份 if field_type amount and unit.endswith(份): raise ValueError(f单位与字段类型不匹配: {raw}) return v * UNIT[unit]逻辑说明函数强制传field_type就是为了在类型层面挡住「份额当金额」的误用抛异常而不是返回None是为了让脏数据在管道里立刻暴露而不是悄悄变成 0 混进汇总。归一化统一到「元」和「份」后展示层再除以 1e8 转回亿元这样只在出口做一次换算中间环节全部无量纲。4. 把公募基金行业深度研究报告 PDF 建成可检索的知识库4.1 分块策略按标题层级切不要按固定字符数切固定 500 字一刀切是最常见的误用。切在表格中间表格语义就废了切在小标题和正文之间检索出来的段落没有上下文。公募基金行业深度研究报告的中文标题有很强的规律第X章、一、、一、1.1用正则识别这些锚点在锚点处切块内保证结构完整。import re, json HEAD re.compile(r^(第[一二三四五六七八九十][章节]|[一二三四五六七八九十]、|[一二三四五六七八九十]|\d\.\d\s)) def build_chunks(blocks, max_chars900, overlap100): chunks, buf, cur_title [], [], for b in sorted(blocks, keylambda x: (x[page], x[y0])): t b[text].strip() if not t: continue if HEAD.match(t) and sum(len(x[text]) for x in buf) 200: chunks.append({title: cur_title, text: \n.join(x[text] for x in buf), page: buf[0][page]}) buf buf[-2:] if len(buf) 2 else [] # 留 2 块做 overlap cur_title t buf.append({**b, text: t}) if sum(len(x[text]) for x in buf) max_chars: chunks.append({title: cur_title, text: \n.join(x[text] for x in buf), page: buf[0][page]}) buf buf[-2:] if buf: chunks.append({title: cur_title, text: \n.join(x[text] for x in buf), page: buf[0][page]}) return chunks逻辑说明HEAD覆盖了四种中文标题写法 200字符这个条件防止把小标题刚开头就切成空块。overlap保留前两块是为了让跨标题的句子在相邻两块里都出现检索时不会因为边界丢信息。page字段必须保留它是后面定位原文、人工复核的唯一锚点。4.2 向量化与带元数据过滤的检索中文检索用中文向量模型别拿英文模型硬套。本地跑的话bge系列的小模型在 CPU 上也能接受200 页报告大概几百个块编码一次几秒钟。from sentence_transformers import SentenceTransformer import numpy as np model SentenceTransformer(BAAI/bge-small-zh-v1.5) texts [c[title] \n c[text] for c in chunks] emb model.encode(texts, normalize_embeddingsTrue, batch_size32) def search(query, topk5, page_rangeNone): q model.encode([query], normalize_embeddingsTrue)[0] idx np.arange(len(texts)) if page_range: # 元数据过滤限定章节页码范围 idx np.array([i for i in idx if page_range[0] chunks[i][page] page_range[1]]) sim emb[idx] q # 已归一化点积即余弦相似度 order idx[np.argsort(-sim)[:topk]] return [(chunks[i][page], chunks[i][title], round(float(emb[i] q), 3)) for i in order] print(search(近三年主动权益基金的平均管理费率, page_range(30, 90)))逻辑说明normalize_embeddingsTrue让向量模长为 1点积直接等于余弦相似度省掉一次归一化计算。page_range这类元数据过滤要放在相似度计算之前先缩小候选集再排序既快又能挡住「问费率却召回规模数据」这类跨主题误召。chunks[i][title]一并返回是为了让你一眼看出这一段归在哪个小节下。4.3 召回不准时的四个排查方向症状大概率原因先改什么召回段落语义对但数字错表格被切成散块把表格单独抽成结构化块不参与文本分块问具体数字召不到数字被分块切开降低max_chars或按段落而非字符数切召回跨主题噪声多缺元数据过滤补page、章节标题字段并前置过滤相似度普遍偏低模型与语料不匹配换中文金融语料微调过的向量模型5. 公募基金行业深度研究报告 PDF 解析的进阶技巧与验收5.1 表格线缺失时用词的 x 坐标做列切分无框对齐表是最难的一类线框策略完全失效。可行的兜底是取表格区域内所有文本块的x0和x1把所有区间投影到 x 轴统计每个位置被多少块覆盖覆盖数为 0 的连续区间就是列间隙间隙宽度大于 8pt 的切成一列。def split_columns(blocks, gap8.0): blocks: 同一表格区域内的文本块按 x 投影找列间隙 intervals sorted((b[x0], b[x1]) for b in blocks) merged, cur [], list(intervals[0]) for x0, x1 in intervals[1:]: if x0 - cur[1] gap: # 与当前列重叠合并 cur[1] max(cur[1], x1) else: merged.append(tuple(cur)); cur [x0, x1] merged.append(tuple(cur)) return merged # 每个元组是一列的 x 区间gap这个参数按正文字号定正文 10.5pt 时字间距通常 1~2pt列间距一般大于 8pt所以 8 是安全起点。如果切出来的列数比表头单元格数多说明某列内的文字被误判成间隙把gap调到 12 再试。5.2 用锚点词加正则做表与正文的交叉校验抽完不算完得验。做法是挑几个必然同时出现在正文和表格里的锚点词用正则从两条路径分别取值不一致就落到人工复核队列。import re ANCHOR re.compile(r(资产净值合计|份额合计|期末总份额)[^\d]{0,8}([\d,](?:\.\d)?)\s*(亿元|亿份)) def cross_check(page_text, table_sum): hits ANCHOR.findall(page_text) if not hits: return missing _, value, unit hits[0] v float(value.replace(,, )) * (1e8 if unit.startswith(亿) else 1e4) return ok if abs(v - table_sum) / max(v, 1) 1e-3 else fmismatch {v} vs {table_sum}阈值取千分之一是因为四舍五入到小数点后两位时千亿级别的数值误差就在千万量级卡太死会全是误报。5.3 增量更新只重解析变化页报告会改版第二版往往只动几页。全量重跑一次几十分钟不值得。给每页算文本指纹比对上一版留存的值只对变化的页重新走抽取链路未变的页直接复用缓存结果。import hashlib def page_fingerprint(page): return hashlib.sha1(page.get_text(text).encode(utf-8)).hexdigest()指纹用文本内容而不是文件字节这样 PDF 被重新导出、字体子集变化但内容没变时指纹依然一致避免整本触发重解析。把指纹、页码、缓存文件路径存成一张小表每次更新先算指纹集合做差集差集为空就直接跳过整份文档。本文还有配套的精品资源点击获取 公募基金行业深度研究报告 PDF 解析与知识库构建实战
简介《公募基金行业深度研究报告.pdf》是一份面向公募基金从业者、资管研究人士及金融专业学生的行业分析资料围绕国内公募基金发展现状与惠理集团这一亚洲价值投资标杆展开用于理解行业格局、产品结构变化与机构经营逻辑。压缩包仅含1个pdf文件约650KB篇幅精炼、图表密集适合快速通读与专题索引查阅。报告以五部分串联主线先梳理我国公募基金管理规模增长与开放式基金中货币基金占比走高的结构变化再以惠理集团为样本剖析其价值投资方法论、大中华区域布局、权益为主并拓宽多元投资的策略以及管理费收入与AUM规模、分销能力之间的关联随后结合营收构成、固定成本覆盖率、价值基金回报率与重仓股持股时长等指标拆解其规模与业绩并举的经营路径最后提炼差异化品牌、激励机制革新、扩容资管规模与平台化分销降本三条启示并附有完整目录与图表索引便于按章节定位数据。目前已有132人学习适合作为行业比较与投资研究的参考素材。1. 把「公募基金行业深度研究报告」当成数据源第一步不是读而是拆研究员甩过来一份 200 页的《公募基金行业深度研究报告.pdf》需求是「把里面近三年的基金规模、份额、费率、持仓集中度抠出来做成一张能对比的表」。你打开 PDFCtrlA 复制粘到编辑器里——双栏正文串成一行表格塌成一条乱码脚注插进段落中间页码和图注混在句子末尾。这时候才意识到标题里的.pdf不是文件后缀而是一类需要工程化处理的结构化文档对象。公募基金行业深度研究报告这类文档有几个固定特征A4 纵向、正文常为双栏、图表横跨整页、大量脚注小字号、数据表既有三线表也有带完整边框的表、同一指标在不同章节可能用「亿元」「万元」两种口径。直接上正则清洗文本一定踩坑先做版面拆解再做语义抽取才是能复现的路径。这篇写给要做投研数据管道、文档知识库、报告自动化生成的工程师从解析选型讲到验收技巧。2. 公募基金行业深度研究报告 PDF 的版面拆解与解析选型2.1 先建立「物理页 → 区块 → 语义单元」三层模型PDF 内部没有段落、没有表格、没有标题只有一堆带坐标的字形绘制指令。你要的段落和表格是从坐标里重新聚类出来的。我一般把抽取拆成三层第一层是物理页每个 page 有宽高和一批 text block第二层是区块把 block 按坐标归到栏、表、图注、页眉页脚第三层才是语义单元把区块拼成「章节 → 小节 → 段落 / 表格」。判断这份报告属于哪种类型用一条命令就够逐页取纯文本如果大部分页面get_text()结果长度不到 50 字符说明正文是图片必须走 OCR 或版面识别模型如果长度正常说明是文字型 PDF坐标抽取就够用成本和准确率都远好于 OCR。双栏是最大的坑。同一个 y 坐标附近会有左右两段文字如果按 y 排序直接拼接会得到「左栏第一行 右栏第一行 左栏第二行」这种交错文本语义完全断裂。正确做法是按 x 坐标做一维聚类切成左右两组各自按 y 排序再拼接。图表横跨双栏时它的 x 范围会覆盖全页宽用宽度阈值就能识别出来并单独处理。页眉页脚也要按 y 坐标裁掉。A4 页面高度约 842pt常见页边距 50~72pt所以y0 60或y1 height - 60的块基本都是页码和页眉直接丢弃。注意脚注通常在页面底部但属于正文它的字号比正文小、y 值在正文最后一行之后必须靠字号和与正文最后一块的间距区分简单按 y 裁剪会把脚注一起删掉。2.2 解析引擎怎么选四类工具的适用边界不要一上来就上大模型。文字型 PDF 用坐标级工具又快又准OCR 只在扫描件或图片型图表上才值得付成本。工具抽取对象文字型 PDF扫描件坐标能力适合环节pdfplumber文本、表格、线框强不支持提供每个字符的 x0/x1/top/bottom表格抽取、精确坐标定位PyMuPDF文本块、图片、页面结构很强速度快不支持块级 bbox字符级需rawdict批量分页、版面聚类、图片导出Camelot线框表格强不支持单元格级只抽表格、批量抽同一版式表OCR / 版面识别方案整页转文本版面一般强依赖模型输出扫描件、图内文字、复杂图表我一般的组合是PyMuPDF 跑全量分页和坐标聚类pdfplumber 精修表格OCR 只对判定为图片的页面兜底。这样 200 页的报告纯文字部分几秒钟处理完成本可控。2.3 用 PyMuPDF 跑通最小抽取拿到带坐标的文本块先装依赖建独立环境避免和系统里的 PDF 库冲突。python -m venv .venv source .venv/bin/activate pip install pymupdf pdfplumber pandas下面这段代码把每页的文本块连坐标一起导出成 jsonl这是后续所有处理的底座。import fitz # PyMuPDF import json doc fitz.open(公募基金行业深度研究报告.pdf) rows [] for pno, page in enumerate(doc): h page.rect.height # blocks 返回 (x0, y0, x1, y1, text, block_no, block_type) for x0, y0, x1, y1, text, bno, btype in page.get_text(blocks): if btype ! 0: # 1 是图片块单独走 OCR 分支 continue if y0 60 or y1 h - 60: # 裁页眉页脚按自己 PDF 的页边距调 continue rows.append({ page: pno 1, x0: round(x0, 1), y0: round(y0, 1), x1: round(x1, 1), y1: round(y1, 1), text: text.strip().replace(\n, ) }) with open(blocks.jsonl, w, encodingutf-8) as f: for r in rows: f.write(json.dumps(r, ensure_asciiFalse) \n)逻辑说明get_text(blocks)是块级抽取比get_text(text)多出坐标代价是块内换行被保留所以统一把\n换成空格后面按块重新拼段。参数上btype只保留 0图片块不进文本流60pt 是页眉页脚阈值正规报告通常在 50~72 之间先跑一版把所有块的y0分布打出来看页眉通常集中在最上方 3% 高度内阈值取那个断点最稳。分栏判断用 x 分布的直方图不要写死中位数。import numpy as np xs np.array([r[x0] for r in rows]) hist, edges np.histogram(xs, bins40) # 两个峰之间的谷底就是分栏线A4 双栏常在 290~310pt 之间 print(list(zip(edges[:-1].round(0), hist)))拿到分栏线split_x之后左栏取x0 split_x右栏取其余各自按(page, y0)排序再拼接语义就顺了。3. 公募基金行业深度研究报告 PDF 中表格与关键指标的抽取3.1 三种表格结构的处理策略公募基金行业深度研究报告里的表大致三类处理方法完全不同。表格类型特征推荐策略关键参数三线表只有上下边线和表头下线线框策略会漏列vertical_strategytext调text_x_tolerance全边框表每个单元格都有线线框策略最准vertical_strategylines无框对齐表全靠空格对齐只能按 x 坐标聚类分列列间距阈值gap 8pt判断方法是先看页面里的线段数量len(page.lines)和len(page.edges)线段多走线框线段少走文本聚类。这个判断比人工看表可靠得多也能自动化。3.2 用 pdfplumber 抽一张基金规模表pdfplumber 的extract_tables支持传参比默认参数准很多。import pdfplumber import pandas as pd with pdfplumber.open(公募基金行业深度研究报告.pdf) as pdf: page pdf.pages[37] # 页码从 0 开始 tables page.extract_tables({ vertical_strategy: lines, # 有边框线时用 lines horizontal_strategy: lines, snap_tolerance: 3, # 3pt 内的线视为同一条抗抖动 join_tolerance: 3, # 断线拼接容差 edge_min_length: 20, # 忽略太短的装饰线 intersection_tolerance: 5, # 横竖线交点容差 }) for t in tables: df pd.DataFrame(t[1:], columnst[0]) df df.dropna(howall) # 去掉空行 print(df.head())逻辑说明extract_tables先按线框切单元格再按坐标把字符归到格子里所以线框参数比文本参数更重要。snap_tolerance调大会把相邻两列合并调小会把一列拆成两列遇到列错位先动这个值每次改 1~2pt 试。表头如果有合并单元格第一行往往带None需要在df上做一次列名补全别直接拿t[0]当 columns。提示如果同一份报告里几十张表版式一致把这段逻辑封成函数入参只留页码列表批量跑完再人工抽查 5%比逐张调参快得多。3.3 单位归一化亿元、万元、亿份必须分开存表抽出来了坑才刚开始。同一份报告里规模可能写「1,234.56 亿元」也可能写「1234.56」还可能写「123.46 万万元」。份额用的是「亿份」跟金额不是一回事混进同一列后续所有计算都会错。import re UNIT {亿元: 1e8, 万元: 1e4, 元: 1.0, 亿份: 1e8, 万份: 1e4, 份: 1.0} NUM re.compile(r^(-?\d(?:\.\d)?)\s*(亿元|万元|亿份|万份|元|份)?$) def normalize(raw: str, field_type: str) - float: field_type: amount 金额类share 份额类 s str(raw).replace(,, ).replace( , ).strip() m NUM.match(s) if not m: raise ValueError(f无法解析: {raw}) v, unit float(m.group(1)), m.group(2) if unit is None: # 无单位时按表头继承 unit 亿元 if field_type amount else 亿份 if field_type amount and unit.endswith(份): raise ValueError(f单位与字段类型不匹配: {raw}) return v * UNIT[unit]逻辑说明函数强制传field_type就是为了在类型层面挡住「份额当金额」的误用抛异常而不是返回None是为了让脏数据在管道里立刻暴露而不是悄悄变成 0 混进汇总。归一化统一到「元」和「份」后展示层再除以 1e8 转回亿元这样只在出口做一次换算中间环节全部无量纲。4. 把公募基金行业深度研究报告 PDF 建成可检索的知识库4.1 分块策略按标题层级切不要按固定字符数切固定 500 字一刀切是最常见的误用。切在表格中间表格语义就废了切在小标题和正文之间检索出来的段落没有上下文。公募基金行业深度研究报告的中文标题有很强的规律第X章、一、、一、1.1用正则识别这些锚点在锚点处切块内保证结构完整。import re, json HEAD re.compile(r^(第[一二三四五六七八九十][章节]|[一二三四五六七八九十]、|[一二三四五六七八九十]|\d\.\d\s)) def build_chunks(blocks, max_chars900, overlap100): chunks, buf, cur_title [], [], for b in sorted(blocks, keylambda x: (x[page], x[y0])): t b[text].strip() if not t: continue if HEAD.match(t) and sum(len(x[text]) for x in buf) 200: chunks.append({title: cur_title, text: \n.join(x[text] for x in buf), page: buf[0][page]}) buf buf[-2:] if len(buf) 2 else [] # 留 2 块做 overlap cur_title t buf.append({**b, text: t}) if sum(len(x[text]) for x in buf) max_chars: chunks.append({title: cur_title, text: \n.join(x[text] for x in buf), page: buf[0][page]}) buf buf[-2:] if buf: chunks.append({title: cur_title, text: \n.join(x[text] for x in buf), page: buf[0][page]}) return chunks逻辑说明HEAD覆盖了四种中文标题写法 200字符这个条件防止把小标题刚开头就切成空块。overlap保留前两块是为了让跨标题的句子在相邻两块里都出现检索时不会因为边界丢信息。page字段必须保留它是后面定位原文、人工复核的唯一锚点。4.2 向量化与带元数据过滤的检索中文检索用中文向量模型别拿英文模型硬套。本地跑的话bge系列的小模型在 CPU 上也能接受200 页报告大概几百个块编码一次几秒钟。from sentence_transformers import SentenceTransformer import numpy as np model SentenceTransformer(BAAI/bge-small-zh-v1.5) texts [c[title] \n c[text] for c in chunks] emb model.encode(texts, normalize_embeddingsTrue, batch_size32) def search(query, topk5, page_rangeNone): q model.encode([query], normalize_embeddingsTrue)[0] idx np.arange(len(texts)) if page_range: # 元数据过滤限定章节页码范围 idx np.array([i for i in idx if page_range[0] chunks[i][page] page_range[1]]) sim emb[idx] q # 已归一化点积即余弦相似度 order idx[np.argsort(-sim)[:topk]] return [(chunks[i][page], chunks[i][title], round(float(emb[i] q), 3)) for i in order] print(search(近三年主动权益基金的平均管理费率, page_range(30, 90)))逻辑说明normalize_embeddingsTrue让向量模长为 1点积直接等于余弦相似度省掉一次归一化计算。page_range这类元数据过滤要放在相似度计算之前先缩小候选集再排序既快又能挡住「问费率却召回规模数据」这类跨主题误召。chunks[i][title]一并返回是为了让你一眼看出这一段归在哪个小节下。4.3 召回不准时的四个排查方向症状大概率原因先改什么召回段落语义对但数字错表格被切成散块把表格单独抽成结构化块不参与文本分块问具体数字召不到数字被分块切开降低max_chars或按段落而非字符数切召回跨主题噪声多缺元数据过滤补page、章节标题字段并前置过滤相似度普遍偏低模型与语料不匹配换中文金融语料微调过的向量模型5. 公募基金行业深度研究报告 PDF 解析的进阶技巧与验收5.1 表格线缺失时用词的 x 坐标做列切分无框对齐表是最难的一类线框策略完全失效。可行的兜底是取表格区域内所有文本块的x0和x1把所有区间投影到 x 轴统计每个位置被多少块覆盖覆盖数为 0 的连续区间就是列间隙间隙宽度大于 8pt 的切成一列。def split_columns(blocks, gap8.0): blocks: 同一表格区域内的文本块按 x 投影找列间隙 intervals sorted((b[x0], b[x1]) for b in blocks) merged, cur [], list(intervals[0]) for x0, x1 in intervals[1:]: if x0 - cur[1] gap: # 与当前列重叠合并 cur[1] max(cur[1], x1) else: merged.append(tuple(cur)); cur [x0, x1] merged.append(tuple(cur)) return merged # 每个元组是一列的 x 区间gap这个参数按正文字号定正文 10.5pt 时字间距通常 1~2pt列间距一般大于 8pt所以 8 是安全起点。如果切出来的列数比表头单元格数多说明某列内的文字被误判成间隙把gap调到 12 再试。5.2 用锚点词加正则做表与正文的交叉校验抽完不算完得验。做法是挑几个必然同时出现在正文和表格里的锚点词用正则从两条路径分别取值不一致就落到人工复核队列。import re ANCHOR re.compile(r(资产净值合计|份额合计|期末总份额)[^\d]{0,8}([\d,](?:\.\d)?)\s*(亿元|亿份)) def cross_check(page_text, table_sum): hits ANCHOR.findall(page_text) if not hits: return missing _, value, unit hits[0] v float(value.replace(,, )) * (1e8 if unit.startswith(亿) else 1e4) return ok if abs(v - table_sum) / max(v, 1) 1e-3 else fmismatch {v} vs {table_sum}阈值取千分之一是因为四舍五入到小数点后两位时千亿级别的数值误差就在千万量级卡太死会全是误报。5.3 增量更新只重解析变化页报告会改版第二版往往只动几页。全量重跑一次几十分钟不值得。给每页算文本指纹比对上一版留存的值只对变化的页重新走抽取链路未变的页直接复用缓存结果。import hashlib def page_fingerprint(page): return hashlib.sha1(page.get_text(text).encode(utf-8)).hexdigest()指纹用文本内容而不是文件字节这样 PDF 被重新导出、字体子集变化但内容没变时指纹依然一致避免整本触发重解析。把指纹、页码、缓存文件路径存成一张小表每次更新先算指纹集合做差集差集为空就直接跳过整份文档。本文还有配套的精品资源点击获取