尧图网站建设 
gpt-researcher 向量库集成实战让 LangChain Vector Store 成为研究报告的数据源【免费下载链接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher本文围绕 gpt-researcher 官方文档《Vector Stores》展开系统讲解如何将已有的 LangChain 向量库Faiss、PGVector、InMemory 等接入 gpt-researcher使其成为研究报告的知识来源同时深入仓库源码剖析VectorStoreWrapper、VectorstoreCompressor与检索流程的底层实现。读完本文你将掌握读取既有向量库把研究过程抓取到的数据回写进向量库两条完整链路并能基于测试用例快速验证集成是否生效。一、先理解核心概念向量库与 report_sourcegpt-researcher 是一个自治研究 Agent给定一个 query它会规划子问题、搜索、抓取、压缩上下文并最终生成报告。默认情况下REPORT_SOURCE: web上下文完全来自互联网检索但如果你的团队已经沉淀了一批私有文档产品手册、内部 Wiki、行业报告并预先做好了 Embedding你完全可以跳过联网检索直接让研究报告基于这些已有知识生成。为此gpt-researcher 允许你将任意实现了 LangChain 向量库接口的存储实例直接传入GPTResearcher构造函数。文档原文给出的兼容条件非常宽松GPT-Researcher will work with any langchain vector store that implements theasimilarity_searchmethod.也就是说只要该向量库实现了异步相似度检索asimilarity_search就能作为研究报告的数据源。LangChain 官方支持的全部向量库FAISS、PGVector、Chroma、Pinecone、Weaviate、Milvus、Qdrant 等原则上都满足这一条件。数据源的选择由report_source参数控制这在源码中被定义为枚举ReportSource见 gpt_researcher/utils/enum.pyreport_source 值含义web联网搜索并抓取网页内容默认值local读取本地目录文档DOC_PATHazure读取 Azure Blob Storage 文档langchain_documents直接使用 LangChain Document 对象langchain_vectorstore直接从已有向量库检索static使用预置静态内容hybrid混合本地文档与联网搜索文档中特别强调了一条重要警告如果想使用向量库中的既有知识必须将report_sourcelangchain_vectorstore。任何其他设置都会额外加入从网页抓取的数据可能会污染你的向量库。这一点在源码中有非常直接的体现ResearchConductor.conduct_research()中只有report_source langchain_vectorstore分支会直接走向量检索其余分支web、local、hybrid、azure、langchain_documents在生成上下文后如果传入了vector_store都会调用vector_store.load()把抓取/读取到的数据写入你的向量库见 gpt_researcher/skills/researcher.py。这正是污染的来源——详见下文第四节。二、读取既有向量库FAISS 完整示例官方文档给出了第一个可运行示例把一个已经构建好的 FAISS 索引交给 gpt-researcher让它基于该索引写一份研究报告。完整代码如下引用自 docs/docs/gpt-researcher/context/vector-stores.md并补充了必要的环境变量说明from gpt_researcher import GPTResearcher from langchain_text_splitters import CharacterTextSplitter from langchain_openai import OpenAIEmbeddings from langchain_community.vectorstores import FAISS from langchain_core.documents import Document # 示例文本节选自 Paul Graham 的 The Age of the Essay essay May 2004 (This essay was originally published in Hackers Painters.) If you wanted to get rich, how would you do it? I think your best bet would be to start or join a startup. Thats been a reliable way to get rich for hundreds of years. The word startup dates from the 1960s, but what happens in one is very similar to the venture-backed trading voyages of the Middle Ages. ... document [Document(page_contentessay)] text_splitter CharacterTextSplitter(chunk_size200, chunk_overlap30, separator\n) docs text_splitter.split_documents(documentsdocument) vector_store FAISS.from_documents(docs, OpenAIEmbeddings()) query Summarize the essay into 3 or 4 succinct sections. Make sure to include key points regarding wealth creation. Include some recommendations for entrepreneurs in the conclusion. # 创建 GPTResearcher 实例 researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourcelangchain_vectorstore, vector_storevector_store, ) # 执行研究并生成报告 await researcher.conduct_research() report await researcher.write_report()运行这段代码前需要配置好 LLM 与 Embedding 的 API 密钥如OPENAI_API_KEY。当report_sourcelangchain_vectorstore时gpt-researcher 不会发起任何网页搜索检索范围严格限定在你传入的 FAISS 索引内因此生成报告的成本与速度都远低于联网研究。三、读取既有向量库PGVector 完整示例对于生产级团队Postgres 中的pgvector扩展是常见选择。官方文档的第二个示例展示了如何接入一个已存在的 PGVector 索引from gpt_researcher import GPTResearcher from langchain_postgres.vectorstores import PGVector from langchain_openai import OpenAIEmbeddings CONNECTION_STRING postgresql://someuser:somepasslocalhost:5432/somedatabase # 假设向量库已存在且包含相关文档 # 同时假设 Embedding 已经或将会生成 vector_store PGVector.from_existing_index( use_jsonbTrue, embeddingOpenAIEmbeddings(), collection_namesome collection name, connectionCONNECTION_STRING, async_modeTrue, ) query Create a short report about apples. Include a section about which apples are considered best during each season. # 创建 GPTResearcher 实例 researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourcelangchain_vectorstore, vector_storevector_store, ) # 执行研究并生成报告 await researcher.conduct_research() report await researcher.write_report()两个示例的接入模式完全一致区别仅在于向量库的构建方式FAISS使用FAISS.from_documents(docs, OpenAIEmbeddings())原地构建索引PGVector使用PGVector.from_existing_index(...)连接一个已存在的 collection注意它显式传入了async_modeTrue因为 gpt-researcher 的检索链路是异步的底层会调用asimilarity_search。从源码角度已有向量库是唯一允许只读使用的接入方式VectorStoreWrapper的asimilarity_search只做检索、不写入见 gpt_researcher/vector_store/vector_store.py。而其他 report_source 在传入 vector_store 时都会触发load()写入这再次呼应了文档中的污染警告。四、反向链路把研究过程中的数据写入向量库除了读取gpt-researcher 还支持把抓取到的数据落库供未来研究复用。官方文档给出的第三段示例使用InMemoryVectorStore演示了完整流程from gpt_researcher import GPTResearcher from langchain_community.vectorstores import InMemoryVectorStore from langchain_openai import OpenAIEmbeddings vector_store InMemoryVectorStore(embeddingOpenAIEmbeddings()) query The best LLM # 创建 GPTResearcher 实例 researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourceweb, # 关键不是 langchain_vectorstore vector_storevector_store, ) # 执行研究上下文会被分块并存入 vector_store await researcher.conduct_research() # 查询向量库中最相关的 5 段上下文 related_contexts await vector_store.asimilarity_search(GPT-4, k 5) print(related_contexts) print(len(related_contexts)) # 应当输出 5这段代码的关键在于report_sourceweb研究过程照常联网抓取而每次抓取到内容后gpt-researcher 都会把内容切块、写入你传入的vector_store。研究结束后向量库中就沉淀了本次研究的所有原始语料你可以用asimilarity_search直接检索复用。仓库测试用例 tests/vector-store.py 对这条链路做了系统验证覆盖了全部数据源组合测试函数report_source数据来源test_store_in_vector_store_webweb联网搜索test_store_in_vector_store_urls默认websource_urls指定 URLtest_store_in_vector_store_langchain_docslangchain_documentsLangChain Document 对象test_store_in_vector_store_localslocalconfig_pathtest_local本地目录test_store_in_vector_store_hybridshybrid本地 联网每个测试都以研究结束后asimilarity_search能取回 2 个结果作为断言依据你可以直接仿照它们验证自己的向量库集成。五、源码剖析VectorStoreWrapper 的数据落库链路第四节中的自动落库并非魔法它由 gpt_researcher/vector_store/vector_store.py 中的VectorStoreWrapper完成。GPTResearcher构造函数中任何传入的vector_store都会被包装成该对象见 gpt_researcher/agent.pyself.vector_store VectorStoreWrapper(vector_store) if vector_store else NoneVectorStoreWrapper的核心方法load(documents)负责把 gpt-researcher 内部的抓取结果List[Dict]形如{url: ..., raw_content: ...}写入向量库其流程分三步格式转换_create_langchain_documents(data)把字典列表转成 LangChainDocument。该方法做了健壮性防护——跳过非字典条目和缺少raw_content的记录即使没有url也会生成source为空的文档而不是抛KeyError文本分块_split_documents(documents, chunk_size1000, chunk_overlap200)使用RecursiveCharacterTextSplitter按 1000 字符切块、200 字符重叠避免长文本被截断导致语义断裂批量写入self.vector_store.add_documents(splitted_documents)一次写入所有分块。对应的分块参数在仓库中有多处类似配置压缩链路里的ContextCompressor使用chunk_size1000, chunk_overlap100见 gpt_researcher/context/compression.py而默认配置中的BROWSE_CHUNK_MAX_LENGTH: 8192见 gpt_researcher/config/variables/default.py则控制单次浏览抓取的文本上限。由此可以推断写入向量库的分块粒度由load()内部参数决定与搜索阶段的抓取上限相互独立。同时VectorStoreWrapper暴露了只读检索接口async def asimilarity_search(self, query, k, filter): results await self.vector_store.asimilarity_search(queryquery, kk, filterfilter) return results这个薄封装最终会透传给底层 LangChain 向量库并支持可选的filter过滤参数——GPTResearcher构造函数里对应的入参是vector_store_filter见 gpt_researcher/agent.py可用于按元数据字段如来源域名、文档类别缩小检索范围。六、源码剖析langchain_vectorstore 模式的检索流程当report_sourcelangchain_vectorstore时ResearchConductor走的是完全独立于联网搜索的检索链路。conduct_research()中的分支见 gpt_researcher/skills/researcher.pyelif self.researcher.report_source ReportSource.LangChainVectorStore.value: research_data await self._get_context_by_vectorstore(self.researcher.query, self.researcher.vector_store_filter)_get_context_by_vectorstore的完整流程是见 gpt_researcher/skills/researcher.py规划子查询调用plan_research(query)生成子问题列表。注意它仍会调用检索器做一次预搜索、由 LLM 规划研究大纲——这与文档中直接使用向量库并不冲突规划阶段不产出最终上下文补充原始查询若当前不是subtopic_report子研究者会把原始 query 追加到子查询列表保证检索不遗漏并发检索用asyncio.gather对每个子查询并行执行_process_sub_query_with_vectorstore每个子查询都会向向量库发起一次asimilarity_search。_process_sub_query_with_vectorstore见 gpt_researcher/skills/researcher.py则委托给ContextManager.get_similar_content_by_query_with_vectorstore后者实例化VectorstoreCompressor并以max_results8检索见 gpt_researcher/skills/context_manager.py。最终VectorstoreCompressor.async_get_context见 gpt_researcher/context/compression.py调用包装器的asimilarity_search并用 prompt 家族统一格式化输出。整条链路的调用关系可归纳为ResearchConductor.conduct_research() └─ _get_context_by_vectorstore(query, filter) # 规划子查询 asyncio.gather 并发 └─ _process_sub_query_with_vectorstore() # 逐子查询 └─ ContextManager.get_similar_content_by_query_with_vectorstore() └─ VectorstoreCompressor.async_get_context(query, max_results8) └─ VectorStoreWrapper.asimilarity_search(query, k8, filter) └─ 底层 LangChain 向量库的 asimilarity_search()从调用链可以看到最终检索深度为子查询数 × max_results8多子查询会显著增加检索总量但对每个查询而言只做一次相似度检索不经过 Embedding 重排序因此langchain_vectorstore模式是各数据源中延迟最低、成本最可控的一种。七、配套配置与注意事项7.1 相关配置项向量库模式虽然没有独立配置段但以下几个默认配置会影响运行见 gpt_researcher/config/variables/default.py配置项默认值作用REPORT_SOURCEweb默认数据源可通过构造函数report_source覆盖EMBEDDINGopenai:text-embedding-3-small默认 Embedding 模型用于向量化与相似度计算SIMILARITY_THRESHOLD0.42上下文压缩阶段的相似度阈值低于阈值的分块会被过滤FAST_LLM/SMART_LLMopenai:gpt-5.4-mini/openai:gpt-5.4规划与写作所用模型其中SIMILARITY_THRESHOLD是检索-压缩链路的重要调节旋钮ContextCompressor在未显式传入阈值时会从环境变量读取默认回退为0.35见 gpt_researcher/context/compression.py。阈值越高最终进入报告上下文的片段越贴近查询但也可能过滤掉有价值的背景信息。7.2 关键注意事项综合文档与源码接入向量库时有四点必须注意只读接入必须使用report_sourcelangchain_vectorstore任何其他值都可能在研究过程中把抓取内容写入你的向量库写入路径见 gpt_researcher/skills/researcher.py 等处的self.researcher.vector_store.load(scraped_content)。写入模式不要吝啬过滤如果意图是边研究边积累语料如第四节示例请确认抓取内容质量可控避免把低质页面沉淀进长期使用的向量库。Embedding 一致性接入已存在的向量库时构造PGVector.from_existing_index等对象所用的 Embedding 模型必须与建库时一致否则相似度检索毫无意义。异步接口是硬性要求兼容性前提是向量库实现asimilarity_search纯同步接口的存储无法直接接入。7.3 快速验证仓库测试文件 tests/vector-store.py 中的test_gpt_researcher_with_vector_store完整覆盖了FAISS 构建 → 传入 GPTResearcher → 生成报告的端到端流程可以直接作为你的集成冒烟测试pytest.mark.asyncio async def test_gpt_researcher_with_vector_store(): docs load_document() vectorstore create_vectorstore(docs) researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourcelangchain_vectorstore, vector_storevectorstore, ) await researcher.conduct_research() report await researcher.write_report() assert report is not None把它替换成你自己的向量库与 query即可在开发环境快速确认读取既有向量库链路是否打通。八、总结gpt-researcher 的向量库集成提供了一条极低成本的私有知识 → 研究报告通道只需构造一个实现了asimilarity_search的 LangChain 向量库并传入构造函数配合report_sourcelangchain_vectorstore即可让 Agent 完全基于既有语料产出报告反过来把report_source设为其他值并传入向量库则能把研究过程抓取的数据自动切块落库。两条链路分别由VectorStoreWrapper.load()写入与VectorStoreWrapper.asimilarity_search()读取支撑中间经VectorstoreCompressor统一压缩格式化架构清晰、扩展点明确可平滑对接团队已有的任何 LangChain 生态存储。【免费下载链接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 gpt-researcher 向量库集成实战：让 LangChain Vector Store 成为研究报告的数据源
gpt-researcher 向量库集成实战让 LangChain Vector Store 成为研究报告的数据源【免费下载链接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher本文围绕 gpt-researcher 官方文档《Vector Stores》展开系统讲解如何将已有的 LangChain 向量库Faiss、PGVector、InMemory 等接入 gpt-researcher使其成为研究报告的知识来源同时深入仓库源码剖析VectorStoreWrapper、VectorstoreCompressor与检索流程的底层实现。读完本文你将掌握读取既有向量库把研究过程抓取到的数据回写进向量库两条完整链路并能基于测试用例快速验证集成是否生效。一、先理解核心概念向量库与 report_sourcegpt-researcher 是一个自治研究 Agent给定一个 query它会规划子问题、搜索、抓取、压缩上下文并最终生成报告。默认情况下REPORT_SOURCE: web上下文完全来自互联网检索但如果你的团队已经沉淀了一批私有文档产品手册、内部 Wiki、行业报告并预先做好了 Embedding你完全可以跳过联网检索直接让研究报告基于这些已有知识生成。为此gpt-researcher 允许你将任意实现了 LangChain 向量库接口的存储实例直接传入GPTResearcher构造函数。文档原文给出的兼容条件非常宽松GPT-Researcher will work with any langchain vector store that implements theasimilarity_searchmethod.也就是说只要该向量库实现了异步相似度检索asimilarity_search就能作为研究报告的数据源。LangChain 官方支持的全部向量库FAISS、PGVector、Chroma、Pinecone、Weaviate、Milvus、Qdrant 等原则上都满足这一条件。数据源的选择由report_source参数控制这在源码中被定义为枚举ReportSource见 gpt_researcher/utils/enum.pyreport_source 值含义web联网搜索并抓取网页内容默认值local读取本地目录文档DOC_PATHazure读取 Azure Blob Storage 文档langchain_documents直接使用 LangChain Document 对象langchain_vectorstore直接从已有向量库检索static使用预置静态内容hybrid混合本地文档与联网搜索文档中特别强调了一条重要警告如果想使用向量库中的既有知识必须将report_sourcelangchain_vectorstore。任何其他设置都会额外加入从网页抓取的数据可能会污染你的向量库。这一点在源码中有非常直接的体现ResearchConductor.conduct_research()中只有report_source langchain_vectorstore分支会直接走向量检索其余分支web、local、hybrid、azure、langchain_documents在生成上下文后如果传入了vector_store都会调用vector_store.load()把抓取/读取到的数据写入你的向量库见 gpt_researcher/skills/researcher.py。这正是污染的来源——详见下文第四节。二、读取既有向量库FAISS 完整示例官方文档给出了第一个可运行示例把一个已经构建好的 FAISS 索引交给 gpt-researcher让它基于该索引写一份研究报告。完整代码如下引用自 docs/docs/gpt-researcher/context/vector-stores.md并补充了必要的环境变量说明from gpt_researcher import GPTResearcher from langchain_text_splitters import CharacterTextSplitter from langchain_openai import OpenAIEmbeddings from langchain_community.vectorstores import FAISS from langchain_core.documents import Document # 示例文本节选自 Paul Graham 的 The Age of the Essay essay May 2004 (This essay was originally published in Hackers Painters.) If you wanted to get rich, how would you do it? I think your best bet would be to start or join a startup. Thats been a reliable way to get rich for hundreds of years. The word startup dates from the 1960s, but what happens in one is very similar to the venture-backed trading voyages of the Middle Ages. ... document [Document(page_contentessay)] text_splitter CharacterTextSplitter(chunk_size200, chunk_overlap30, separator\n) docs text_splitter.split_documents(documentsdocument) vector_store FAISS.from_documents(docs, OpenAIEmbeddings()) query Summarize the essay into 3 or 4 succinct sections. Make sure to include key points regarding wealth creation. Include some recommendations for entrepreneurs in the conclusion. # 创建 GPTResearcher 实例 researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourcelangchain_vectorstore, vector_storevector_store, ) # 执行研究并生成报告 await researcher.conduct_research() report await researcher.write_report()运行这段代码前需要配置好 LLM 与 Embedding 的 API 密钥如OPENAI_API_KEY。当report_sourcelangchain_vectorstore时gpt-researcher 不会发起任何网页搜索检索范围严格限定在你传入的 FAISS 索引内因此生成报告的成本与速度都远低于联网研究。三、读取既有向量库PGVector 完整示例对于生产级团队Postgres 中的pgvector扩展是常见选择。官方文档的第二个示例展示了如何接入一个已存在的 PGVector 索引from gpt_researcher import GPTResearcher from langchain_postgres.vectorstores import PGVector from langchain_openai import OpenAIEmbeddings CONNECTION_STRING postgresql://someuser:somepasslocalhost:5432/somedatabase # 假设向量库已存在且包含相关文档 # 同时假设 Embedding 已经或将会生成 vector_store PGVector.from_existing_index( use_jsonbTrue, embeddingOpenAIEmbeddings(), collection_namesome collection name, connectionCONNECTION_STRING, async_modeTrue, ) query Create a short report about apples. Include a section about which apples are considered best during each season. # 创建 GPTResearcher 实例 researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourcelangchain_vectorstore, vector_storevector_store, ) # 执行研究并生成报告 await researcher.conduct_research() report await researcher.write_report()两个示例的接入模式完全一致区别仅在于向量库的构建方式FAISS使用FAISS.from_documents(docs, OpenAIEmbeddings())原地构建索引PGVector使用PGVector.from_existing_index(...)连接一个已存在的 collection注意它显式传入了async_modeTrue因为 gpt-researcher 的检索链路是异步的底层会调用asimilarity_search。从源码角度已有向量库是唯一允许只读使用的接入方式VectorStoreWrapper的asimilarity_search只做检索、不写入见 gpt_researcher/vector_store/vector_store.py。而其他 report_source 在传入 vector_store 时都会触发load()写入这再次呼应了文档中的污染警告。四、反向链路把研究过程中的数据写入向量库除了读取gpt-researcher 还支持把抓取到的数据落库供未来研究复用。官方文档给出的第三段示例使用InMemoryVectorStore演示了完整流程from gpt_researcher import GPTResearcher from langchain_community.vectorstores import InMemoryVectorStore from langchain_openai import OpenAIEmbeddings vector_store InMemoryVectorStore(embeddingOpenAIEmbeddings()) query The best LLM # 创建 GPTResearcher 实例 researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourceweb, # 关键不是 langchain_vectorstore vector_storevector_store, ) # 执行研究上下文会被分块并存入 vector_store await researcher.conduct_research() # 查询向量库中最相关的 5 段上下文 related_contexts await vector_store.asimilarity_search(GPT-4, k 5) print(related_contexts) print(len(related_contexts)) # 应当输出 5这段代码的关键在于report_sourceweb研究过程照常联网抓取而每次抓取到内容后gpt-researcher 都会把内容切块、写入你传入的vector_store。研究结束后向量库中就沉淀了本次研究的所有原始语料你可以用asimilarity_search直接检索复用。仓库测试用例 tests/vector-store.py 对这条链路做了系统验证覆盖了全部数据源组合测试函数report_source数据来源test_store_in_vector_store_webweb联网搜索test_store_in_vector_store_urls默认websource_urls指定 URLtest_store_in_vector_store_langchain_docslangchain_documentsLangChain Document 对象test_store_in_vector_store_localslocalconfig_pathtest_local本地目录test_store_in_vector_store_hybridshybrid本地 联网每个测试都以研究结束后asimilarity_search能取回 2 个结果作为断言依据你可以直接仿照它们验证自己的向量库集成。五、源码剖析VectorStoreWrapper 的数据落库链路第四节中的自动落库并非魔法它由 gpt_researcher/vector_store/vector_store.py 中的VectorStoreWrapper完成。GPTResearcher构造函数中任何传入的vector_store都会被包装成该对象见 gpt_researcher/agent.pyself.vector_store VectorStoreWrapper(vector_store) if vector_store else NoneVectorStoreWrapper的核心方法load(documents)负责把 gpt-researcher 内部的抓取结果List[Dict]形如{url: ..., raw_content: ...}写入向量库其流程分三步格式转换_create_langchain_documents(data)把字典列表转成 LangChainDocument。该方法做了健壮性防护——跳过非字典条目和缺少raw_content的记录即使没有url也会生成source为空的文档而不是抛KeyError文本分块_split_documents(documents, chunk_size1000, chunk_overlap200)使用RecursiveCharacterTextSplitter按 1000 字符切块、200 字符重叠避免长文本被截断导致语义断裂批量写入self.vector_store.add_documents(splitted_documents)一次写入所有分块。对应的分块参数在仓库中有多处类似配置压缩链路里的ContextCompressor使用chunk_size1000, chunk_overlap100见 gpt_researcher/context/compression.py而默认配置中的BROWSE_CHUNK_MAX_LENGTH: 8192见 gpt_researcher/config/variables/default.py则控制单次浏览抓取的文本上限。由此可以推断写入向量库的分块粒度由load()内部参数决定与搜索阶段的抓取上限相互独立。同时VectorStoreWrapper暴露了只读检索接口async def asimilarity_search(self, query, k, filter): results await self.vector_store.asimilarity_search(queryquery, kk, filterfilter) return results这个薄封装最终会透传给底层 LangChain 向量库并支持可选的filter过滤参数——GPTResearcher构造函数里对应的入参是vector_store_filter见 gpt_researcher/agent.py可用于按元数据字段如来源域名、文档类别缩小检索范围。六、源码剖析langchain_vectorstore 模式的检索流程当report_sourcelangchain_vectorstore时ResearchConductor走的是完全独立于联网搜索的检索链路。conduct_research()中的分支见 gpt_researcher/skills/researcher.pyelif self.researcher.report_source ReportSource.LangChainVectorStore.value: research_data await self._get_context_by_vectorstore(self.researcher.query, self.researcher.vector_store_filter)_get_context_by_vectorstore的完整流程是见 gpt_researcher/skills/researcher.py规划子查询调用plan_research(query)生成子问题列表。注意它仍会调用检索器做一次预搜索、由 LLM 规划研究大纲——这与文档中直接使用向量库并不冲突规划阶段不产出最终上下文补充原始查询若当前不是subtopic_report子研究者会把原始 query 追加到子查询列表保证检索不遗漏并发检索用asyncio.gather对每个子查询并行执行_process_sub_query_with_vectorstore每个子查询都会向向量库发起一次asimilarity_search。_process_sub_query_with_vectorstore见 gpt_researcher/skills/researcher.py则委托给ContextManager.get_similar_content_by_query_with_vectorstore后者实例化VectorstoreCompressor并以max_results8检索见 gpt_researcher/skills/context_manager.py。最终VectorstoreCompressor.async_get_context见 gpt_researcher/context/compression.py调用包装器的asimilarity_search并用 prompt 家族统一格式化输出。整条链路的调用关系可归纳为ResearchConductor.conduct_research() └─ _get_context_by_vectorstore(query, filter) # 规划子查询 asyncio.gather 并发 └─ _process_sub_query_with_vectorstore() # 逐子查询 └─ ContextManager.get_similar_content_by_query_with_vectorstore() └─ VectorstoreCompressor.async_get_context(query, max_results8) └─ VectorStoreWrapper.asimilarity_search(query, k8, filter) └─ 底层 LangChain 向量库的 asimilarity_search()从调用链可以看到最终检索深度为子查询数 × max_results8多子查询会显著增加检索总量但对每个查询而言只做一次相似度检索不经过 Embedding 重排序因此langchain_vectorstore模式是各数据源中延迟最低、成本最可控的一种。七、配套配置与注意事项7.1 相关配置项向量库模式虽然没有独立配置段但以下几个默认配置会影响运行见 gpt_researcher/config/variables/default.py配置项默认值作用REPORT_SOURCEweb默认数据源可通过构造函数report_source覆盖EMBEDDINGopenai:text-embedding-3-small默认 Embedding 模型用于向量化与相似度计算SIMILARITY_THRESHOLD0.42上下文压缩阶段的相似度阈值低于阈值的分块会被过滤FAST_LLM/SMART_LLMopenai:gpt-5.4-mini/openai:gpt-5.4规划与写作所用模型其中SIMILARITY_THRESHOLD是检索-压缩链路的重要调节旋钮ContextCompressor在未显式传入阈值时会从环境变量读取默认回退为0.35见 gpt_researcher/context/compression.py。阈值越高最终进入报告上下文的片段越贴近查询但也可能过滤掉有价值的背景信息。7.2 关键注意事项综合文档与源码接入向量库时有四点必须注意只读接入必须使用report_sourcelangchain_vectorstore任何其他值都可能在研究过程中把抓取内容写入你的向量库写入路径见 gpt_researcher/skills/researcher.py 等处的self.researcher.vector_store.load(scraped_content)。写入模式不要吝啬过滤如果意图是边研究边积累语料如第四节示例请确认抓取内容质量可控避免把低质页面沉淀进长期使用的向量库。Embedding 一致性接入已存在的向量库时构造PGVector.from_existing_index等对象所用的 Embedding 模型必须与建库时一致否则相似度检索毫无意义。异步接口是硬性要求兼容性前提是向量库实现asimilarity_search纯同步接口的存储无法直接接入。7.3 快速验证仓库测试文件 tests/vector-store.py 中的test_gpt_researcher_with_vector_store完整覆盖了FAISS 构建 → 传入 GPTResearcher → 生成报告的端到端流程可以直接作为你的集成冒烟测试pytest.mark.asyncio async def test_gpt_researcher_with_vector_store(): docs load_document() vectorstore create_vectorstore(docs) researcher GPTResearcher( queryquery, report_typeresearch_report, report_sourcelangchain_vectorstore, vector_storevectorstore, ) await researcher.conduct_research() report await researcher.write_report() assert report is not None把它替换成你自己的向量库与 query即可在开发环境快速确认读取既有向量库链路是否打通。八、总结gpt-researcher 的向量库集成提供了一条极低成本的私有知识 → 研究报告通道只需构造一个实现了asimilarity_search的 LangChain 向量库并传入构造函数配合report_sourcelangchain_vectorstore即可让 Agent 完全基于既有语料产出报告反过来把report_source设为其他值并传入向量库则能把研究过程抓取的数据自动切块落库。两条链路分别由VectorStoreWrapper.load()写入与VectorStoreWrapper.asimilarity_search()读取支撑中间经VectorstoreCompressor统一压缩格式化架构清晰、扩展点明确可平滑对接团队已有的任何 LangChain 生态存储。【免费下载链接】gpt-researcherAn autonomous agent that conducts deep research on any data using any LLM providers项目地址: https://gitcode.com/GitHub_Trending/gp/gpt-researcher创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考