arXiv 每天挂出来的新论文数量靠人工一页页刷是刷不过来的。如果你同时用 Zotero 管文献更烦的是看完标题还得手动建条目、下 PDF、填作者和摘要。这次我们就把这两个工具串成一条文献自动巡检流水线定时从 arXiv 抓取你关注方向的新论文自动去重自动写入 Zotero 条目再批量把 PDF 拉下来最后用翻译插件和 Obsidian 完成阅读和笔记闭环。这套方案不需要 GPU不涉及模型部署成本几乎为零适合研究生、科研人员、算法工程师和所有每天被 arXiv 邮件淹没的人。核心就三件事会用 arXiv 官方 API会开 Zotero 的本地 HTTP 接口再写一个几十行的 Python 调度脚本。下面直接进入正题。1. 核心能力速览能力项说明项目类型文献自动化工作流arXiv 抓取 Zotero 管理开源来源无单一项目依赖基于 arXiv API 与 Zotero 本地 HTTP API 组合实现核心功能定时巡检 arXiv 新论文、关键词过滤、元数据去重、自动创建 Zotero 条目、批量下载 PDF硬件门槛无 GPU 要求普通办公电脑即可运行支持平台Windows / macOS / Linux需要安装 Zotero 桌面版启动方式Python 脚本运行 定时任务触发Zotero 保持后台运行API 支持使用 arXiv API 抓取元数据通过 Zotero 本地 HTTP API 写入条目批量任务支持批量抓取、批量导入、批量 PDF 下载适合场景个人科研文献追踪、实验室组会文献周报、知识库素材采集扩展能力可联动 Zotero PDF 翻译插件、Obsidian 笔记、Dify 知识库做 RAG这套东西最大的价值不是造轮子而是把三个重复劳动自动化每天刷 arXiv、手动建条目、手动下 PDF。流水线跑起来之后你只需要每天打开 Zotero 看结果。2. 适用场景与使用边界这个方案适合以下场景每天要看 arXiv 上某个分类或某个关键词的新论文但不想手动逐条打开。需要把论文统一用 Zotero 管理并且希望条目里自动带上作者、摘要、日期和 arXiv 链接。需要批量下载 PDF 到本地方便在 Zotero 里离线阅读和标注。需要定期生成一份本周新论文清单用于组会汇报或个人追踪。想把文献元数据导入 Obsidian 或构建知识库。不建议把它当成交互式搜索工具。它的设计目标是把固定查询条件变成自动化巡检任务如果你需要临时深挖某个冷门关键词直接在 arXiv 网页搜索更快。使用边界必须明确版权合规arXiv 论文大多采用开放授权但下载 PDF 应限于个人学习与研究不要大规模抓取后二次分发。商用必须逐篇核对作者授权声明。请求频率arXiv API 有访问频率限制巡检脚本必须加延时不能用多线程并发暴力请求。隐私Zotero 本地 API 只绑定本机地址不要把端口暴露到公网。数据完整性脚本自动生成的条目只能作为初稿重要引用前建议核对作者列表、卷期和正式发表版本。3. 环境准备与前置条件3.1 Zotero 桌面版准备先安装 Zotero 桌面版Windows、macOS、Linux 都有官方安装包。安装完成后需要打开本地 HTTP API 开关否则脚本无法向 Zotero 写入数据。操作路径打开 Zotero进入“编辑”-“设置”。在“高级”选项卡里找到“常规”区域。勾选“允许其他应用程序通过 HTTP API 通信”。默认监听地址是本机 23119 端口这也就是后面脚本要连接的入口。配置完成后可以在浏览器直接访问http://127.0.0.1:23119/测试能看到 Zotero 返回的信息说明接口已开启。新版 Zotero 的插件管理可以借助社区维护的 Add-on Market 清单快速安装扩展后面要装的翻译插件和 Obsidian 联动插件都可以从这里找到入口。3.2 Python 环境准备脚本用 Python 3 编写建议 3.9 及以上版本。主要用到两个库requests调用 arXiv API 和 Zotero 本地 API。xml.etree.ElementTreePython 标准库解析 arXiv 返回的 Atom XML。安装依赖pip install requests如果用 Anaconda直接用 conda 环境也可以不需要额外虚拟环境因为依赖非常少。3.3 arXiv API 接口说明arXiv API 的入口地址是https://export.arxiv.org/api/query支持参数参数作用示例search_query查询条件cat:cs.CL AND all:retrieval augmented generationstart起始位置0max_results返回条数10sortBy排序字段submittedDatesortOrder排序方式descending返回格式是 Atom XML每条记录包含标题、作者、摘要、发布时间、绝对页面链接和 PDF 链接。我们只需要解析这些字段再转发给 Zotero。热词里提到arxiv打不开的问题这里先给一个稳妥结论如果当前网络访问 arXiv 不稳定优先检查网络连接或者把巡检脚本部署在网络更稳定的服务器上抓取完成后再把结果同步回本地 Zotero。不要把抓取和阅读耦合在同一台访问受限的设备上。4. 安装部署与流水线搭建整个流水线分成三段抓取arXiv- 写入Zotero- 下载PDF。下面给出一个最小可运行脚本。4.1 完整巡检脚本把下面内容保存为arxiv_zotero_pipeline.pyimport requests import xml.etree.ElementTree as ET import time ARXIV_API https://export.arxiv.org/api/query ZOTERO_API http://127.0.0.1:23119/api/users/0/items # 查询条件按自己的研究方向修改 QUERY cat:cs.CL AND (all:large language model OR all:retrieval augmented generation) MAX_RESULTS 5 # 日期过滤只保留最近 N 天提交的论文 LOOKBACK_DAYS 2 def fetch_recent_arxiv(query, max_results5): params { search_query: query, start: 0, max_results: max_results, sortBy: submittedDate, sortOrder: descending, } resp requests.get(ARXIV_API, paramsparams, timeout30) resp.raise_for_status() root ET.fromstring(resp.text) ns { atom: http://www.w3.org/2005/Atom, arxiv: http://arxiv.org/schemas/atom, } papers [] for entry in root.findall(atom:entry, ns): title entry.find(atom:title, ns).text.strip().replace(\n, ) published entry.find(atom:published, ns).text abs_link entry.find(atom:id, ns).text summary entry.find(atom:summary, ns).text.strip() pdf_link None for link in entry.findall(atom:link, ns): if link.get(title) pdf: pdf_link link.get(href) papers.append({ title: title, published: published, abs_page: abs_link, pdf: pdf_link, summary: summary, }) return papers def create_zotero_item(paper): payload [{ itemType: journalArticle, title: paper[title], date: paper[published][:10], url: paper[abs_page], abstractNote: paper[summary], archive: arXiv, extra: farXiv: {paper[abs_page]}\nPDF: {paper[pdf]}, }] resp requests.post(ZOTERO_API, jsonpayload, timeout30) return resp.status_code if __name__ __main__: papers fetch_recent_arxiv(QUERY, MAX_RESULTS) for paper in papers: code create_zotero_item(paper) print(code, paper[title][:80]) time.sleep(3)这里有一处关键设计每次写入调用之间加 3 秒延时避免对 arXiv 请求过快也避免 Zotero 本地接口瞬间涌入大量写入。4.2 配置定时任务脚本本身不会自动跑需要配合系统定时任务。Windows 下用任务计划程序创建一个每天上午 9 点执行的任务运行命令python C:\path\to\arxiv_zotero_pipeline.pymacOS 和 Linux 下用crontab0 9 * * * cd /path/to/project /usr/bin/python3 arxiv_zotero_pipeline.py pipeline.log 21注意Zotero 必须保持后台运行定时任务触发时才能连上本地 API。如果 Zotero 没有启动脚本会直接连接失败。可以在脚本开头加一个循环检查等待 Zotero 接口就绪。4.3 自动批量下载 PDF上面的脚本只导入元数据PDF 还需要单独下载。可以把下载函数加进同一个脚本import os import requests import time PDF_DIR ./pdfs def download_pdf(paper): if not paper[pdf]: return None fname paper[pdf].split(/)[-1] .pdf filepath os.path.join(PDF_DIR, fname) if os.path.exists(filepath): return filepath resp requests.get(paper[pdf], timeout60) resp.raise_for_status() with open(filepath, wb) as f: f.write(resp.content) return filepath os.makedirs(PDF_DIR, exist_okTrue) if __name__ __main__: papers fetch_recent_arxiv(QUERY, MAX_RESULTS) for paper in papers: create_zotero_item(paper) path download_pdf(paper) print(PDF:, path) time.sleep(3)PDF 文件名建议保留 arXiv 编号避免重复下载也方便后续与 Zotero 附件匹配。5. 功能测试与效果验证5.1 验证 arXiv 抓取先单独测试抓取函数不写入 Zotero避免污染文献库。在交互式环境里执行from arxiv_zotero_pipeline import fetch_recent_arxiv papers fetch_recent_arxiv(cat:cs.AI, 3) for p in papers: print(p[title][:60]) print(p[published], p[pdf])成功标准能打印出最近论文的标题、日期和 PDF 链接。如果在这里就报错优先检查网络是否真正连通到 arXiv以及查询语法是否被 URL 编码。5.2 验证 Zotero 导入先手动在 Zotero 里建一个测试分类或者直接导入到我的文库然后用一条真实论文测试写入from arxiv_zotero_pipeline import create_zotero_item test_paper { title: Test Paper for Pipeline, published: 2025-01-01T00:00:00Z, abs_page: https://arxiv.org/abs/2501.00001, pdf: https://arxiv.org/pdf/2501.00001, summary: This is a test., } print(create_zotero_item(test_paper))预期返回 HTTP 200。打开 Zotero 客户端如果我的文库里出现一条journalArticle类型的条目且标题、日期、摘要字段完整说明 API 写入成功。常见失败返回 403 或连接被拒绝。原因是 Zotero 的本地 HTTP API 没有开启或者端口被其他程序占用。重新检查允许其他应用程序通过 HTTP API 通信选项。5.3 验证 PDF 自动入库PDF 下载到本地后需要在 Zotero 里把 PDF 挂到对应条目下面。Zotero 客户端支持批量操作把pdfs目录里的文件拖入 Zotero 的“我的文库”Zotero 会根据文件名和已有条目信息尝试匹配附件。如果你想完全自动化可以继续扩展在创建条目时记录返回的key然后调用 Zotero API 上传附件。附件上传的字段在不同 Zotero 版本中有差异稳妥做法是先验证本机 API 文档对应版本再加入附件上传逻辑避免脚本跑到一半报字段错误。整体验证顺序是抓取 - 创建条目 - 下载 PDF - 附件关联。每一步都单独测试全通了再交给定时任务。6. 接口 API 与批量任务6.1 Zotero 本地 HTTP API开启本地 API 后Zotero 提供了一组 REST 接口。常见用法获取最近条目curl http://127.0.0.1:23119/api/users/0/items?limit5formatjson创建条目时POST 到同一个地址请求体是 JSON 数组。一个数组里可以放多条条目实现真正的批量导入。这套接口的价值在于它让 Zotero 和任意编程语言打通。Python 能写Node.js 也能写甚至可以用 shell 脚本配合 curl 调用。6.2 批量任务与失败重试arXiv 抓取本身适合批量max_results设成 20 或 50一次拉一批。但 Zotero 写入和 PDF 下载都必须考虑失败。建议在批量循环里做三件事每个请求都捕获异常失败任务记录下来。单条失败不影响整个批次。批量循环结束后统计失败数量单独重试。import time def run_batch(papers): ok 0 failed [] for paper in papers: try: code create_zotero_item(paper) if code 200: ok 1 else: failed.append((paper[title], code)) except Exception as exc: failed.append((paper[title], str(exc))) time.sleep(3) print(fsuccess: {ok}, failed: {len(failed)}) for item in failed: print(item) return failed run_batch(papers)这里把异常和 HTTP 状态码分开处理方便后续排查是哪一步出的问题。6.3 增量去重每天定时跑同样的查询会产生重复条目。最简单有效的方案在创建前检查 Zotero 里是否已有相同标题的条目。def zotero_has_title(title): resp requests.get( ZOTERO_API, params{q: title, qmode: title, limit: 1}, timeout30, ) data resp.json() return len(data) 0如果返回值里有条目就跳过创建。需要说明的是不同 Zotero 版本的搜索参数略有差异实际使用前先手动调一下搜索接口确认qmode参数名与你的版本一致。7. 资源占用与性能观察这个流水线不涉及 GPU 和大模型推理资源占用非常低。关键观察点有三个Zotero 本地 API 进程Zotero 桌面版常驻后台内存占用通常在几百 MB 级别具体取决于你当前打开的文献数量和 PDF 预览状态。Python 巡检脚本单次抓取 5 到 10 条论文脚本运行时间不超过 30 秒内存占用可以忽略。PDF 批量下载如果一次抓取 50 条下载 PDF 会产生几十到几百 MB 的磁盘占用建议给pdfs目录单独规划空间。如果想观察脚本运行是否正常建议在定时任务里把输出重定向到日志文件python arxiv_zotero_pipeline.py pipeline.log 21第二天打开日志看每一条的状态码和标题就知道流程是否稳定。日志里只保留最近一个月的记录即可避免积累过大。8. 常见问题与排查方法问题现象可能原因排查方式解决方案arXiv 请求超时或抓不到数据当前网络访问 arXiv 不稳定在命令行 curl 一下 API 地址看返回更换网络环境或把脚本放在访问更稳定的服务器上Zotero 接口连接被拒绝本地 HTTP API 未开启检查 Zotero 设置里的 HTTP API 开关勾选“允许其他应用程序通过 HTTP API 通信”创建条目返回 400/403itemType 或字段不兼容打印响应内容查看具体错误核对 Zotero 版本对应的 itemType 名称PDF 下载后无法打开arXiv 返回的是 HTML 认证页而非 PDF检查文件头是否以%PDF开头对疑似无效文件设置重试或删除定时任务不执行系统时间安排错误或 Python 路径不对手动执行 crontab 里的命令看报错使用 Python 完整路径日志重定向到固定文件Zotero WebDAV 同步验证失败服务器地址、端口或路径填写错误在浏览器里访问填写的 WebDAV 地址核对服务器地址和路径仍不行可直接使用 Zotero 官方同步翻译插件不显示插件与 Zotero 版本不兼容查看插件安装日志从插件市场下载对应版本重新安装重复条目太多脚本没有做去重查看 Zotero 里相同标题数量加入标题去重检查或定期用 Zotero 自带查重合并这里重点说两个最频繁踩的坑。第一个是 Zotero WebDAV 验证失败多数人会把地址填成根域名但实际上 WebDAV 服务通常会要求带一个子目录路径并且必须先在网页端创建好目录再去 Zotero 里填入完整地址。第二个是 arxiv 打不开问题通常不在 arXiv 本身而是本地网络路由不稳定先把巡检脚本放在一个访问稳定的机器上而不是每天手动重试。9. 最佳实践与使用建议9.1 第一次先小规模测试不要第一天就把max_results设成 50 跑全量。先用 3 条论文跑通抓取、写入、下载、附件关联确认 Zotero 条目格式符合预期再扩大到正常巡检规模。9.2 目录与配置分离建议目录结构如下arxiv-zotero-pipeline/ ├── arxiv_zotero_pipeline.py # 主脚本 ├── requirements.txt # 依赖 ├── pdfs/ # PDF 下载目录 ├── logs/ # 运行日志 └── config.py # 查询条件、端口、目录配置把所有可变量放进config.py以后换研究方向只改配置不碰主逻辑。9.3 保留最小可运行配置每次改代码前先把一份能跑通的版本备份。绝大多数问题都不是 API 变了而是脚本字段写错了。保留一份可运行版本能快速回滚。9.4 批量任务必须加日志和重试批量抓取 50 篇论文时不可能每一篇都成功。设计上要接受部分失败用日志记录失败项下一轮巡检时统一重试。不要为了让脚本看着成功而静默吞掉异常。9.5 接口服务要限制访问范围Zotero 本地 API 监听在127.0.0.1这很安全。如果因为远程服务器部署而改成0.0.0.0务必增加访问控制比如只允许内网 IP 访问或者用 SSH 隧道转发。任何情况下都不要把带完整文献库的 API 裸奔到公网。9.6 版权与授权核查arXiv 论文作者保留版权自动下载 PDF 只服务个人学习是普遍接受的合理场景。如果要批量归档、二次分发或者在商用系统中引用必须逐篇确认作者的授权声明。涉及未公开数据、内部报告或他人未发表成果时不要进入自动流程。9.7 把结果接入知识库抓取的摘要和全文文本可以进一步导入 Obsidian 做笔记或者灌进 Dify 知识库做 RAG 问答。具体做法是脚本把每条论文的摘要和本地 PDF 路径输出为 Markdown 文件Obsidian 通过 Zotero Integration 插件直接读取如果要进 Dify把摘要转成 TXT/JSON 批量上传即可。这一步可以后面单独扩展。10. 总结与下一步这条流水线最值得先验证的是Zotero 本地 API 写入这一步它决定了整套自动化能否成立。跑通之后你每天只需要打开 Zotero 就能看到当天 arXiv 的新论文列表不用再手动复制粘贴标题和作者。最容易踩的坑集中在网络访问和 API 字段兼容上建议代码里多做日志输出失败一目了然。下一步可以扩展的方向有三个给巡检脚本增加多关键词并行比如同时追 LLM、RAG、Agent 三个方向各自生成一个标签分类。把抓取逻辑改成从 RSS 或邮件订阅触发进一步减少轮询频率。把摘要文本导出给知识库用 Dify 做基于文献的问答形成自动巡检-自动入库-自动问答的完整流水线。对每天都要盯论文的人来说这套方案半小时就能搭完而省下来的时间是每天的。建议先手动跑一遍顺手给自己写一个周报模板以后每周五用同一套脚本输出新文献清单组会汇报会轻松很多。