Auto Paper Pipeline: 从脚本到AI Research Agent的进化之路一个开源项目的架构演进从ArXiv爬虫到生产级AI论文研究平台引言作为一名AI研究者你是否每天都在重复这些工作手动搜索ArXiv错过重要论文下载PDF后混乱分类阅读论文后难以复现实验整理技术报告耗时耗力Auto Paper Pipeline应运而生——一个全自动化的论文研究系统覆盖6个研究领域30篇论文从爬取到复现全流程自动化。1. 项目演进从V1.0到V2.0V1.0基础爬虫单源ArXiv爬取简单排序基础邮件简报V2.0生产级平台多源聚合ArXiv Semantic Scholar多级过滤漏斗TF-IDF → LLM评分深度分析引擎AI摘要生成Web API DashboardMCP Server接入Docker容器化部署自动测试框架2. 核心架构设计2.1 多级过滤漏斗问题每天100论文如何高效筛选解决方案Stage 1: TF-IDF快速过滤 (零成本) - 领域关键词匹配 - 重要词汇匹配 - 过滤60%无关噪音 Stage 2: LLM深度评分 (低成本) - 启发式评分算法 - 考虑新颖性、性能、引用 - 精准筛选Top 20效果从100篇筛选到20篇成本降低80%2.2 AI摘要生成设计原则防滥用摘要截断至500字符结构化核心问题/创新方法/实验结论/局限展望缓存避免重复调用示例输出{core_problem:优化LLM推理的KV缓存内存占用,innovation:压缩和组合KV缓存重用,conclusion:性能提升40%,limitation:降低计算成本}2.3 趋势预警系统算法growth_rate(近7天-前7天)/前7天 ×100volatilitystd(每日计数)/mean(每日计数)ifgrowth_rate35%andvolatility0.4:alert_levelHIGH3. 技术栈选型模块选型理由依赖管理pip简单可靠数据存储JSON文件轻量级无需数据库Web框架FastAPI高性能自动文档容器化Docker Compose一键部署测试pytestPython标准测试框架MCPmcp-sdkClaude/Cursor兼容4. 部署架构4.1 Docker Composeservices:app:# 主应用爬取分析web:# Web API端口8000scheduler:# 定时任务每日8:004.2 健康检查与自愈30秒检查一次API状态连续失败3次自动重启monitor.sh每分钟检查容器状态所有操作记录日志4.3 定时任务每日8:00自动爬取论文每周一2:00备份数据邮件简报自动发送5. 实验成果5.1 30篇论文复现领域完成最佳结果AI Agent5/5mIoU 0.309 (3x提升)LLM推理优化5/573%开销降低多模态大模型5/544.9%提升代码生成5/5100%覆盖率芯片验证5/5全部匹配5G移动通信5/577.4%缩减5.2 8个改进实现改进效果PagedWeight自适应量化内存节省20-23%FVAttn动态负载均衡不平衡降低33%DPNeXt知识蒸馏181x参数压缩CLIFE Transformer融合1.4x推理加速6. MCP接入让AI直接查询6.1 可用工具# 搜索论文python src/mcp_server/server.py search--queryLLM agent# 获取详情python src/mcp_server/server.py detail --paper-id2607.16193# 领域统计python src/mcp_server/server.py stats6.2 在Claude/Cursor中使用配置~/.mimocode/mcp.json{mcpServers:{paper-pipeline:{command:python3,args:[/path/to/src/mcp_server/server.py]}}}7. 一键部署# 克隆项目gitclone https://github.com/infanwang/auto-paper-pipeline.gitcdauto-paper-pipeline# 配置环境变量cp.env.example .env# 编辑 .env 设置邮箱等# 启动服务dockercompose up-d# 访问# 主页: http://localhost:8000# 搜索: http://localhost:8000/search# 仪表盘: http://localhost:8000/dashboard# API文档: http://localhost:8000/docs8. 项目统计指标数量Python文件40测试用例41Docker服务3个API端点8个论文数据119篇复现论文30篇改进实现8个9. 未来规划知识图谱构建论文影响力预测多语言支持K8s生产部署自动论文复现10. 致谢ArXiv - 论文数据源Semantic Scholar - 引用数据MCP - 工具接入协议MiMo Code - AI编程助手GitHub: https://github.com/infanwang/auto-paper-pipeline如果这个项目对你有帮助请给个⭐支持一下Made with ❤️ by infanwang
Auto Paper Pipeline: 从脚本到AI Research Agent的进化之路一个开源项目的架构演进从ArXiv爬虫到生产级AI论文研究平台引言作为一名AI研究者你是否每天都在重复这些工作手动搜索ArXiv错过重要论文下载PDF后混乱分类阅读论文后难以复现实验整理技术报告耗时耗力Auto Paper Pipeline应运而生——一个全自动化的论文研究系统覆盖6个研究领域30篇论文从爬取到复现全流程自动化。1. 项目演进从V1.0到V2.0V1.0基础爬虫单源ArXiv爬取简单排序基础邮件简报V2.0生产级平台多源聚合ArXiv Semantic Scholar多级过滤漏斗TF-IDF → LLM评分深度分析引擎AI摘要生成Web API DashboardMCP Server接入Docker容器化部署自动测试框架2. 核心架构设计2.1 多级过滤漏斗问题每天100论文如何高效筛选解决方案Stage 1: TF-IDF快速过滤 (零成本) - 领域关键词匹配 - 重要词汇匹配 - 过滤60%无关噪音 Stage 2: LLM深度评分 (低成本) - 启发式评分算法 - 考虑新颖性、性能、引用 - 精准筛选Top 20效果从100篇筛选到20篇成本降低80%2.2 AI摘要生成设计原则防滥用摘要截断至500字符结构化核心问题/创新方法/实验结论/局限展望缓存避免重复调用示例输出{core_problem:优化LLM推理的KV缓存内存占用,innovation:压缩和组合KV缓存重用,conclusion:性能提升40%,limitation:降低计算成本}2.3 趋势预警系统算法growth_rate(近7天-前7天)/前7天 ×100volatilitystd(每日计数)/mean(每日计数)ifgrowth_rate35%andvolatility0.4:alert_levelHIGH3. 技术栈选型模块选型理由依赖管理pip简单可靠数据存储JSON文件轻量级无需数据库Web框架FastAPI高性能自动文档容器化Docker Compose一键部署测试pytestPython标准测试框架MCPmcp-sdkClaude/Cursor兼容4. 部署架构4.1 Docker Composeservices:app:# 主应用爬取分析web:# Web API端口8000scheduler:# 定时任务每日8:004.2 健康检查与自愈30秒检查一次API状态连续失败3次自动重启monitor.sh每分钟检查容器状态所有操作记录日志4.3 定时任务每日8:00自动爬取论文每周一2:00备份数据邮件简报自动发送5. 实验成果5.1 30篇论文复现领域完成最佳结果AI Agent5/5mIoU 0.309 (3x提升)LLM推理优化5/573%开销降低多模态大模型5/544.9%提升代码生成5/5100%覆盖率芯片验证5/5全部匹配5G移动通信5/577.4%缩减5.2 8个改进实现改进效果PagedWeight自适应量化内存节省20-23%FVAttn动态负载均衡不平衡降低33%DPNeXt知识蒸馏181x参数压缩CLIFE Transformer融合1.4x推理加速6. MCP接入让AI直接查询6.1 可用工具# 搜索论文python src/mcp_server/server.py search--queryLLM agent# 获取详情python src/mcp_server/server.py detail --paper-id2607.16193# 领域统计python src/mcp_server/server.py stats6.2 在Claude/Cursor中使用配置~/.mimocode/mcp.json{mcpServers:{paper-pipeline:{command:python3,args:[/path/to/src/mcp_server/server.py]}}}7. 一键部署# 克隆项目gitclone https://github.com/infanwang/auto-paper-pipeline.gitcdauto-paper-pipeline# 配置环境变量cp.env.example .env# 编辑 .env 设置邮箱等# 启动服务dockercompose up-d# 访问# 主页: http://localhost:8000# 搜索: http://localhost:8000/search# 仪表盘: http://localhost:8000/dashboard# API文档: http://localhost:8000/docs8. 项目统计指标数量Python文件40测试用例41Docker服务3个API端点8个论文数据119篇复现论文30篇改进实现8个9. 未来规划知识图谱构建论文影响力预测多语言支持K8s生产部署自动论文复现10. 致谢ArXiv - 论文数据源Semantic Scholar - 引用数据MCP - 工具接入协议MiMo Code - AI编程助手GitHub: https://github.com/infanwang/auto-paper-pipeline如果这个项目对你有帮助请给个⭐支持一下Made with ❤️ by infanwang
在Transformer中的优化实践)
