阿里：Agent后入侵响应基准SecRespond

标题SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response来源arXiv, 2607.26791v1️文章简介研究问题现有网络安全基准多关注攻击前的理想环境如何评估LLM智能体在真实主机被攻陷后的取证调查与修复能力主要贡献论文发布SecRespond这是首个针对后入侵事件响应工作流的基准包含10个基于真实云主机的网络靶场及分层评估框架。重点思路构建10个网络靶场每个靶场基于被完整攻击链攻陷的云服务器磁盘快照涵盖4种入口、21种ATTCK技术及5种操作系统提供告警、漏洞扫描和基线检查数据。定义五维能力分类体系CAP包括入侵实体、持久化机制、基线风险、漏洞风险及调查响应质量共52个能力项。设计分层评估框架将任务分解为280个细粒度检查点采用LLM-as-a-Judge方法从检测发现和修复规划两个维度进行打分。在OpenCode智能体框架下评估23种前沿大模型通过三个独立法官模型评分以减少偏差并与传统无代理扫描器进行对比。分析总结当前智能体能可靠发现由告警暴露的问题但在主动调查磁盘以发现静默入侵和生成全面验证的修复计划方面存在严重瓶颈无模型在任何靶场实现完全检测和修复。检测得分普遍高于规划得分差距显著。模型倾向于给出显而易见的初步修复但往往遗漏后续步骤如凭证轮换或验证服务恢复导致修复不完整。能力表现不平衡模型在识别具体入侵实体方面表现较好但在发现隐蔽的持久化机制如定时任务、启动项方面得分最低且难以重建完整的攻击链。引入程序性先验知识技能能显著提升规划能力特别是对于初始规划较弱的模型但无法完全消除长尾痕迹发现的盲区表明需结合自我学习。个人观点论文填补了LLM在事后应急响应领域评估的空白揭示了当前AI从“被动响应告警”向“主动深度取证”跨越时的根本性缺陷特别是持久化机制检测的低分和修复规划的碎片化。