ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

如何对比两次AI编码会话?CANNBot-Sentry Session Compare并排对比功能详解

如何对比两次AI编码会话?CANNBot-Sentry Session Compare并排对比功能详解 如何对比两次AI编码会话CANNBot-Sentry Session Compare并排对比功能详解【免费下载链接】cannbot-sentryCANN 生态中面向 Agent 工作流的“哨兵”观测 · 审计 · 评测三位一体的质量基础设施项目地址: https://gitcode.com/cann/cannbot-sentryCANNBot-Sentry是 CANN 生态中面向 Agent 工作流的观测·审计·评测质量基础设施其中的Session Compare会话并排对比功能可以把你跑过的任意两次 AI 编码会话放在一起逐项对比 Token 消耗、费用、耗时、工具调用与子代理数量帮你快速判断 Prompt 优化、模型切换到底有没有效果。本文面向新手用最短的路径讲清楚这个功能怎么用、比什么、结果怎么看。为什么需要 AI 编码会话对比同一类任务跑多次是很常见的场景改了 Prompt想知道新写法是更省 Token 还是更费换了模型或 Provider想验证成本和质量变化对比“带 Skill”和“不带 Skill”两种工作流的执行效率。人眼逐个打开两个会话翻 Turn 记录既慢又容易漏。Session Compare 把这件事变成了一次点击 一张并排报表。Session Compare 是什么该功能位于 packages/insight 包中提供两种入口入口适合人群对比内容Web UI/compare 页面所有用户概览卡片、Token 五项拆解图、工具调用表、逐 Turn 对齐CLI compare 命令脚本化 / 终端用户14 项指标的表格输出支持 JSON核心指标包括模型、总 Token、总费用、总耗时、LLM 调用次数、工具调用次数、子代理数量、Skill 加载次数等。Web UI 并排对比四步走 ️第 1 步安装并启动npm install -g cannbot-insight cannbot-insight首次运行约 30 秒到 2 分钟自动构建 建库随后自动打开浏览器默认端口 21025。第 2 步导入两次会话opencode 和 Claude Code 的会话记录都支持导入首页导入对话框提供一键默认路径详见 packages/insight/README.md。第 3 步勾选 2 个会话在首页会话列表中勾选 2 条记录点击出现的Compare Selected按钮页面跳转到/compare?sessions{id1},{id2}对比页。第 4 步查看两个 TabOverview概览左右并排的核心指标卡片数值更低/更快的一方用绿色高亮一眼看出谁更省下方是 Token 五项拆解对比柱状图input / output / reasoning / cacheRead / cacheWrite和工具调用汇总对比表各工具使用次数 成功率 差异值。Turn-by-Turn逐 Turn把两个会话的 Turn 按相似度自动对齐后并排展示独有的 Turn 也会标出方便定位“多走了哪几步”。对齐算法相似度阈值、角色不匹配惩罚等实现在 turn-align.ts 中。对比页整体逻辑可参考 packages/insight/src/app/compare/page.tsx四个对比组件集中在 packages/insight/src/components/compare/ 目录。CLI 一行命令对比两个会话不方便开浏览器时比如 SSH 环境用 CLIcannbot-insight compare taskId1 taskId2 cannbot-insight compare taskId1 taskId2 --json命令会输出 Task ID、模型、Token总量/输入/输出、费用、耗时、LLM 活跃时长、工具调用、LLM 调用、子代理、Skill 加载等 14 行指标的 A/B 对照表--json便于接入脚本。实现见 packages/insight/src/cli/commands/compare.ts命令参考 docs/cli-commands.md。拿到对比结果后看什么绿色高亮指标Token 和 Cost 谁更低、Latency 谁更短直接反映优化收益Token 五项拆解cacheRead 占比高说明缓存命中好reasoning 偏高则说明模型“想”得多工具调用 Diff 列某工具调用次数突然增加如文件重复读取往往是工作流冗余的信号逐 Turn 对齐找出 B 会话多出的 Turn通常就是无效探索发生的位置。相关文档与源码功能需求与设计packages/insight/docs/design/session-compare/requirements.mdWeb 对比页packages/insight/src/app/compare/page.tsxTurn 对齐算法packages/insight/src/lib/compare/turn-align.tsCLI 命令文档packages/insight/docs/cli-commands.md小结Session Compare 把“两次 AI 编码会话谁更划算、哪里多花了 Token”变成了一次勾选和一张报表Web 端看图表和逐 Turn 对齐CLI 端拿结构化数据。无论你在调 Prompt、换模型还是评估 Skill 收益它都是 CANNBot-Sentry 观测体系里最值得先上手的对比利器。【免费下载链接】cannbot-sentryCANN 生态中面向 Agent 工作流的“哨兵”观测 · 审计 · 评测三位一体的质量基础设施项目地址: https://gitcode.com/cann/cannbot-sentry创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表