尧图网站建设 
Label Studio 成员绩效仪表盘Member Performance Dashboard实战指南Annotation 与 Review 指标全解析【免费下载链接】label-studioLabel Studio is a multi-type data labeling and annotation tool with standardized output format项目地址: https://gitcode.com/GitHub_Trending/la/label-studio导读本文围绕 Label Studio 企业版内置的成员绩效仪表盘Member Performance Dashboard展开系统讲解如何按时间段统计标注者Annotator与审核者Reviewer的产出、耗时与质量指标包括多种入口方式、角色访问限制、导出功能、日期/项目/工作区筛选、自定义视图保存以及 Annotations 与 Reviews 两个页签下的全部指标、图表和明细表的计算口径。读完本文你将掌握该仪表盘每个数字的底层定义如lead_times、submitted_or_reviewed、last_action能够据此开展资源排期优化、外包计费核算并替代自建的用户绩效统计工具。适用前提本文描述的仪表盘属于Label Studio 企业版Enterprise功能需要组织级的 Analytics 导航入口。文中部分时间类指标如 Review 耗时存在数据收集起始时间限制详见 Reviews 章节说明。功能概述它能解决什么问题绩效仪表盘提供了某位用户在一段时间内的标注与审核活动指标包括「完成了多少任务」以及「完成速度有多快」。该功能在企业数据标注流程中的典型价值体现在三个方面资源管理优化当项目有严格时间线rigid timeline时可通过各成员的周转速度turnaround识别出效率最高的用户将关键任务优先分配给他们。标注者计费管理当使用外包承包商或按产出计酬时该仪表盘可直接用于计算或核验承包商付款金额避免人工对账。降低内部统计报表成本无需再为追踪用户绩效而开发复杂工具或工作流开箱即用。从源码结构看这些能力建立在任务完成记录Annotation模型数据表task_completion之上仪表盘实际上是围绕该模型聚合出的分析视图相关聚合逻辑在 label_studio/tasks/models.py 与 label_studio/projects/models.py 中均有体现。访问入口五种进入方式根据用户角色不同可通过以下方式打开绩效仪表盘入口操作路径预选对象Organization 页面进入Organization→Members页面选择某位用户 → 右侧点击Member Performance该成员Home 页面点击Member Performance链接当前登录用户自己项目内 Members 仪表盘在项目Members仪表盘的Annotation Summary表格中点击用户名所在行的溢出菜单overflow menu该项目中该用户的标注绩效导航菜单应用内任意位置打开导航菜单 →Analytics当前登录用户自己的标注绩效仪表盘按用户角色的访问限制用户角色访问限制Owner和Admin可从导航菜单、Organization 页面、Home 页面、Members 仪表盘进入可筛选所有用户可筛选所有工作区。Manager可从导航菜单、Home 页面、Members 仪表盘进入仅能筛选自己所在工作区或项目内的成员用户仅能筛选自己所属的工作区或项目。Reviewer和Annotator可从导航菜单和 Home 页面进入仅能查看自己的标注与审核历史仅能筛选自己所属的工作区或项目。需要说明的是当非管理员角色打开Analytics时会被重定向到自己的成员绩效仪表盘参见 dashboard_overview.md 中的角色说明这保证了普通成员永远只能看到自己的数据。数据导出Report、Timeline 与 Comments Added页面右上角的Export下拉菜单提供三种导出格式Report将仪表盘中的信息导出为CSV 或 JSON便于后续在本地做二次聚合或接入报表系统。Timeline导出所选时间范围内该用户所有标注动作的详细时间线包含每条标注的开始时间与提交时间适合审计与逐条核对。Comments Added导出 CSV 文件内容为该用户留下的全部评论。筛选与视图工作区、项目、日期与保存视图按工作区与项目筛选可选择一个或多个工作区workspace或单个项目如需查看全部项目可在工作区筛选器顶部选择All Workspaces。注意事项筛选范围不包含 Personal Sandbox 个人沙盒项目在 Overview 仪表盘中该项目总数还会被限制在 50 个以内详见 dashboard_overview.md。按日期范围筛选可以指定日期范围甚至精确到时分秒。两个关键口径务必牢记标注与审核指标均按完成时间completed计算而非开始时间began。示例说明若选择周一、周二两天作为范围标注者在周二打开标注、开始工作、周三才提交那么这条标注及其花费时间不会被计入报告同理审核者在周二打开标注但周三才接受该标注也不会被计入其总审核数与已接受指标。保存自定义视图Saved Views可以将成员、日期范围与项目筛选组合保存为自定义视图便于随时访问常用的「成员 × 项目」组合。注意支持保存、更新、删除视图。视图仅自己可见不会在组织内共享。另外若在保存日期与项目/工作区筛选后点击Apply这些选择会传播到其他 Analytics 页面你可以随时重新应用已有视图或将当前筛选并入新的/更新后的视图。Annotations 页签标注绩效深度解析Annotations页签展示用户标注绩效与历史信息。其指标由以下三类底层数据计算而来last_action—— 标注的最后一个动作取值为submitted提交、updated更新、fixed_and_accepted修复并接受、accepted接受、rejected拒绝等。该字段定义在 label_studio/tasks/models.py取值枚举见 label_studio/tasks/choices.py 中的ActionType同时该字段建立了数据库索引见 label_studio/tasks/models.py保证按动作类型聚合查询的高效性。submitted_or_reviewed——last_action匹配上述动作之一的标注集合。lead_times—— 上述标注花费的时间。Lead time前置时间包含空闲时间idle time并在多个会话session间累计。通用显示约定无数据时显示短横线--有数据但值为 0 时显示 0两者语义不同阅读时注意区分。标注绩效汇总指标Annotation performance summaries指标计算方式详细说明Total Submitted Annotations总提交标注数submitted_or_reviewed之和所选时间范围内用户提交的标注总数。包含已提交或已更新的标注无论是否被审核不包含被跳过skipped的标注。每条标注在提交计数中只计一次——即使之后被更新Label Studio 也不会重复计数。Time Annotating标注耗时lead_times之和所选时间范围内的标注总耗时基于符合submitted_or_reviewed条件的标注计算。所有标注都有 lead time它反映用户从打开任务到点击 Submit 或 Update的标注时间包含空闲时间与更新已提交标注的时间。不包含未提交/未更新标注的耗时例如草稿、被跳过的标注。Lead time 跨会话累计用户离开或登出后再回到某个标注草稿或此前跳过的标注其先前花费的时间仍会计入。Performance Score绩效评分由审核动作计算反映标注者在**审核动作Accept / Reject / FixAccept**上的整体表现。算法为所有审核动作得分之和 ÷ 审核动作总数。示例某标注被拒绝 2 次后接受 1 次绩效分 (0 0 1) / 3 33%。某标注被拒绝 1 次后被「修复并接受」且一致度agreement得分为 42%绩效分 (0 0.42) / 2 21%。此处的 agreement 衡量的是标注者提交内容与审核者修复后提交内容之间的一致性。标注图表Annotation charts图表说明Annotation States Over Time标注状态随时间变化所选时间段内用户完成的所有标注的汇总按日期分段展示。Time Spent Annotating标注耗时分布按日期分段的标注耗时lead time包含两个指标总标注耗时小时与平均单条标注耗时分钟。注意图表中的日期与时间按标注完成时间即last_action计算而非开始时间与 日期范围筛选 的规则一致。标注绩效明细表Annotator performance table表格内所有指标包括任务分配量均受所选时间范围筛选。各列定义如下列说明Assigned被手动分配给该用户、或已收到该用户提交标注的任务数。Pending被手动分配给该用户、但尚未提交标注且未跳过的任务数。Submitted已提交的标注数包含已审核与未审核的标注。Skipped被跳过的标注数。Performance Score基于对已提交标注的审核动作计算完整定义见上表。若没有任何标注被审核此列置灰显示。Accepted已被审核者接受的已提交标注数。Fix Accepted被审核者调整修复后接受的标注数。Rejected被审核者拒绝的已提交标注数。Total Time该用户标注总耗时lead_times之和。Average Time每条已提交标注的平均耗时lead_times的平均值。Median Time每条已提交标注的耗时中位数lead_times的中位数。关于lead_time的底层存储Annotation模型中的lead_time为 FloatField含义为“标注该任务花费的时间”见 label_studio/tasks/models.py项目级平均耗时聚合annotations_lead_time可在 label_studio/projects/models.py 中查看任务列表中的平均耗时字段avg_lead_time则通过Avg(annotations__lead_time)聚合实现见 label_studio/data_manager/managers.py。Reviews 页签审核绩效深度解析Reviews页签展示用户在审核他人标注方面的活动情况。显示约定与标注页签相同--表示无数据0表示有数据但值为零。审核绩效汇总指标Review performance summaries指标说明Total Reviews总审核数用户审核过的标注总数包括所有接受、拒绝、更新后接受的标注。Time Reviewing审核耗时审核总耗时从打开标注开始计算到执行动作如批准或通过离开任务关闭它为止当窗口处于焦点时也包含空闲时间。重要限制审核耗时的数据收集起始于2025 年 9 月 25 日云端环境或2.30 版本本地部署 on-prem。若筛选日期早于该时间点审核耗时将无法计算。审核图表Review charts图表说明Review States Over Time审核状态随时间变化所选时间段内用户完成的所有审核的汇总按日期分段展示。Time Spent Reviewing审核耗时分布按日期分段的审核耗时包含两个指标总审核耗时小时与平均单条审核耗时分钟。注意图表日期按审核完成时间如接受动作或退出标注的时间计算与 日期范围筛选 规则一致。审核绩效明细表Reviewer performance table表格内所有指标均受所选时间范围筛选。各列定义如下列说明Annotations Reviewed用户已审核的标注数包含所有审核动作accept、reject、fix accept。Pending被手动分配给该用户作为审核者、但尚未给出审核意见的标注数。Accepted用户已接受的标注数。Fix Accepted用户更新后接受的标注数。Rejected用户已拒绝的标注数。Total Time该用户审核总耗时完整定义见上表。Average Time每条标注的平均审核耗时。Median Time每条标注审核耗时的中位数。指标口径速查与使用建议完成时间优先无论标注还是审核所有指标都以动作完成的时刻落入所选日期范围安排排期统计时务必按提交/接受时间落账而不是打开任务的时间。Lead time 的特殊性包含空闲时间且跨会话累计适合衡量“任务从打开到交付的总占用人手时间”但不适合衡量纯专注工时。绩效分的解读Performance Score 本质是「平均审核接受率」未审核的标注不参与计算当表格中该列置灰无审核数据时说明样本量不足不宜直接用于人员横向比较。审核耗时数据的边界云端与本地部署的审核耗时数据收集起始时间不同涉及历史数据对比时需确认时间起点避免早期区间出现--无数据被误读为「0 耗时」。导出与审计需要逐条审计时优先使用Timeline导出含开始与提交时间需要整体统计时使用Report的 CSV/JSON评论内容单独通过Comments Added导出。关联文档与源码参考成员绩效仪表盘原始指南docs/source/guide/dashboard_annotator.md项目总览仪表盘Overview及角色重定向说明docs/source/guide/dashboard_overview.mdActionType动作类型枚举submitted/updated/accepted/rejected/fixed_and_accepted等label_studio/tasks/choices.pyAnnotation.last_action字段定义与索引label_studio/tasks/models.pyAnnotation.lead_time字段定义label_studio/tasks/models.py项目级平均耗时聚合annotations_lead_timelabel_studio/projects/models.py任务列表avg_lead_time聚合实现label_studio/data_manager/managers.py【免费下载链接】label-studioLabel Studio is a multi-type data labeling and annotation tool with standardized output format项目地址: https://gitcode.com/GitHub_Trending/la/label-studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Label Studio 成员绩效仪表盘（Member Performance Dashboard）实战指南：Annotation 与 Review 指标全解析
Label Studio 成员绩效仪表盘Member Performance Dashboard实战指南Annotation 与 Review 指标全解析【免费下载链接】label-studioLabel Studio is a multi-type data labeling and annotation tool with standardized output format项目地址: https://gitcode.com/GitHub_Trending/la/label-studio导读本文围绕 Label Studio 企业版内置的成员绩效仪表盘Member Performance Dashboard展开系统讲解如何按时间段统计标注者Annotator与审核者Reviewer的产出、耗时与质量指标包括多种入口方式、角色访问限制、导出功能、日期/项目/工作区筛选、自定义视图保存以及 Annotations 与 Reviews 两个页签下的全部指标、图表和明细表的计算口径。读完本文你将掌握该仪表盘每个数字的底层定义如lead_times、submitted_or_reviewed、last_action能够据此开展资源排期优化、外包计费核算并替代自建的用户绩效统计工具。适用前提本文描述的仪表盘属于Label Studio 企业版Enterprise功能需要组织级的 Analytics 导航入口。文中部分时间类指标如 Review 耗时存在数据收集起始时间限制详见 Reviews 章节说明。功能概述它能解决什么问题绩效仪表盘提供了某位用户在一段时间内的标注与审核活动指标包括「完成了多少任务」以及「完成速度有多快」。该功能在企业数据标注流程中的典型价值体现在三个方面资源管理优化当项目有严格时间线rigid timeline时可通过各成员的周转速度turnaround识别出效率最高的用户将关键任务优先分配给他们。标注者计费管理当使用外包承包商或按产出计酬时该仪表盘可直接用于计算或核验承包商付款金额避免人工对账。降低内部统计报表成本无需再为追踪用户绩效而开发复杂工具或工作流开箱即用。从源码结构看这些能力建立在任务完成记录Annotation模型数据表task_completion之上仪表盘实际上是围绕该模型聚合出的分析视图相关聚合逻辑在 label_studio/tasks/models.py 与 label_studio/projects/models.py 中均有体现。访问入口五种进入方式根据用户角色不同可通过以下方式打开绩效仪表盘入口操作路径预选对象Organization 页面进入Organization→Members页面选择某位用户 → 右侧点击Member Performance该成员Home 页面点击Member Performance链接当前登录用户自己项目内 Members 仪表盘在项目Members仪表盘的Annotation Summary表格中点击用户名所在行的溢出菜单overflow menu该项目中该用户的标注绩效导航菜单应用内任意位置打开导航菜单 →Analytics当前登录用户自己的标注绩效仪表盘按用户角色的访问限制用户角色访问限制Owner和Admin可从导航菜单、Organization 页面、Home 页面、Members 仪表盘进入可筛选所有用户可筛选所有工作区。Manager可从导航菜单、Home 页面、Members 仪表盘进入仅能筛选自己所在工作区或项目内的成员用户仅能筛选自己所属的工作区或项目。Reviewer和Annotator可从导航菜单和 Home 页面进入仅能查看自己的标注与审核历史仅能筛选自己所属的工作区或项目。需要说明的是当非管理员角色打开Analytics时会被重定向到自己的成员绩效仪表盘参见 dashboard_overview.md 中的角色说明这保证了普通成员永远只能看到自己的数据。数据导出Report、Timeline 与 Comments Added页面右上角的Export下拉菜单提供三种导出格式Report将仪表盘中的信息导出为CSV 或 JSON便于后续在本地做二次聚合或接入报表系统。Timeline导出所选时间范围内该用户所有标注动作的详细时间线包含每条标注的开始时间与提交时间适合审计与逐条核对。Comments Added导出 CSV 文件内容为该用户留下的全部评论。筛选与视图工作区、项目、日期与保存视图按工作区与项目筛选可选择一个或多个工作区workspace或单个项目如需查看全部项目可在工作区筛选器顶部选择All Workspaces。注意事项筛选范围不包含 Personal Sandbox 个人沙盒项目在 Overview 仪表盘中该项目总数还会被限制在 50 个以内详见 dashboard_overview.md。按日期范围筛选可以指定日期范围甚至精确到时分秒。两个关键口径务必牢记标注与审核指标均按完成时间completed计算而非开始时间began。示例说明若选择周一、周二两天作为范围标注者在周二打开标注、开始工作、周三才提交那么这条标注及其花费时间不会被计入报告同理审核者在周二打开标注但周三才接受该标注也不会被计入其总审核数与已接受指标。保存自定义视图Saved Views可以将成员、日期范围与项目筛选组合保存为自定义视图便于随时访问常用的「成员 × 项目」组合。注意支持保存、更新、删除视图。视图仅自己可见不会在组织内共享。另外若在保存日期与项目/工作区筛选后点击Apply这些选择会传播到其他 Analytics 页面你可以随时重新应用已有视图或将当前筛选并入新的/更新后的视图。Annotations 页签标注绩效深度解析Annotations页签展示用户标注绩效与历史信息。其指标由以下三类底层数据计算而来last_action—— 标注的最后一个动作取值为submitted提交、updated更新、fixed_and_accepted修复并接受、accepted接受、rejected拒绝等。该字段定义在 label_studio/tasks/models.py取值枚举见 label_studio/tasks/choices.py 中的ActionType同时该字段建立了数据库索引见 label_studio/tasks/models.py保证按动作类型聚合查询的高效性。submitted_or_reviewed——last_action匹配上述动作之一的标注集合。lead_times—— 上述标注花费的时间。Lead time前置时间包含空闲时间idle time并在多个会话session间累计。通用显示约定无数据时显示短横线--有数据但值为 0 时显示 0两者语义不同阅读时注意区分。标注绩效汇总指标Annotation performance summaries指标计算方式详细说明Total Submitted Annotations总提交标注数submitted_or_reviewed之和所选时间范围内用户提交的标注总数。包含已提交或已更新的标注无论是否被审核不包含被跳过skipped的标注。每条标注在提交计数中只计一次——即使之后被更新Label Studio 也不会重复计数。Time Annotating标注耗时lead_times之和所选时间范围内的标注总耗时基于符合submitted_or_reviewed条件的标注计算。所有标注都有 lead time它反映用户从打开任务到点击 Submit 或 Update的标注时间包含空闲时间与更新已提交标注的时间。不包含未提交/未更新标注的耗时例如草稿、被跳过的标注。Lead time 跨会话累计用户离开或登出后再回到某个标注草稿或此前跳过的标注其先前花费的时间仍会计入。Performance Score绩效评分由审核动作计算反映标注者在**审核动作Accept / Reject / FixAccept**上的整体表现。算法为所有审核动作得分之和 ÷ 审核动作总数。示例某标注被拒绝 2 次后接受 1 次绩效分 (0 0 1) / 3 33%。某标注被拒绝 1 次后被「修复并接受」且一致度agreement得分为 42%绩效分 (0 0.42) / 2 21%。此处的 agreement 衡量的是标注者提交内容与审核者修复后提交内容之间的一致性。标注图表Annotation charts图表说明Annotation States Over Time标注状态随时间变化所选时间段内用户完成的所有标注的汇总按日期分段展示。Time Spent Annotating标注耗时分布按日期分段的标注耗时lead time包含两个指标总标注耗时小时与平均单条标注耗时分钟。注意图表中的日期与时间按标注完成时间即last_action计算而非开始时间与 日期范围筛选 的规则一致。标注绩效明细表Annotator performance table表格内所有指标包括任务分配量均受所选时间范围筛选。各列定义如下列说明Assigned被手动分配给该用户、或已收到该用户提交标注的任务数。Pending被手动分配给该用户、但尚未提交标注且未跳过的任务数。Submitted已提交的标注数包含已审核与未审核的标注。Skipped被跳过的标注数。Performance Score基于对已提交标注的审核动作计算完整定义见上表。若没有任何标注被审核此列置灰显示。Accepted已被审核者接受的已提交标注数。Fix Accepted被审核者调整修复后接受的标注数。Rejected被审核者拒绝的已提交标注数。Total Time该用户标注总耗时lead_times之和。Average Time每条已提交标注的平均耗时lead_times的平均值。Median Time每条已提交标注的耗时中位数lead_times的中位数。关于lead_time的底层存储Annotation模型中的lead_time为 FloatField含义为“标注该任务花费的时间”见 label_studio/tasks/models.py项目级平均耗时聚合annotations_lead_time可在 label_studio/projects/models.py 中查看任务列表中的平均耗时字段avg_lead_time则通过Avg(annotations__lead_time)聚合实现见 label_studio/data_manager/managers.py。Reviews 页签审核绩效深度解析Reviews页签展示用户在审核他人标注方面的活动情况。显示约定与标注页签相同--表示无数据0表示有数据但值为零。审核绩效汇总指标Review performance summaries指标说明Total Reviews总审核数用户审核过的标注总数包括所有接受、拒绝、更新后接受的标注。Time Reviewing审核耗时审核总耗时从打开标注开始计算到执行动作如批准或通过离开任务关闭它为止当窗口处于焦点时也包含空闲时间。重要限制审核耗时的数据收集起始于2025 年 9 月 25 日云端环境或2.30 版本本地部署 on-prem。若筛选日期早于该时间点审核耗时将无法计算。审核图表Review charts图表说明Review States Over Time审核状态随时间变化所选时间段内用户完成的所有审核的汇总按日期分段展示。Time Spent Reviewing审核耗时分布按日期分段的审核耗时包含两个指标总审核耗时小时与平均单条审核耗时分钟。注意图表日期按审核完成时间如接受动作或退出标注的时间计算与 日期范围筛选 规则一致。审核绩效明细表Reviewer performance table表格内所有指标均受所选时间范围筛选。各列定义如下列说明Annotations Reviewed用户已审核的标注数包含所有审核动作accept、reject、fix accept。Pending被手动分配给该用户作为审核者、但尚未给出审核意见的标注数。Accepted用户已接受的标注数。Fix Accepted用户更新后接受的标注数。Rejected用户已拒绝的标注数。Total Time该用户审核总耗时完整定义见上表。Average Time每条标注的平均审核耗时。Median Time每条标注审核耗时的中位数。指标口径速查与使用建议完成时间优先无论标注还是审核所有指标都以动作完成的时刻落入所选日期范围安排排期统计时务必按提交/接受时间落账而不是打开任务的时间。Lead time 的特殊性包含空闲时间且跨会话累计适合衡量“任务从打开到交付的总占用人手时间”但不适合衡量纯专注工时。绩效分的解读Performance Score 本质是「平均审核接受率」未审核的标注不参与计算当表格中该列置灰无审核数据时说明样本量不足不宜直接用于人员横向比较。审核耗时数据的边界云端与本地部署的审核耗时数据收集起始时间不同涉及历史数据对比时需确认时间起点避免早期区间出现--无数据被误读为「0 耗时」。导出与审计需要逐条审计时优先使用Timeline导出含开始与提交时间需要整体统计时使用Report的 CSV/JSON评论内容单独通过Comments Added导出。关联文档与源码参考成员绩效仪表盘原始指南docs/source/guide/dashboard_annotator.md项目总览仪表盘Overview及角色重定向说明docs/source/guide/dashboard_overview.mdActionType动作类型枚举submitted/updated/accepted/rejected/fixed_and_accepted等label_studio/tasks/choices.pyAnnotation.last_action字段定义与索引label_studio/tasks/models.pyAnnotation.lead_time字段定义label_studio/tasks/models.py项目级平均耗时聚合annotations_lead_timelabel_studio/projects/models.py任务列表avg_lead_time聚合实现label_studio/data_manager/managers.py【免费下载链接】label-studioLabel Studio is a multi-type data labeling and annotation tool with standardized output format项目地址: https://gitcode.com/GitHub_Trending/la/label-studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考