文章目录1. 高基数标签1.1 标签基数1.2 高基数爆炸1.2.1 应用侧内存上涨1.2.2 监控后端时序爆炸1.3 使用规范2. HighCardinalityTagsDetector2.1 基本介绍2.2 关键成员变量2.3 核心方法2.4 和 MeterFilter 的区别3. 案例演示3.1 默认配置快速启用3.2 自定义完整参数3.3 一次性手动检测4. 高基数标签解决方案4.1 方案 1直接移除无用高基数标签4.2 方案 2标签值归一化收敛最推荐4.3 方案 3Observation API 分离高维元数据4.4 方案 4MeterFilter 硬上限兜底防护5. 生产最佳实践1. 高基数标签1.1 标签基数同一个指标名称下所有Tag KV唯一组合的总数每一组组合对应一条独立时序。对于之前案例中的Http请求指标来说示例指标api.request标签region, server, status其中region [test]server [gateway]status [200,404,500]那么基数 1 × 1 × 33每一组唯一标签组合一条独立时序一条时间序列基数为3产生3组标签组合regiontest,servergateway,status200regiontest,servergateway,status404regiontest,servergateway,status500实际会产生3条相互独立的时序api.request{regiontest,servergateway,status200} api.request{regiontest,servergateway,status404} api.request{regiontest,servergateway,status500}1.2 高基数爆炸无边界、海量取值的标签会产生海量时序造成两大问题应用侧注册表存储海量Meter实例内存持续上涨、GC频繁监控后端时序爆炸存储、查询、告警性能崩溃。假设我们错误增加标签client_ip每一个不同IP生成一条全新时序api.request{client_ip192.168.1.100,status200} api.request{client_ip192.168.1.101,status200} api.request{client_ip192.168.1.102,status200} ……用户量越大时序无限疯涨也就是常说的时序爆炸。1.2.1 应用侧内存上涨在MeterRegistry内部底层有一个MapMeterId, MeterprivatefinalMapMeter.Id,MetermeterMapnewConcurrentHashMap();MeterId指标名 全部标签集合不同标签组合生成不同的MeterId不同MeterId→ 创建全新Counter对象。这就是应用侧内存上涨的根源每一条时序进程里都对应一个独立Counter/Timer实例。MeterId(api.request,[regiontest,servergateway,status200])→Counter对象AMeterId(api.request,[regiontest,servergateway,status404])→Counter对象B1.2.2 监控后端时序爆炸先回顾Prometheus核心底层模型指标名称{标签key1val1,key2val2}Series时序序列示例#3条完全独立Seriesapi_request{status200,route/user/list}api_request{status404,route/user/list}api_request{status500,route/user/list}Prometheus内置时序数据库为TSDB区分两种写入已有Series追加样本点低成本全新从未见过的Series在内存head block创建Series对象写入 索引Label Index分配Chunk块用于存放后续数据点新建Series是重量级操作持续不断暴增新Series会导致Prometheus内存占用持续上涨索引不断膨胀内存GC压力变大写入延迟上升出现样本迟到、丢点一旦磁盘占满Prometheus会停止写入数据执行查询匹配到几万条Series时CPU、内存爆炸…1.3 使用规范取值无限、不可收敛的高基数标签禁止使用示例用户ID、手机号、邮箱、请求ID、TraceID、时间戳、完整动态URL、未校验用户输入。取值有限、固定集合的低基数标签推荐使用示例HTTP请求方法GET/POST、状态码200/4xx/5xx、环境env、应用名、模板URL、业务枚举状态。2. HighCardinalityTagsDetector2.1 基本介绍扫描当前MeterRegistry统计【同一个指标名称】下存在多少个不同Meter实例以此识别潜在高基数标签风险。核心工作逻辑遍历registry.getMeters()获取全部已经注册成功的指标使用meter.getId().getName()分组统计相同指标名的Meter总数如果某指标的Meter数量 阈值threshold→ 判断为疑似高基数指标触发回调 / 打印警告日志⚠️ 重要局限仅检测标签带来的基数爆炸无法检测指标名拼接随机值不会识别其他类型内存泄漏仅告警首个超限指标多指标超限需要迭代修复阈值仅为经验参考需根据业务规模调整。2.2 关键成员变量成员含义MeterRegistry registry待扫描的指标注册表long threshold判定阈值单个指标名下Meter数量超过该值触发告警Duration delay定时任务轮询间隔ConsumerHighCardinalityMeterInfo meterInfoConsumer发现高基数指标后的回调处理器默认打印日志ScheduledExecutorService scheduledExecutorService单线程定时调度器执行周期性扫描2.3 核心方法方法签名作用使用模式关键说明Builder(MeterRegistry registry)创建构造器1.16 推荐构建实例流式API替代过时构造函数支持自定义告警回调Builder.threshold(long threshold)设置基数阈值构建实例同一指标名下Meter数量超过阈值判定疑似高基数建议手动指定不要依赖自动计算Builder.delay(Duration delay)设置定时扫描间隔构建实例默认5分钟底层为scheduleWithFixedDelayBuilder.highCardinalityMeterInfoConsumer(Consumer)自定义发现高基数后的回调构建实例可获取指标名称 当前时序数量实现自定义告警钉钉/日志埋点Builder.build()构建检测器实例构建实例生成HighCardinalityTagsDetector对象start()启动后台定时扫描任务周期巡检模式启动单线程调度器循环执行高基数检测shutdown()停止定时扫描任务生命周期管理关闭调度线程池释放资源close()实现AutoCloseable等价shutdown生命周期管理支持 try-with-resources 优雅关闭OptionalString findFirst()同步执行一次检测返回首个超标指标名手动单次检测兼容旧版本仅返回指标名称OptionalHighCardinalityMeterInfo findFirstHighCardinalityMeterInfo()同步执行一次检测返回指标名数量手动单次检测1.16推荐使用携带当前指标下Meter总数private detectHighCardinalityTags()定时任务内部执行逻辑内部私有方法遍历全部Meter、按指标名统计数量触发回调异常捕获不中断定时任务private logWarning(HighCardinalityMeterInfo)默认回调实现内部私有方法WarnThenDebugLogger首次WARN、后续DEBUG防止日志刷屏2.4 和 MeterFilter 的区别组件角色时机HighCardinalityTagsDetector事后检测、预警Meter已经注册成功之后周期性扫描发现问题只告警不阻止创建指标MeterFilter.maximumAllowableMetrics(N)事前拦截、防御尝试注册Meter阶段如果单指标数量超限直接拒绝新建Meter防止内存持续上涨3. 案例演示3.1 默认配置快速启用使用默认阈值、默认日志输出、内置定时轮询registry.config().withHighCardinalityTagsDetector();3.2 自定义完整参数通过Builder可以自定义完整参数registry.config().withHighCardinalityTagsDetector(r-newHighCardinalityTagsDetector.Builder(r).threshold(1000)// 阈值同指标超过1000个Meter即告警.delay(Duration.ofMinutes(5))// 轮询检测间隔5分钟// 自定义告警回调.highCardinalityMeterInfoConsumer(info-{alert(高基数标签告警指标[info.getName()]实例数info.getCount());registry.counter(alerts.high.cardinality,meter,info.getName()).increment();}).build());3.3 一次性手动检测适用于单元测试/临时排查try(HighCardinalityTagsDetectordetectornewHighCardinalityTagsDetector.Builder(registry).threshold(10).build()){// 模拟高基数标签埋点for(inti0;i15;i){registry.counter(requests,uid,String.valueOf(i)).increment();}// 查询首个超限指标OptionalStringmeterNamedetector.findFirst();OptionalHighCardinalityTagsDetector.HighCardinalityMeterInfoinfodetector.findFirstHighCardinalityMeterInfo();}// try-with-resources自动关闭检测器避免后台线程残留4. 高基数标签解决方案4.1 方案 1直接移除无用高基数标签无业务价值的标签直接删除通过MeterFilter全局过滤// 全局移除userId标签registry.config().meterFilter(MeterFilter.ignoreTags(userId));4.2 方案 2标签值归一化收敛最推荐将无限取值收敛为有限枚举区间URL模板化/user/{id}替代/user/123区间分组age20-30替代age26错误码归类status4xx替代status404未知值兜底异常取值统一归类为other。4.3 方案 3Observation API 分离高维元数据Micrometer Observation API区分两类数据普通Tag低基数用于指标统计highCardinalityKeyValue高基数数据userId/traceId仅下发链路追踪、日志不进入 Metrics 指标。ObservationobservationObservation.start(http.request,registry);// 高基数数据仅存链路日志不生成指标标签observation.highCardinalityKeyValue(userId,userId);4.4 方案 4MeterFilter 硬上限兜底防护限制单个标签最大取值数量超限直接拒绝注册指标防止内存打爆// http.requests指标下uri标签最多允许100种取值超出直接丢弃指标registry.config().meterFilter(MeterFilter.maximumAllowableTags(http.requests,uri,100,MeterFilter.deny()));可自定义deny逻辑打印限流日志并做告警。5. 生产最佳实践生产环境强制开启检测器测试环境无法复现线上海量请求带来的基数问题使用内置定时轮询持续监控不要只做一次性检测收到告警优先修复标签归一化不要单纯上调阈值掩盖问题集成测试中使用检测器校验自定义埋点提前规避高基数不要依赖检测器做内存泄漏排查它仅识别标签基数问题。
文章目录1. 高基数标签1.1 标签基数1.2 高基数爆炸1.2.1 应用侧内存上涨1.2.2 监控后端时序爆炸1.3 使用规范2. HighCardinalityTagsDetector2.1 基本介绍2.2 关键成员变量2.3 核心方法2.4 和 MeterFilter 的区别3. 案例演示3.1 默认配置快速启用3.2 自定义完整参数3.3 一次性手动检测4. 高基数标签解决方案4.1 方案 1直接移除无用高基数标签4.2 方案 2标签值归一化收敛最推荐4.3 方案 3Observation API 分离高维元数据4.4 方案 4MeterFilter 硬上限兜底防护5. 生产最佳实践1. 高基数标签1.1 标签基数同一个指标名称下所有Tag KV唯一组合的总数每一组组合对应一条独立时序。对于之前案例中的Http请求指标来说示例指标api.request标签region, server, status其中region [test]server [gateway]status [200,404,500]那么基数 1 × 1 × 33每一组唯一标签组合一条独立时序一条时间序列基数为3产生3组标签组合regiontest,servergateway,status200regiontest,servergateway,status404regiontest,servergateway,status500实际会产生3条相互独立的时序api.request{regiontest,servergateway,status200} api.request{regiontest,servergateway,status404} api.request{regiontest,servergateway,status500}1.2 高基数爆炸无边界、海量取值的标签会产生海量时序造成两大问题应用侧注册表存储海量Meter实例内存持续上涨、GC频繁监控后端时序爆炸存储、查询、告警性能崩溃。假设我们错误增加标签client_ip每一个不同IP生成一条全新时序api.request{client_ip192.168.1.100,status200} api.request{client_ip192.168.1.101,status200} api.request{client_ip192.168.1.102,status200} ……用户量越大时序无限疯涨也就是常说的时序爆炸。1.2.1 应用侧内存上涨在MeterRegistry内部底层有一个MapMeterId, MeterprivatefinalMapMeter.Id,MetermeterMapnewConcurrentHashMap();MeterId指标名 全部标签集合不同标签组合生成不同的MeterId不同MeterId→ 创建全新Counter对象。这就是应用侧内存上涨的根源每一条时序进程里都对应一个独立Counter/Timer实例。MeterId(api.request,[regiontest,servergateway,status200])→Counter对象AMeterId(api.request,[regiontest,servergateway,status404])→Counter对象B1.2.2 监控后端时序爆炸先回顾Prometheus核心底层模型指标名称{标签key1val1,key2val2}Series时序序列示例#3条完全独立Seriesapi_request{status200,route/user/list}api_request{status404,route/user/list}api_request{status500,route/user/list}Prometheus内置时序数据库为TSDB区分两种写入已有Series追加样本点低成本全新从未见过的Series在内存head block创建Series对象写入 索引Label Index分配Chunk块用于存放后续数据点新建Series是重量级操作持续不断暴增新Series会导致Prometheus内存占用持续上涨索引不断膨胀内存GC压力变大写入延迟上升出现样本迟到、丢点一旦磁盘占满Prometheus会停止写入数据执行查询匹配到几万条Series时CPU、内存爆炸…1.3 使用规范取值无限、不可收敛的高基数标签禁止使用示例用户ID、手机号、邮箱、请求ID、TraceID、时间戳、完整动态URL、未校验用户输入。取值有限、固定集合的低基数标签推荐使用示例HTTP请求方法GET/POST、状态码200/4xx/5xx、环境env、应用名、模板URL、业务枚举状态。2. HighCardinalityTagsDetector2.1 基本介绍扫描当前MeterRegistry统计【同一个指标名称】下存在多少个不同Meter实例以此识别潜在高基数标签风险。核心工作逻辑遍历registry.getMeters()获取全部已经注册成功的指标使用meter.getId().getName()分组统计相同指标名的Meter总数如果某指标的Meter数量 阈值threshold→ 判断为疑似高基数指标触发回调 / 打印警告日志⚠️ 重要局限仅检测标签带来的基数爆炸无法检测指标名拼接随机值不会识别其他类型内存泄漏仅告警首个超限指标多指标超限需要迭代修复阈值仅为经验参考需根据业务规模调整。2.2 关键成员变量成员含义MeterRegistry registry待扫描的指标注册表long threshold判定阈值单个指标名下Meter数量超过该值触发告警Duration delay定时任务轮询间隔ConsumerHighCardinalityMeterInfo meterInfoConsumer发现高基数指标后的回调处理器默认打印日志ScheduledExecutorService scheduledExecutorService单线程定时调度器执行周期性扫描2.3 核心方法方法签名作用使用模式关键说明Builder(MeterRegistry registry)创建构造器1.16 推荐构建实例流式API替代过时构造函数支持自定义告警回调Builder.threshold(long threshold)设置基数阈值构建实例同一指标名下Meter数量超过阈值判定疑似高基数建议手动指定不要依赖自动计算Builder.delay(Duration delay)设置定时扫描间隔构建实例默认5分钟底层为scheduleWithFixedDelayBuilder.highCardinalityMeterInfoConsumer(Consumer)自定义发现高基数后的回调构建实例可获取指标名称 当前时序数量实现自定义告警钉钉/日志埋点Builder.build()构建检测器实例构建实例生成HighCardinalityTagsDetector对象start()启动后台定时扫描任务周期巡检模式启动单线程调度器循环执行高基数检测shutdown()停止定时扫描任务生命周期管理关闭调度线程池释放资源close()实现AutoCloseable等价shutdown生命周期管理支持 try-with-resources 优雅关闭OptionalString findFirst()同步执行一次检测返回首个超标指标名手动单次检测兼容旧版本仅返回指标名称OptionalHighCardinalityMeterInfo findFirstHighCardinalityMeterInfo()同步执行一次检测返回指标名数量手动单次检测1.16推荐使用携带当前指标下Meter总数private detectHighCardinalityTags()定时任务内部执行逻辑内部私有方法遍历全部Meter、按指标名统计数量触发回调异常捕获不中断定时任务private logWarning(HighCardinalityMeterInfo)默认回调实现内部私有方法WarnThenDebugLogger首次WARN、后续DEBUG防止日志刷屏2.4 和 MeterFilter 的区别组件角色时机HighCardinalityTagsDetector事后检测、预警Meter已经注册成功之后周期性扫描发现问题只告警不阻止创建指标MeterFilter.maximumAllowableMetrics(N)事前拦截、防御尝试注册Meter阶段如果单指标数量超限直接拒绝新建Meter防止内存持续上涨3. 案例演示3.1 默认配置快速启用使用默认阈值、默认日志输出、内置定时轮询registry.config().withHighCardinalityTagsDetector();3.2 自定义完整参数通过Builder可以自定义完整参数registry.config().withHighCardinalityTagsDetector(r-newHighCardinalityTagsDetector.Builder(r).threshold(1000)// 阈值同指标超过1000个Meter即告警.delay(Duration.ofMinutes(5))// 轮询检测间隔5分钟// 自定义告警回调.highCardinalityMeterInfoConsumer(info-{alert(高基数标签告警指标[info.getName()]实例数info.getCount());registry.counter(alerts.high.cardinality,meter,info.getName()).increment();}).build());3.3 一次性手动检测适用于单元测试/临时排查try(HighCardinalityTagsDetectordetectornewHighCardinalityTagsDetector.Builder(registry).threshold(10).build()){// 模拟高基数标签埋点for(inti0;i15;i){registry.counter(requests,uid,String.valueOf(i)).increment();}// 查询首个超限指标OptionalStringmeterNamedetector.findFirst();OptionalHighCardinalityTagsDetector.HighCardinalityMeterInfoinfodetector.findFirstHighCardinalityMeterInfo();}// try-with-resources自动关闭检测器避免后台线程残留4. 高基数标签解决方案4.1 方案 1直接移除无用高基数标签无业务价值的标签直接删除通过MeterFilter全局过滤// 全局移除userId标签registry.config().meterFilter(MeterFilter.ignoreTags(userId));4.2 方案 2标签值归一化收敛最推荐将无限取值收敛为有限枚举区间URL模板化/user/{id}替代/user/123区间分组age20-30替代age26错误码归类status4xx替代status404未知值兜底异常取值统一归类为other。4.3 方案 3Observation API 分离高维元数据Micrometer Observation API区分两类数据普通Tag低基数用于指标统计highCardinalityKeyValue高基数数据userId/traceId仅下发链路追踪、日志不进入 Metrics 指标。ObservationobservationObservation.start(http.request,registry);// 高基数数据仅存链路日志不生成指标标签observation.highCardinalityKeyValue(userId,userId);4.4 方案 4MeterFilter 硬上限兜底防护限制单个标签最大取值数量超限直接拒绝注册指标防止内存打爆// http.requests指标下uri标签最多允许100种取值超出直接丢弃指标registry.config().meterFilter(MeterFilter.maximumAllowableTags(http.requests,uri,100,MeterFilter.deny()));可自定义deny逻辑打印限流日志并做告警。5. 生产最佳实践生产环境强制开启检测器测试环境无法复现线上海量请求带来的基数问题使用内置定时轮询持续监控不要只做一次性检测收到告警优先修复标签归一化不要单纯上调阈值掩盖问题集成测试中使用检测器校验自定义埋点提前规避高基数不要依赖检测器做内存泄漏排查它仅识别标签基数问题。
)
