ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

coreHD算法

coreHD算法 一、基本信息完整记录内容标题英文Fast and simple decycling and dismantling of networks 中文快速简洁的网络去环与网络拆解算法作者Lenka Zdeborová、Pan Zhang张攀、Hai-Jun Zhou周海军三人同等贡献通讯作者张攀期刊Scientific ReportsNature 子刊2016 年卷 6文章编号 37954DOI10.1038/srep37954时间2016.08.16 收稿2016.11.02 录用2016.11.29 在线发表论文类型算法实验类论文网络科学、统计物理交叉单位法国巴黎萨克雷理论物理所、中科院理论物理所二、研究问题本文要解决的核心痛点1. 两大基础 NP 难优化问题网络去环 Decycling移除最少节点使剩余网络无环纯森林网络拆解 Dismantling移除最少节点将原图拆分为大量极小连通分量单分量规模0.01N。2. 现有方案存在两类关键痛点1高精度算法BPD 置信传播迭代效果逼近理论最优但依赖自旋玻璃理论、迭代全局网络、计算极慢亿级网络运行数十小时门槛高、难以工程落地2简易贪心算法HD 全局删大度节点、CI 集体影响力实现简单但求解效果远差于最优值CI 还需要遍历大范围邻域计算开销依旧偏高。3. 本文目标设计一套极简、超高速、精度逼近最优的启发式算法 CoreHD兼顾理论可分析性与工程实用性适配数十亿节点超大规模网络快速评估网络免疫、信息阻断等场景的拆解方案可行性。三、研究背景前人成果 现存缺陷一前人已有主流方法基础贪心 HD每轮全局删除当前度数最高节点实现最简单但大量高次节点位于无环树分支删除无意义冗余删点多CI 集体影响力算法通过节点大范围邻域计算影响力得分针对性筛选传播关键节点曾被领域寄予厚望【计算邻域代价高、速度慢】BPD 置信传播消元SOTA 基准基于自旋玻璃复本对称理论全局迭代消息传递方程在稀疏随机网络上性能无限逼近理论下界是目前精度最高方案。二现有方法共性缺陷BPD全局迭代、理论门槛高、计算耗时极长仅在局部树状随机图有理论保证无法严格分析带大量短环的真实网络CI精度距离最优差距大计算邻域得分带来额外开销速度不及简易贪心HD忽略环结构仅全局删点冗余删除多求解效率极低空白缺少同时满足「代码极简、线性复杂度、精度接近 BPD、可严格数学分析」的通用算法。三研究动机实际业务中需要快速验证拆解策略是否有效BPD 太慢、HD/CI 精度不足因此提出聚焦网络 2 - 核的 CoreHD 算法填补空白。四、研究方法CoreHD 算法 全套实验设计1. 核心创新CoreHD 算法原理核心设计思路HD 直接在全图删点大量高次节点属于悬挂树不在环内删除无价值2 - 核是移除所有叶子节点后剩余的含环子图仅在 2 - 核内迭代删最大度节点精准锁定环结构消除无效删除。提取原图 2 - 核仅计算节点在 2 - 核内部的有效度数Algorithm 1 完整步骤一、核心定义2-core反复删除叶子节点度数 1直到图里再也没有度数为 1 的点剩下的所有节点就是 2-core 节点2-core 里每个节点内部度数≥2所有环路都在 2-core 里。二、完整标准计算步骤手动能算代码也能直接实现输入整张图的邻接表每个节点记录当前度数第一步找出所有叶子节点遍历全部节点收集当前度数 1 的节点放入待删除队列。第二步循环删除叶子、更新邻居度数当队列不为空时取出一个叶子节点 u标记为非 2-core 节点找到 u 唯一相连的邻居 v把 v 的当前度数 -1如果 v 更新后度数变成 1说明 v 现在是新叶子加入待删除队列彻底移除节点 u 和它的边。第三步遍历结束剩余节点即为 2-core队列清空后图中剩下的每一个节点当前度数都≥2全部是 2-core 节点。三、举个极简例子构造网络环A-B-C-A3 个点每个度数 2悬挂树枝A 连 DD 连 ED 度数 2E 度数 1初始度数A3B2C2D2E1第一轮叶子E度数 1删除 E邻居 D 度数从 2→1D 变成新叶子入队第二轮处理 D删除 D邻居 A 度数从 3→2队列为空剩下 A、B、C这三个就是 2-core 节点D、E 被剔除。 完美对应前文树枝 DE 无环不属于 2-core环 ABC 全部留在 2-core。删除 A 后(选择删除最大的度的2-core中的节点)原图只剩 B-C二者度数都变成 1重新计算 2-core 反复删度数 1 的叶子B、C 全部被剔除新 2-core 为空【注意重新调整】触发终止条件循环结束网络只剩 B-C 一条链纯树无环去环完成。四、关键补充说明度数只看当前剩余图每次删点后实时更新度数不是原始静态度数时间复杂度极低 O (NM)只遍历所有节点、边一次稀疏大图计算速度极快这也是 CoreHD 速度快的根本原因推广到 k-core同理k-core 就是反复删除度数k 的节点本文只用到 k2 的情况和 CoreHD 的关联 CoreHD 每删一个 2-core 内节点后会重新执行这套流程刷新 2-core保证后续只在环结构里删点。5.选出 2 - 核内度数最大节点多节点并列则随机选取6.删除选中的度数最大的节点7.动态更新 2 - 核结构与内部节点度数8.重新开始删除度数为1的节点在2 - 核中添加有效度数的节点9.若 2 - 核为空剩余网络是森林完成去环否则循环步骤 210.网络拆解拓展去环完成后执行树拆分对多短环真实网络执行节点回插优化插入不扩大最大连通分量的已删节点进一步缩减解集规模。11.在完成去环后后续要执行tree breaking的策略使用贪心的算法看移除哪些节点能够最快速的然后最低成本的达到拆解目标。可拓展性思路可直接推广至 k - 核摧毁在 k - 核内部迭代删除最高度节点。2. 对比基线算法HD全局删大度、CI₄集体影响力、BPD置信传播消元最优基准。3. 实验数据集分类1随机网络ER 随机图、正则随机图、无标度网络γ3真实网络通用重尾度分布2真实世界网络道路、社交、蛋白质互作、网页、互联网、引文、P2P 等 12 类真实网络节点规模 1k~160 万。4. 评价指标精度指标\(\rho\)完成去环 / 拆解所需删除节点占总节点比例\(\rho\)越小效果越好效率指标算法运行时间秒结构观测指标最大连通分量 LCC 占比、2 - 核节点占比 q。去环与网络拆解的区别去环 Decycling是拆光所有闭环网络拆解 Dismantling是把大网络碎成互不连通的小块环路是 “传播放大器”有环的网络里信息 / 病毒 / 谣言可以无限循环传递环路就是传播的循环通道去掉环就能从根源切断持续扩散。五、主要结果按原文图表顺序逐条解读图 1ER 随机网络 N50000平均度 c3.5 对比图1 LCC与2-核占比随删点比例变化左图LCC 最大连通分量 CoreHD 仅需删除 0.1846 比例节点即可完成拆解CI 需 0.2014HD 需 0.2225仅略差于 BPD 的 0.1780逼近理论最优 0.1753 CoreHD 存在一阶相变ρdec0.1831时 LCC 断崖式下降其余算法 LCC 连续衰减右图2 - 核节点占比 q CoreHD 在\(\rho0.1831\)时 q 直接归零网络完全无环HD/CI/BPD 直至拆解完成仍保留大量 2 - 核节点百万节点 ER 网络验证去环与拆解的\(\rho\)均稳定为 0.18304 位有效数字无差异优于同期其他复杂算法。一阶相变 突变、断崖式下跌、不连续变化对比二阶相变 平缓、慢慢下降、连续变化图 2ER 网络 c3算法规模 - 时间 / 规模 - 精度曲线图2 运行时间、删除比例随网络规模变化A 子图运行时间 T - 节点数 N粉色方块 CoreHD 增速远低于蓝色 BPD、灰色 CIN2×10⁸巨型网络CoreHD 耗时 64 分钟BPD 耗时 23.5 小时CoreHD 速度甚至快于读取图文件的耗时B 子图删除比例 ρ-N 随网络规模增大CoreHD 结果快速收敛至理论最优虚线与 BPD 差距极小CI 始终大幅偏离最优。图 3三类随机网络通用测试覆盖 ER、正则随机图、无标度网络所有场景下 CoreHD 效果优于 CI、略逊 BPD无标度网络表现最优现实网络几乎均为重尾度分布工程价值极高。图 4悬挂树示意图算法动机示意图直观解释 HD/CI 缺陷高次节点位于无环悬挂树不属于 2 - 核删除无意义CoreHD 仅聚焦 2 - 核规避该问题。表 112 类真实网络量化对比精度CoreHD 解集规模与 BPD 几乎持平RoadEU、IntNet1、RoadTX 等路网中 CoreHD 效果小幅超越 BPDCI 所需删除节点数量远高于二者速度CoreHD 耗时仅零点几秒至数千秒BPD、CI 耗时高出几十至数千倍百万级网络差距极其显著。额外解集特性最优拆解解集高度简并CoreHD 不同随机初始化得到的两组解集仅 74% 节点重合证明网络拆解不是筛选少量超级传播节点而是全局高度关联的节点组合选择问题。六、核心结论作者原文客观结论不含主观评价算法性能结论CoreHD 仅迭代删除 2 - 核内最高度节点实现远超 HD、CI 的求解精度在无标度、真实网络上与 SOTA 消息传递 BPD 几乎持平部分真实网络甚至小幅优于 BPD在 3 - 正则随机图可达到理论精确最优去环比例\(\rho0.25\)。计算效率结论2 - 核提取为\(O(N)\)线性复杂度删点后更新 2 - 核平均\(O(1)\)CoreHD 速度远超 BPD、CI超大规模网络运行时间短于读取图文件耗时可支撑数十亿节点网络。理论与拓展结论CoreHD 结构简单有潜力对带大量短环的真实网络做严格数学分析BPD 无法实现算法可自然推广至 k - 核摧毁任务。工程应用结论在网络去环、网络拆解的绝大多数落地场景中CoreHD 应当作为首选算法快速评估最优免疫、信息阻断、网络攻击等策略可行性。机理结论网络拆解不存在单一 “关键超级节点”最优解集是大量高度关联节点的组合不同近似最优解存在显著差异。七、局限与不足1. 作者在 Discussion 章节提出的局限本文未严格数学证明 CoreHD 性能逼近最优的内在机理最优策略背后的理论解释留待后续研究现实网络存在大量局部模体、短环CoreHD 未专门针对局部环状结构优化k - 核摧毁的拓展算法仅提出思路完整对比实验尚未完成。2. 读者自主挖掘的隐性缺陷仍为启发式近似算法无法给出精确最优解稀疏随机图上精度略低于 BPD节点并列最大度时随机选择结果存在随机性解集不唯一实验仅覆盖随机图与公开静态真实网络未测试时序动态网络、多层耦合网络针对稠密网络性能未单独验证2 - 核占比高时效率优势会削弱。八、对我的启发方法、写作、课题拓展、避坑1. 方法启发网络优化类算法可结合核分解k-core前置筛选核心结构过滤外围无效节点同时提升精度与速度无需复杂物理迭代基于拓扑分层2 - 核的简单贪心即可实现接近 SOTA 的效果适合工程落地大规模网络实验必须同时对比精度 运行时间双指标不能只看效果忽略计算开销可以考虑通过2-core方法得到有环图在环图的基础上提升去环效率2. 写作启发行文逻辑先定义基础问题→梳理现有算法优缺点→提出极简创新方案→分随机 / 真实网络分层验证→讨论局限与拓展层次清晰图表设计分图分别展示相变现象、规模扩展性、多类型网络通用性表格落地真实工程数据定量直观创新论证不单纯对比指标补充物理相变、结构原理解释从机理层面证明算法合理性。3. 课题拓展启发针对多层 / 时序网络可将 CoreHD 拓展至多层 2 - 核、时序动态核分解结合因子图处理真实网络大量短环、局部模体进一步提升 CoreHD 精度基于 CoreHD 思路设计 k - 核摧毁专用快速算法完善对比实验对 CoreHD 做严格数学理论分析给出精度上界 / 下界证明。4. 避坑启发仅全局贪心删大度节点HD会产生大量冗余删除不能直接用于网络拆解高精度消息传递算法 BPD 计算成本极高不适合十亿级超大网络工程场景评估网络拆解算法必须同时验证随机网络与真实网络仅随机图的结论不具备落地价值不能默认存在唯一一组最优关键节点解集高度简并是网络优化问题普遍特性。
返回列表