一、引言为什么小文件秒开大文件却卡在 99%在网站测速的日常排查中我们经常会遇到一种极其诡异的现象使用 www.kkce.com 测速时HTML 文档几 KB的 TTFB 极低甚至能达到惊人的 30msCSS 和 JS 文件几百 KB加载也还算流畅。但是当涉及到大尺寸资源——如高清图片、安装包、或者视频文件时下载进度条往往卡在 99%或者干脆超时失败。绝大多数人会本能地怀疑是“带宽跑满”或“服务器磁盘 IO 慢”。然而在排除了这些显而易见的因素后真相往往隐藏在网络层的一个古老而顽固的顽疾上MTU 黑洞MTU Black Hole与路径 MTU 发现PMTUD失效。简单来说你的数据包太大了中间某个网络设备“吞掉”了它却没有告诉发送方“需要分片”。本文将利用 KKCE快快测的Ping、TCPing与MTR功能教你如何通过测速数据反推 MTU 断层的位置并通过内核参数调优彻底根治这种“隐形丢包”。二、MTU 与 MSS数据包的“身高”与“体重”要理解这个问题首先需要厘清两个核心概念MTUMaximum Transmission Unit最大传输单元数据链路层一次能承载的最大数据包大小。以太网标准默认是1500 字节。这 1500 字节包含了 IP 头20字节和 TCP 头20字节。MSSMaximum Segment Size最大分段大小TCP 层能传输的最大数据段大小。它等于 MTU 减去 IP 头和 TCP 头。计算公式MSS MTU - IP_Header(20) - TCP_Header(20)在标准的 1500 MTU 网络中MSS 默认为1460 字节。2.1 路径 MTU 发现PMTUD当数据包要经过不同 MTU 的链路比如从以太网进入 PPPoE 拨号网络MTU 变成 1492或者进入 VPN 隧道MTU 变成 1450PMTUD 机制应运而生。发送方发送一个设置了DFDont Fragment不分片标志位的数据包。如果中间路由器收到的数据包大于其出口 MTU且DF位被设置路由器会丢弃该包。关键步骤路由器会向发送方回一个ICMP Type 3, Code 4目的地不可达需要分片的消息并告知允许的 MTU 大小。发送方的 TCP 协议栈收到这个 ICMP 消息后会动态调整 MSS重新发送合适大小的数据包。2.2 MTU 黑洞的形成MTU 黑洞发生在上述第 3 步失效时防火墙拦截中间网络设备或防火墙出于安全策略防止某些 ICMP 攻击拦截了ICMP Type 3, Code 4消息。后果发送方一直在等 ACK 确认但数据包被中间设备丢弃了且没有任何错误消息返回。发送方误以为网络拥塞不断减小拥塞窗口导致传输速度极慢甚至停滞。KKCE 视角在 KKCE 的MTR结果中你可能会看到前几跳正常中间某一跳之后全部是* * *丢包但这不一定是链路断了很可能是 MTU 黑洞。三、利用 KKCE 进行 MTU 断层定位KKCE 提供了一套完美的工具链来探测这种隐形故障。3.1 Ping 扫射法The Ping Sweep这是定位 MTU 问题的标准做法。打开 www.kkce.com 的“Ping”功能。输入目标服务器 IP。关键在于指定包大小和设置 DF 位如果 KKCE 支持高级选项或者你可以在本地终端ping -M do -s size ip。测试逻辑先 Ping 一个大小为1472的包1472 28 1500。如果通了说明路径 MTU 1500。再 Ping 一个大小为1464的包1464 28 1492PPPoE 常见 MTU。如果不通说明 MTU 小于 1492。逐步缩小范围如 1452 对应 VPN/L2TP。诊断如果1472不通但1464通说明路径上存在 MTU 为 1492 的设备如 PPPoE 拨号。如果1464不通但1400通说明可能经过了 GRE 隧道或 VPN。黑洞证据如果某个大小的包不通且 MTR 显示丢包发生在特定跃点但小包却能通这就是典型的 MTU 黑洞。3.2 TCPing 的辅助验证PingICMP有时会被限速或禁掉此时TCPing更有说服力。原理TCPing 测试的是 TCP 握手包。TCP 握手包本身很小通常小于 MSS所以 TCPing 通常是通的。现象KKCE 的 TCPing 显示 443 端口通延迟正常但网站测速中大文件下载失败。推论这强烈暗示了 PMTUD 失效。小包握手能过大包数据传输被黑洞吞噬。3.3 MTR 的丢包特征在 KKCE 中使用“MTR 路由去程”。特征前几跳如 1-5 跳丢包率为 0%从第 6 跳通常是省级出口或跨境节点开始丢包率突变为 100%全是* * *且后续所有跳数都是 100%。注意这不一定是第 6 跳设备宕机很可能是该设备拦截了 ICMP 差错报文或者该设备之后的链路 MTU 变小导致大包被丢弃。四、解决方案TCP MSS Clamping 与内核调优找到了问题如何解决核心思路是不要让发送方去猜 MTU直接在网关处强制修正 MSS。4.1 TCP MSS Clamping首选方案这是在路由器或防火墙上最常用的技术。它强制修改 TCP 握手过程中的 MSS 值。原理当 SYN 包经过防火墙时防火墙将 TCP 选项中的 MSS 值修改为预设值如 1452这样发送方就会按照这个较小的 MSS 发送数据避免后续出现分片或被丢弃。Linux iptables 示例# 针对转发流量如 VPN 服务器 iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu # 或者直接设置固定值例如针对 PPTP VPN iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --set-mss 1452验证修改后再次使用 KKCE 的网站测速下载大文件观察是否能顺利完成。4.2 调整服务器内核参数如果无法控制中间网络设备可以在源站服务器上调整 TCP 行为。禁用 PMTUD不推荐但可作为临时止血方案让 TCP 不再依赖 ICMP 消息而是自己探测。sysctl -w net.ipv4.ip_no_pmtu_disc1注意这可能导致传输效率下降因为不再发送大包。启用 MSS 自动调整现代 Linux 内核默认支持确保以下参数开启sysctl -w net.ipv4.tcp_mtu_probing1 sysctl -w net.ipv4.tcp_base_mss10244.3 应用层妥协对于某些无法修改网络配置的场景如共享主机可以在 Web 服务器上强制降低 MSS。Nginx虽然 Nginx 不能直接设置 MSS但可以限制sendfile_max_chunk间接影响发送行为。CDN如果你使用了 CDN通常 CDN 厂商会自动处理 MTU 问题。如果问题依旧联系 CDN 厂商检查其边缘节点的 MSS 配置。五、实战一次 VPN 环境下的网站测速排障记录现象某外贸网站服务器在美国国内用户通过 OpenVPN 访问。KKCE 测速显示 HTML 能打开但图片加载极慢。KKCE 诊断Ping 测试Ping 默认大小通Ping-s 1400通Ping-s 1450不通。MTR 测试MTR 显示在穿越 VPN 服务器后的第一跳开始丢包。TCPing 测试TCPing 443 端口通但下载大文件卡死。结论OpenVPN 隧道增加了协议封装开销导致实际 MTU 变小约 1450且 PMTUD 失效ICMP 被拦截。解决方案在 OpenVPN 服务器上配置iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --set-mss 1452。效果再次使用 KKCE 网站测速大文件下载速度恢复正常TTFB 虽略有增加因包数量增多但不再卡顿。六、总结小包通大包堵八成 MTU 在作祟网站测速中的性能问题并不总是关于带宽或 CPU。很多时候阻碍数据流动的仅仅是数据包的“体型”不合适。通过 www.kkce.comKKCE 快快测我们掌握了诊断 MTU 黑洞的利器我们用Ping的包大小测试探测路径的物理极限。我们用MTR的丢包特征定位黑洞的潜伏位置。我们用TCPing的连通性确认 TCP 握手与数据传输的差异。网络箴言不要让数据包去撞南墙。在 KKCE 的 Ping 结果中那个刚好能通过的包大小就是你网络链路真正的 MTU。记住小包能过是大幸大包能过才是硬道理。
一、引言为什么小文件秒开大文件却卡在 99%在网站测速的日常排查中我们经常会遇到一种极其诡异的现象使用 www.kkce.com 测速时HTML 文档几 KB的 TTFB 极低甚至能达到惊人的 30msCSS 和 JS 文件几百 KB加载也还算流畅。但是当涉及到大尺寸资源——如高清图片、安装包、或者视频文件时下载进度条往往卡在 99%或者干脆超时失败。绝大多数人会本能地怀疑是“带宽跑满”或“服务器磁盘 IO 慢”。然而在排除了这些显而易见的因素后真相往往隐藏在网络层的一个古老而顽固的顽疾上MTU 黑洞MTU Black Hole与路径 MTU 发现PMTUD失效。简单来说你的数据包太大了中间某个网络设备“吞掉”了它却没有告诉发送方“需要分片”。本文将利用 KKCE快快测的Ping、TCPing与MTR功能教你如何通过测速数据反推 MTU 断层的位置并通过内核参数调优彻底根治这种“隐形丢包”。二、MTU 与 MSS数据包的“身高”与“体重”要理解这个问题首先需要厘清两个核心概念MTUMaximum Transmission Unit最大传输单元数据链路层一次能承载的最大数据包大小。以太网标准默认是1500 字节。这 1500 字节包含了 IP 头20字节和 TCP 头20字节。MSSMaximum Segment Size最大分段大小TCP 层能传输的最大数据段大小。它等于 MTU 减去 IP 头和 TCP 头。计算公式MSS MTU - IP_Header(20) - TCP_Header(20)在标准的 1500 MTU 网络中MSS 默认为1460 字节。2.1 路径 MTU 发现PMTUD当数据包要经过不同 MTU 的链路比如从以太网进入 PPPoE 拨号网络MTU 变成 1492或者进入 VPN 隧道MTU 变成 1450PMTUD 机制应运而生。发送方发送一个设置了DFDont Fragment不分片标志位的数据包。如果中间路由器收到的数据包大于其出口 MTU且DF位被设置路由器会丢弃该包。关键步骤路由器会向发送方回一个ICMP Type 3, Code 4目的地不可达需要分片的消息并告知允许的 MTU 大小。发送方的 TCP 协议栈收到这个 ICMP 消息后会动态调整 MSS重新发送合适大小的数据包。2.2 MTU 黑洞的形成MTU 黑洞发生在上述第 3 步失效时防火墙拦截中间网络设备或防火墙出于安全策略防止某些 ICMP 攻击拦截了ICMP Type 3, Code 4消息。后果发送方一直在等 ACK 确认但数据包被中间设备丢弃了且没有任何错误消息返回。发送方误以为网络拥塞不断减小拥塞窗口导致传输速度极慢甚至停滞。KKCE 视角在 KKCE 的MTR结果中你可能会看到前几跳正常中间某一跳之后全部是* * *丢包但这不一定是链路断了很可能是 MTU 黑洞。三、利用 KKCE 进行 MTU 断层定位KKCE 提供了一套完美的工具链来探测这种隐形故障。3.1 Ping 扫射法The Ping Sweep这是定位 MTU 问题的标准做法。打开 www.kkce.com 的“Ping”功能。输入目标服务器 IP。关键在于指定包大小和设置 DF 位如果 KKCE 支持高级选项或者你可以在本地终端ping -M do -s size ip。测试逻辑先 Ping 一个大小为1472的包1472 28 1500。如果通了说明路径 MTU 1500。再 Ping 一个大小为1464的包1464 28 1492PPPoE 常见 MTU。如果不通说明 MTU 小于 1492。逐步缩小范围如 1452 对应 VPN/L2TP。诊断如果1472不通但1464通说明路径上存在 MTU 为 1492 的设备如 PPPoE 拨号。如果1464不通但1400通说明可能经过了 GRE 隧道或 VPN。黑洞证据如果某个大小的包不通且 MTR 显示丢包发生在特定跃点但小包却能通这就是典型的 MTU 黑洞。3.2 TCPing 的辅助验证PingICMP有时会被限速或禁掉此时TCPing更有说服力。原理TCPing 测试的是 TCP 握手包。TCP 握手包本身很小通常小于 MSS所以 TCPing 通常是通的。现象KKCE 的 TCPing 显示 443 端口通延迟正常但网站测速中大文件下载失败。推论这强烈暗示了 PMTUD 失效。小包握手能过大包数据传输被黑洞吞噬。3.3 MTR 的丢包特征在 KKCE 中使用“MTR 路由去程”。特征前几跳如 1-5 跳丢包率为 0%从第 6 跳通常是省级出口或跨境节点开始丢包率突变为 100%全是* * *且后续所有跳数都是 100%。注意这不一定是第 6 跳设备宕机很可能是该设备拦截了 ICMP 差错报文或者该设备之后的链路 MTU 变小导致大包被丢弃。四、解决方案TCP MSS Clamping 与内核调优找到了问题如何解决核心思路是不要让发送方去猜 MTU直接在网关处强制修正 MSS。4.1 TCP MSS Clamping首选方案这是在路由器或防火墙上最常用的技术。它强制修改 TCP 握手过程中的 MSS 值。原理当 SYN 包经过防火墙时防火墙将 TCP 选项中的 MSS 值修改为预设值如 1452这样发送方就会按照这个较小的 MSS 发送数据避免后续出现分片或被丢弃。Linux iptables 示例# 针对转发流量如 VPN 服务器 iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu # 或者直接设置固定值例如针对 PPTP VPN iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --set-mss 1452验证修改后再次使用 KKCE 的网站测速下载大文件观察是否能顺利完成。4.2 调整服务器内核参数如果无法控制中间网络设备可以在源站服务器上调整 TCP 行为。禁用 PMTUD不推荐但可作为临时止血方案让 TCP 不再依赖 ICMP 消息而是自己探测。sysctl -w net.ipv4.ip_no_pmtu_disc1注意这可能导致传输效率下降因为不再发送大包。启用 MSS 自动调整现代 Linux 内核默认支持确保以下参数开启sysctl -w net.ipv4.tcp_mtu_probing1 sysctl -w net.ipv4.tcp_base_mss10244.3 应用层妥协对于某些无法修改网络配置的场景如共享主机可以在 Web 服务器上强制降低 MSS。Nginx虽然 Nginx 不能直接设置 MSS但可以限制sendfile_max_chunk间接影响发送行为。CDN如果你使用了 CDN通常 CDN 厂商会自动处理 MTU 问题。如果问题依旧联系 CDN 厂商检查其边缘节点的 MSS 配置。五、实战一次 VPN 环境下的网站测速排障记录现象某外贸网站服务器在美国国内用户通过 OpenVPN 访问。KKCE 测速显示 HTML 能打开但图片加载极慢。KKCE 诊断Ping 测试Ping 默认大小通Ping-s 1400通Ping-s 1450不通。MTR 测试MTR 显示在穿越 VPN 服务器后的第一跳开始丢包。TCPing 测试TCPing 443 端口通但下载大文件卡死。结论OpenVPN 隧道增加了协议封装开销导致实际 MTU 变小约 1450且 PMTUD 失效ICMP 被拦截。解决方案在 OpenVPN 服务器上配置iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --set-mss 1452。效果再次使用 KKCE 网站测速大文件下载速度恢复正常TTFB 虽略有增加因包数量增多但不再卡顿。六、总结小包通大包堵八成 MTU 在作祟网站测速中的性能问题并不总是关于带宽或 CPU。很多时候阻碍数据流动的仅仅是数据包的“体型”不合适。通过 www.kkce.comKKCE 快快测我们掌握了诊断 MTU 黑洞的利器我们用Ping的包大小测试探测路径的物理极限。我们用MTR的丢包特征定位黑洞的潜伏位置。我们用TCPing的连通性确认 TCP 握手与数据传输的差异。网络箴言不要让数据包去撞南墙。在 KKCE 的 Ping 结果中那个刚好能通过的包大小就是你网络链路真正的 MTU。记住小包能过是大幸大包能过才是硬道理。
)
