视频生成模型的训练和推理成本很大一部分来自注意力机制。当我们把一段视频切分成数万个 token 后传统全局注意力会让每个 token 都去和所有 token 计算关系复杂度是 O(N²)——视频越长、分辨率越高这个 N 越大计算量和显存占用就越让人头疼。Token Radius AttentionToken 半径注意力是缓解这个问题的思路之一不让每个 token 关注全部空间和时间位置的 token而是只关注以它为中心、半径范围内的邻居 token。这样可以把注意力复杂度从 O(N²) 降到接近 O(N × K)其中 K 是固定半径内的 token 数。这篇文章会先讲清楚视频生成里注意力计算为什么昂贵然后解释 Token Radius Attention 的核心思想和数学背景再给出一个基于 PyTorch 的最小实现最后聊一聊实际工程中容易踩的坑和最佳实践。无论你是刚接触视频生成还是想在现有模型里做注意力加速优化这篇文章都能提供一个可落地的起点。1. 视频生成中注意力机制的计算瓶颈1.1 视频 token 的数量到底有多大理解 Token Radius Attention 之前需要先想清楚一个事情视频生成时Transformer 吃进去的 token 数量是什么量级。以常见的视频生成流程为例。一段视频包含 T 帧每帧经过空间下采样后变成 H × W 的特征图。如果按 patch 切分假设每个 patch 对应 16×16 像素区域那么在时间维上还会继续细分。最终送入 Attention 层的 token 数量大约是N T × H × W举例说明一段 16 帧、每帧 256×256 分辨率的视频按 16×16 patch 切分后每帧有 16×16 256 个 token16 帧就是 4096 个 token。这看起来不大但如果分辨率提升到 512×512帧数增加到 32token 数就到了 32768。视频生成模型常用多层 Transformer 堆叠每一层都要做多头注意力。假设模型有 24 层、12 个头每个 head 都要计算一个 32768 × 32768 的注意力矩阵——光存储这一个矩阵就超过 10 GB 浮点数。这还没算计算量所以训练时会发现显存根本不够用。1.2 全局注意力的复杂度问题标准 Attention 的计算公式是Attention(Q, K, V) softmax(QK^T / sqrt(d)) VQ、K、V 的尺寸都是 N × d其中 d 是每个 token 的特征维度。QK^T 得到的是一个 N × N 的注意力分数矩阵。这个 N × N 矩阵带来了两个问题计算复杂度是 O(N²)N 增大时计算量呈平方级增长。内存复杂度同样是 O(N²)注意力分数矩阵需要被完整保存才能在反向传播时计算梯度。对于图像来说256×256 分辨率切 patch 后 token 数在 256 左右O(N²) 还能接受。但视频多了一个时间维度token 数轻松破万O(N²) 就变成了模型训练和推理的主要瓶颈。这里真正关键的一点是视频帧之间的相邻区域通常高度相关。当前帧的某个 patch在下一帧同样位置附近的 patch大概率是最需要关注的。如果硬要让它去关注十几帧之前、画面另一侧的 token不仅计算浪费还可能引入噪声。这就为局部注意力包括 Token Radius Attention提供了合理性。1.3 现有加速方案的边界业界已经有多种缓解 Attention 计算压力的方案典型的有方案核心思想优点局限稀疏注意力允许部分 token 对之间不计算注意力减少计算量手工设计稀疏模式通用性受限线性注意力用核函数近似替代 softmax 中的指数计算复杂度降到线性表达能力和精度可能下降FlashAttention通过分块计算和 IO 优化减少显存读写不改变结果仍需计算全部 token 对窗口注意力每个 token 只关注局部窗口内 token复杂度可控窗口外信息完全丢失Token Radius Attention 可以理解为稀疏注意力和窗口注意力的结合它根据 token 在时空网格中的位置只保留半径范围内的注意力连接。相比固定窗口它用“半径”这个概念更灵活地控制每个 token 的注意力范围也更贴近视频时空连续性这一先验知识。2. Token Radius Attention 的核心概念与原理2.1 从“每个 token 都看所有 token”到“只看半径范围”传统 Transformer 的 attention 中所有 token 两两计算相关性。Token Radius Attention 做了一个很直接的约束对于位置为 (t, h, w) 的 token 只和满足 |t - t| radius_t、 |h - h| radius_h、 |w - w| radius_w 的 token 计算注意力。从材料看这个设计至少有两个明显好处计算量可控。半径固定时每个 token 参与计算的数量是有上限的总复杂度从 O(N²) 降到 O(N × K)K 是固定值。符合视频的时空局部性。视频中的运动往往是连续的当前区域和邻近区域的相关性最强远距离区域的相关性较弱。限制注意力范围不会显著损失画质却可以换来大幅的效率提升。2.2 “半径”具体指什么Radius半径可以有多重定义方式。最直观的是在三维时空网格中定义欧几里得距离或曼哈顿距离。但工程实现上通常直接按坐标差来约束|t - t| r_t |h - h| r_h |w - w| r_w其中 r_t 是时间维度的半径r_h 和 r_w 是空间维度的半径。三个维度可以使用不同的半径值因为视频在时间维和空间维的相关性规律是不同的。也可以使用更简单的“半径”定义方式每个 token 只关注一个以它为中心的立方体区域称为立方体窗口cubic window。这与 Swin Transformer 的 3D Window Attention 思想接近但 Token Radius Attention 更强调用“半径”这种参数化的方式来控制范围从而在效率和质量之间做连续调节。2.3 关键参数半径、窗口大小和 token 长度实际工程中有几个参数需要重点理解radius_t时间半径。它决定当前 token 能“看到”前后几帧。时间半径越大模型越容易捕捉运动信息但计算量也越大。radius_h、radius_w空间半径。它们决定当前 token 在单帧内能关注多大邻域。window_size窗口大小通常定义为(2*radius_t1, 2*radius_h1, 2*radius_w1)。很多实现直接以 window_size 为参数而不是使用 radius。stride窗口移动步长。如果窗口重叠每个 token 可能出现在多个窗口中如果不重叠则类似分块处理。在工程落地时很多框架会直接让用户配置window_size例如(2, 4, 4)然后由代码转换为对应的 radius。这样做的好处是窗口大小和 patch 尺寸的语义更直观。2.4 注意力掩码Attention Mask的作用Token Radius Attention 的实现路径通常有两种。第一种是生成一个稀疏注意力掩码mask把标准 Attention 中不需要计算的位置置为负无穷。这种做法的优点是能够复用现有 Attention 的实现不需要重新写算子缺点是掩码矩阵的大小仍然可能是 N × N空间复杂度没有降下来。不过实际使用时不会显式创建完整掩码而是构建稀疏索引。第二种是直接按索引提取局部 token 块只在这些小块内计算 Attention。这一步通常需要自定义 CUDA 算子或者用 PyTorch 的torch.narrow、unfold、as_strided等操作实现。优点是真正的计算量降低缺点是实现复杂度高。在原型验证阶段推荐先使用“分组窗口 标准 Attention 函数”的方式把每个窗口内的 token 组合成一个小 batch对每个窗口计算 attention。这样代码简单、理解清晰也和 Token Radius Attention 的语义完全一致。3. Token Radius Attention 的设计思路与工程选型3.1 时间维度和空间维度分别处理视频 token 的三维结构带来了一个优势时间维和空间维可以被分开处理。一种做法是时间维和空间维使用相同的半径实现最简单的 3D 窗口注意力。另一种做法是使用所谓的“分离式注意力”先做时间维度的局部注意力只关注相邻帧再做空间维度的局部注意力只关注单帧内邻域。分离式注意力的好处是计算量更低、实现更简单在很多视频模型中已经有成熟实践。Token Radius Attention 作为通用概念两种做法都算。如果你要实现这套机制建议从“空间维度局部注意力 时间维度全局注意力”这种混合模式起步。原因是视频生成时单帧内部的空间结构重要性更高而时间维度的连续性可以通过移动motion信息来捕捉。先固定空间半径时间半径调大一些通常质量损失更小。3.2 全局和局部信息如何平衡纯局部注意力有一个潜在风险长距离依赖彻底丢失。比如一个物体在第 1 帧出现、第 16 帧才重新出现如果时间半径只有 4模型就看不到这种长距离关联。工程上的折中方案有很多在部分层用全局注意力部分层用 Token Radius Attention。每隔 N 层插入一个全局注意力层用于恢复长距离信息。使用全局 token如 CLS token 或额外学习的 token让它和所有 token 计算注意力再把信息传播给局部注意力层。从实践角度来看我并不建议把模型所有层的注意力都替换成局部注意力。更好的做法是借鉴视频 Transformer 里常见的分层设计浅层用局部注意力捕捉细节和运动深层用全局注意力建模语义。这样既能享受 Token Radius Attention 的效率收益又不会让模型变成“近视眼”。3.3 与 3D Swin、FlashAttention 的关系如果读者熟悉 Swin Transformer会发现 Token Radius Attention 和 3D Swin 的 Window Attention 非常像。两者确实同属于局部注意力家族。区别在于3D Swin 通常有一套完整的层级设计包括窗口移动shift、跨窗口连接等。Token Radius Attention 更关注“给定半径后如何高效计算注意力”这个通用问题不强行要求窗口移位。FlashAttention 则是一个底层加速技术。它通过分块计算、避免把完整 N×N 注意力矩阵写入显存来提升性能。Token Radius Attention 可以和 FlashAttention 结合在局部窗口内调用 FlashAttention 进行注意力计算两者并不冲突。3.4 使用场景训练 vs 推理Token Radius Attention 有一个容易被忽略的优点它不仅降低训练显存也降低推理延迟。视频生成的推理阶段通常也是逐帧或逐块生成局部注意力天然适合这种渐进式生成方式。在推理时新生成的帧只需要和半径范围内的历史帧做注意力计算不需要重新计算整段视频的注意力这会带来非常可观的推理加速。不过要注意训练和推理如果都使用同一半径可能会出现分布不一致的问题。如果训练时使用大半径、推理时为了加速改用小半径模型效果可能会明显下降。建议在确定半径后训练和推理保持一致或者专门做半径变化时的微调。4. 环境准备与原型代码结构4.1 Python 环境与依赖实现一个 Token Radius Attention 原型环境不需要很复杂。以下依赖就足够Python 3.9PyTorch 1.13 或更高版本建议 2.0因为对 FlashAttention 支持更好einops用于简化张量维度变换可选xformers用于快速注意力算子安装命令示例pip install torch einops # 如果需要 xformers再执行 # pip install xformers4.2 原型代码的核心模块划分实现时建议拆成四个模块这样逻辑清晰也方便以后替换为更高效的算子模块职责embedding.py把视频帧切分为 patch 并转换为 tokenradius_index.py根据半径计算每个 token 应关注的邻居索引attention.py在局部窗口内执行多头注意力计算test_radius_attention.py验证计算正确性和效率对比下面依次说明每个模块的设计。5. 完整示例从 patch 化到 Token Radius Attention5.1 第一步视频 patch 化与 token 生成视频输入一般是形状为[B, T, C, H, W]的张量其中 B 是 batch sizeT 是帧数C 是通道数H 和 W 是空间尺寸。我们要把它切分成 patch并映射成 token 序列。这里使用一个简单的卷积操作实现 patch embedding类似 ViT 的做法# 文件路径embedding.py import torch import torch.nn as nn from einops import rearrange class VideoPatchEmbed(nn.Module): def __init__( self, in_channels: int 3, embed_dim: int 384, patch_size: tuple (1, 16, 16), ): super().__init__() self.patch_size patch_size self.proj nn.Conv3d( in_channelsin_channels, out_channelsembed_dim, kernel_sizepatch_size, stridepatch_size, ) def forward(self, x: torch.Tensor) - torch.Tensor: x: [B, T, C, H, W] return: [B, N, D]N T * H * W # [B, C, T, H, W] - [B, D, T, H, W] x self.proj(x) x rearrange(x, b d t h w - b (t h w) d) return x这里的patch_size设置为(1, 16, 16)意思是时间维不压缩空间维每 16×16 像素合成一个 token。实际任务中也可以把时间维的 patch size 设为 2 或 4减少时间维 token 数。5.2 第二步根据半径生成局部索引这一步是 Token Radius Attention 的核心。我们需要根据每个 token 的(t, h, w)坐标生成它应该关注的邻居 token 索引列表。高效的做法不是在运行时分发循环而是预先计算neighbor_indices。我们用一个函数实现# 文件路径radius_index.py import torch def build_radius_neighbor_indices( T: int, H: int, W: int, radius_t: int, radius_h: int, radius_w: int, self_included: bool True, ) - torch.LongTensor: 为每个 token 计算半径范围内的邻居索引。 返回 neighbor_indices: [N, K] 的 LongTensor 其中 N T * H * WK 是每个 token 的邻居数量。 coords [] for t in range(T): for h in range(H): for w in range(W): coords.append((t, h, w)) neighbor_indices [] for idx, (t, h, w) in enumerate(coords): neighbors [] for t2 in range(max(0, t - radius_t), min(T, t radius_t 1)): for h2 in range(max(0, h - radius_h), min(H, h radius_h 1)): for w2 in range(max(0, w - radius_w), min(W, w radius_w 1)): if not self_included and (t2 t and h2 h and w2 w): continue # 将坐标转回一维 token id nid t2 * H * W h2 * W w2 neighbors.append(nid) neighbor_indices.append(neighbors) # 由于边界处邻居数量不同需要按最大长度填充 max_len max(len(n) for n in neighbor_indices) padded [n [n[0]] * (max_len - len(n)) for n in neighbor_indices] return torch.tensor(padded, dtypetorch.long)这段代码有一个明显的性能问题双重循环在 token 数很多时会非常慢。它只适合原型验证或小规模测试。生产实现应该用网格坐标直接计算偏移量或者使用torch.nn.functional.unfold这类向量化操作。这一点我会在第 8 节里详细说明。5.3 第三步Token Radius Attention 模块有了邻居索引之后注意力计算就变成“索引 窗口内标准 attention”。# 文件路径attention.py import torch import torch.nn as nn from einops import rearrange class TokenRadiusAttention(nn.Module): def __init__( self, dim: int, num_heads: int 8, radius_t: int 1, radius_h: int 2, radius_w: int 2, ): super().__init__() self.dim dim self.num_heads num_heads self.radius_t radius_t self.radius_h radius_h self.radius_w radius_w self.head_dim dim // num_heads self.qkv nn.Linear(dim, dim * 3) self.proj nn.Linear(dim, dim) def forward( self, x: torch.Tensor, neighbor_indices: torch.LongTensor, ) - torch.Tensor: x: [B, N, D] neighbor_indices: [N, K] return: [B, N, D] B, N, D x.shape K neighbor_indices.shape[1] # 将 neighbor_indices 放到 x 的 device 上 neighbor_indices neighbor_indices.to(x.device) # 从 x 中收集每个 token 的邻居向量 # gather 后形状为 [B, N, K, D] x_neighbor x[:, neighbor_indices, :] # [B, N, K, D] # 生成 QKV qkv self.qkv(x) # [B, N, 3*D] qkv_neighbor self.qkv(x_neighbor) # [B, N, K, 3*D] # 拆成 Q、K、V q qkv[:, :, : self.dim].unsqueeze(2) # [B, N, 1, D] k qkv_neighbor[..., : self.dim] # [B, N, K, D] v qkv_neighbor[..., self.dim :] # [B, N, K, D] # 按 multi-head 重排 q rearrange(q, b n 1 (h d) - b h n 1 d, hself.num_heads) k rearrange(k, b n k (h d) - b h n k d, hself.num_heads) v rearrange(v, b n k (h d) - b h n k d, hself.num_heads) # 缩放点积注意力只计算局部范围 attn (q * k).sum(-1) / (self.head_dim**0.5) # [B, h, N, 1, K] attn attn.softmax(dim-1) out (attn.unsqueeze(-1) * v).sum(dim-2) # [B, h, N, 1, d] out rearrange(out, b h n 1 d - b n (h d)) return self.proj(out)这段代码有一个值得说明的点我没有对邻居索引做 mask 填充处理而是直接把填充部分也参与了计算。实际使用时应根据neighbor_indices里的 padding 标记把填充位置的注意力分数设为负无穷。读者可以在上面代码的softmax之前加入掩码处理。5.4 完整的测试脚本为了快速验证模块能否跑通以及计算复杂度是否符合预期可以写一个简单的测试脚本# 文件路径test_radius_attention.py import time import torch from embedding import VideoPatchEmbed from radius_index import build_radius_neighbor_indices from attention import TokenRadiusAttention def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) print(fUsing device: {device}) # 模拟一段 8 帧、112x112 的视频 B, T, C, H, W 2, 8, 3, 112, 112 x torch.randn(B, T, C, H, W, devicedevice) # 1. patch embedding embedder VideoPatchEmbed(in_channelsC, embed_dim384, patch_size(1, 16, 16)) tokens embedder(x) B, N, D tokens.shape print(fToken shape: {tokens.shape}, N {N}) # 还原网格尺寸 T_grid T H_grid H // 16 # 7 W_grid W // 16 # 7 # 2. 构建邻居索引 neighbor_indices build_radius_neighbor_indices( T_grid, H_grid, W_grid, radius_t1, radius_h1, radius_w1, ) print(fNeighbor indices shape: {neighbor_indices.shape}) # 3. 执行 Token Radius Attention model TokenRadiusAttention( dim384, num_heads6, radius_t1, radius_h1, radius_w1, ).to(device) start time.time() output model(tokens, neighbor_indices) torch.cuda.synchronize() if device.type cuda else None elapsed time.time() - start print(fOutput shape: {output.shape}) print(fForward time: {elapsed:.4f} s) if __name__ __main__: main()运行方式python test_radius_attention.py如果输出中能看到Token shape: [2, 392, 384]且前向计算没有报错说明流程已经跑通。注意到 8×7×7 392 个 token而每个 token 的邻居在四维半径都为 1 时最多是 3×3×3 27 个所以实际计算的注意力规模远小于 392×392。6. 运行结果分析与效率验证6.1 如何判断实现是否正确判断注意力实现是否正确一般看两点输出形状是否正确。输入是[B, N, D]输出也应该是[B, N, D]。注意力分数的分布是否合理。你可以把attn打印出来检查 softmax 之后每一行的和是否等于 1。前面代码中attn.softmax(dim-1)已经保证了第二点但如果你之后加入了 padding mask要在验证时单独检查 padding 位置。6.2 与全局注意力的显存和速度对比一个简单的对比方式是写两个模型一个使用nn.MultiheadAttention做全局注意力另一个使用上面的TokenRadiusAttention然后测量相同输入下的显存占用和前向耗时。# 简易对比脚本片段 import torch.nn as nn global_model nn.MultiheadAttention( embed_dim384, num_heads6, batch_firstTrue, ).to(device) radius_model TokenRadiusAttention( dim384, num_heads6, radius_t1, radius_h1, radius_w1, ).to(device) # 使用同一输入 tokens # 分别计时并记录 torch.cuda.max_memory_allocated从直觉上看当 N 392 时全局注意力的 N² 153664而半径注意力的有效计算量是 N × K 392 × 27 ≈ 10584只有前者的约 1/15。在更大分辨率下这个差距会更明显。这里要提醒这种简单实现的 Token Radius Attention 因为使用了 gather 操作实际速度可能并不比 FlashAttention 快。真正的高效实现需要把局部注意力写成 CUDA 算子或使用经过优化的窗口注意力实现。原型代码的意义是验证思路而不是做性能基准。6.3 如何验证视频生成质量没有明显下降效率提升了但质量不能丢。在真实视频生成任务中验证质量受不受到影响通常需要在相同训练配置下分别用全局注意力和 Token Radius Attention 训练模型。使用 FVDFréchet Video Distance或 FID 等指标对比生成质量。人工观察生成视频的运动连贯性和细节纹理。如果你只是做小规模实验可以先看单帧图像的 FID 和相邻帧之间的光流一致性。光流一致性可以反映时间维是否连贯是视频生成质量的重要判断依据。7. 常见问题与排查方法7.1 边界 token 的邻居数不一致怎么办这是局部注意力最常见的问题。视频边缘位置的 token 没有足够多的邻居导致不同 token 的 K 值不同。解决办法有三种Padding 补零在边缘补虚拟 token让邻居数一致。按 token 位置生成 maskpadding 位置不参与注意力计算。使用环形 padding让边界 token 与对侧 token 连接通常用于空间维但对视频任务不推荐。最稳妥的是第二种。在build_radius_neighbor_indices中为每个 token 记录一个 mask 表示哪些邻居是有效的然后在softmax前把无效位置设为-inf。7.2 速度没提升甚至更慢了前面已经提到这是原型实现最容易出现的问题。原因基本是使用gather或逐 token 循环导致访存开销过大。没有利用向量化操作。邻居索引在 GPU 和 CPU 之间频繁拷贝。小规模数据下额外开销大于省下的计算量。排查时先看 kernel 时间分布确认瓶颈在 gather 还是 attention。如果 gather 占了大头尝试用unfold或as_strided实现窗口提取或者直接使用 xformers 之类的库。下表列出了常见的报错和解决方向问题现象可能原因排查方式解决方案显存溢出OOM邻居索引过大或 batch size 过大查看torch.cuda.max_memory_allocated减小半径或 batch size使用混合精度训练和推理效果不一致推理时改了半径或窗口大小对比训练和推理配置保持半径一致或做少量微调attention 分数全为 0mask 设置错误或 padding 位置参与计算打印 attention 分数分布检查 mask 和 softmax 前的-inf设置边界 token 特征异常边界邻居数不足且无 padding 掩码可视化边界 token 的注意力输出加入有效邻居掩码模型收敛变慢局部注意力导致长距离信息缺失观察 loss 曲线和验证集指标每隔若干层加一个全局注意力层7.3 OOM 后如何快速定位如果 OOM 发生在加入 Token Radius Attention 之后顺序排查减少 batch size看是否缓解。检查neighbor_indices张量是否被反复创建。确认梯度是否被正确裁剪。用一个很小的输入比如 2×2×2 网格逐步增加规模找到内存突增的临界点。7.4 注意力可视化发现模型只看局部这可能不是 bug而是设计预期。Token Radius Attention 本意就是让模型优先关注局部。但如果模型完全失去了全局感知能力视频会出现“前后景不一致”或“物体突然消失”的问题。应对办法在特定层加入全局注意力。实践中最简单的做法是每 4 层把 radius 调大一倍或者在最后两层使用全局注意力就能较好地恢复全局信息。8. 最佳实践与工程建议8.1 先用小半径跑通再逐步扩大不要一上来就追求大半径。先用radius_t1, radius_h1, radius_w1这种最小配置跑通训练流程确认代码正确、loss 正常下降后再逐步增加半径观察效果和效率之间的平衡曲线。这么做的好处是定位问题更简单。当模型效果不好时如果半径很小你首先会怀疑“是不是局部信息不够”如果一开始就用了大半径问题可能会让人误判成模型结构的问题。8.2 正确设计掩码和索引原型代码使用了二维 mask 或填充但生产实现要尽量规避显式的邻居索引表使用分组操作替代索引把 token 重排成窗口块windowed rearrangement再在窗口内做标准 attention。使用 mask 广播先构造一个[N, N]的稀疏布尔掩码再转换为稀疏矩阵进行矩阵乘法。使用自定义 CUDA 算子把半径索引和掩码逻辑写进算子内部是性能最优但开发成本最高的方案。如果你使用 xformers 或者 FlashAttention 的变体优先查看是否原生支持窗口注意力参数例如 block 大小或局部窗口大小这比自己实现更安全。8.3 嵌入到现有视频生成模型时注意通道数对齐当你把 Token Radius Attention 引入现有模型时最容易踩的坑是通道数和 head 数不匹配。视频生成模型通常已经在 z 空间latent space里工作通道数和分辨率可能与视觉模型不一致。接入前要做好两点确认 Token Radius Attention 的dim和上游特征维度一致。确认num_heads能整除dim否则head_dim会是小数。建议封装一层适配器把上游特征的维度统一映射到 Token Radius Attention 需要的维度。8.4 训练稳定性与混合精度视频生成模型本身训练就不稳定加入局部注意力后某些 token 的梯度可能变得稀疏。为了提升稳定性建议使用梯度裁剪gradient clipping尤其是在 attention 层前后。在 attention 层输出后加 LayerNorm。训练初期使用较小学习率观察 loss 曲线稳定后再调大。使用混合精度训练时注意 softmax 中的数值稳定性。建议softmax(dim-1)使用 float32 计算在得到注意力分数后再转为 half。8.5 推理阶段的缓存优化视频生成的推理有一个特殊之处帧是逐个生成的。假设你正在生成第 t 帧你的 Token Radius Attention 只关心前radius_t帧那么你可以只缓存radius_t帧的 K 和 V而不是缓存全部帧。这能显著降低推理时的显存占用。实现方式通常是在模型里维护一个环形缓冲区ring buffer每生成一帧就更新缓冲区同时确保 buffer 里的帧都是当前帧的前radius_t帧。这对实时视频生成场景非常重要。8.6 不要迷信单一指标如果大家在实际项目里使用 Token Radius Attention建议不要只盯着显存和速度这两个指标。视频生成产品的核心是视觉质量、时间连续性和用户主观体验。一个高效但生成效果差强的注意力模块在工程上可能仍然没有价值。把注意力放在“质量曲线 - 计算成本”的平衡上比单纯追求“快”更有意义。9. 总结与后续学习方向Token Radius Attention 的核心思想并不复杂把全局注意力限制在局部半径范围内用视频的时空局部性换取更低的计算和显存开销。它适合作为视频生成模型中的注意力模块尤其是当分辨率、帧数持续增大导致全局注意力无法负担的时候。从工程角度看本地原型的实现重点在于三件事处理好边界 token 的邻居数量不一致问题在效率和质量之间找到合适的半径通过混合全局层和局部层来保持模型的长距离建模能力。从代码层面看最终生产使用应该逐步摆脱 CPU 循环生成索引的方式改用窗口重排、稀疏算子或自定义 CUDA 算子。如果你正在研究视频生成或者想优化现有模型建议下一步做三件事在最简单的视频生成 baseline 上把全局注意力替换成radius_t1, radius_h2, radius_w2的 Token Radius Attention先跑通训练流程。用固定随机种子对比全局注意力和局部注意力的显存峰值、生成质量和速度记录好数据。在效果可接受的范围内逐渐缩小半径找到该模型结构下的极限效率点。之后可以继续深入的方向包括可变半径注意力不同层使用不同半径、和 FlashAttention 结合的底层算子优化、以及基于流式生成的推理缓存设计。每一个方向都能和 Token Radius Attention 结合产生新的优化空间。