尧图网站建设 
CANN ops-transformer MambaV2 Prefill 状态递推算子 mamba2_chunk_state 深度解析【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformermamba2_chunk_state 是 CANN ops-transformer 中用于 MambaV2 Prefill 阶段做 chunk 内离散时间状态递推的融合算子它基于 chunk 累积量 dacs/dacs_chunk 与状态更新因子 dtout递推输出 chunk 内每一步的状态序列并生成供下一 chunk 使用的最终隐藏状态。本文以 experimental/mamba/mamba2_chunk_state/README.md 为主线结合宿主侧接口、Vector/Cube 双核 kernel 与单元测试源码完整讲解其数学语义、I/O 规格、融合实现原理、Python 调用方式与精度验证方法读者读完可掌握该算子的原理与在 NPU 上的工程实现并能够独立运行其测试用例。算子定位MambaV2 Prefill 阶段的 chunk 内状态递推环节MambaV2Mamba-2的 Prefill 计算在仓库中被拆分为一组相互衔接的 chunk 算子mamba2_chunk_state 位于其中间环节前后依赖关系可从同目录姊妹算子的说明中梳理清楚mamba2_chunk_cumsum对 chunk 内按时间步做累积求和产出累积量 dtout、dacs 与 dacs_chunk其中dacs形状为 BCLHdacs_chunk形状为 BCHmamba2_chunk_state本文主角消费dacs/dacs_chunk与dtout结合bt、xt完成 chunk 内状态递推输出statesBCHNPmamba2_chunk_state_passing将 chunk 内状态按时间顺序跨 chunk 传递做指数衰减与新状态叠加并执行states ct的跨 chunk 状态混合产出inter_attn与final_statemamba2_chunk_scan对 chunk 内状态执行 selective scan结合传播状态、chunk 内 delta 信息与 gating/bias 生成当前 chunk 的最终输出final_attn。因此 mamba2_chunk_state 的职责可以概括为在 chunk 粒度上根据累积的对数衰减量还原出指数衰减系数与 dtout 结合得到状态更新量再通过矩阵乘将其投影到 head 维度产出每一步的状态序列与跨 chunk 递推所需的最终隐藏状态。数学语义chunk 内离散时间状态递推从 test_chunk_state.py 中的 golden 参考实现mamba2_chunk_state_forward可以直接还原算子的数学语义da_sub dacs[:, :, -1, :] - dacs # 该 chunk 最后时间步的累积量减去当前时间步累积量 da exp(da_sub) * dtout # 还原指数衰减系数并乘以时间步长因子 bt_rep repeat_interleave(bt, H // G, dim3) # 将 G 组扩展为 H 头 dab bt_rep * da.reshape(B, C, L, H, 1) # 状态更新量 bt 与 da 的逐元素乘 out dab.permute(0,1,3,4,2) xt.permute(0,1,3,2,4) # 沿 L 维累加得到 BCHNP即核心递推关系为时间步间状态转移用exp(dacs[·, ·, L-1, ·] - dacs[·, ·, t, ·])描述指数衰减每一时间步的状态更新量为da exp(Δdacs) · dtout状态基向量bt按头组扩展与da逐元素相乘得到更新后的状态分量dab最后dab与输入投影xt做一次沿序列维的矩阵乘矩阵乘 K 维即 L 维沿 k 累加得到每个 head 在 N×P 上的状态矩阵statesBCHNP其中 P 维为 head dimN 维为 state size。这也解释了输入输出形状的对应关系bt为 BCLGNG 个组、每组 N 维状态基xt为 BCLHPH 个头、每个 head 的 P 维投影states为 BCHNP。输入输出与维度参数算子共 4 个输入、1 个输出dtype 与 shape 规格如下与 README.md 一致输入TensorshapedtypedtoutBCLHFP32dacsBCLHFP32btBCLGNFP16xtBCLHPFP16输出TensorshapedtypestatesBCHNPFP32维度参数说明参数含义Bbatch size批大小Cnumber of chunkschunk 数量Lchunk size每个 chunk 内的时间步数Hnumber of head注意力头数Gngroups分组数状态基的分组Nstate size状态维度Phead dim每个头的投影维度其中C×L 为 padding 后的序列长度即原始序列先 padding 到 L 的整数倍再按 chunk size L 切分为 C 个 chunk。注意H必须能被G整除测试代码中通过assert H % G 0显式校验分组扩展时每组按H // G个头共享同一组状态基。Vector Cube 融合实现架构README 明确指出该算子实现为Vector Cube 融合算子支持 FP16/FP32。从源码结构看其 kernel 由两部分组成Vector 阶段op_kernel/CustVec.h负责还原指数衰减、计算da、并与bt逐元素相乘产出中间结果vec_outCube 阶段op_kernel/CustCube.h消费vec_out与xt通过 MMAD 矩阵乘完成 L 维累加直接产出 FP32 的states。两个阶段通过 Global Memory 中的 workspace 进行数据交接并由宿主侧统一分配与调度形成流水线式的 VC 并行。宿主侧torch_interface.cpp 的接口与调度torch_interface.cpp 实现了算子入口mambav2_chunk_state主要做五件事参数解析与形状推断从xt的 shape 取 B/C/L/H/P从bt的 shape 取 G/N见 torch_interface.cppdtype 规整将dtout、dacs统一转为 FP32将bt、xt统一转为 FP16源码注释“convert dtype to make sure data type is correct”保证 kernel 侧输入格式固定输出与 workspace 分配输出states为{B, C, H, N, P}的 FP32 空张量用户 workspace 大小为blockDims * (L * BASEH BASEH * L * CBASEM * 3)其中BASEH 8、CBASEM 64再加上平台 API workspaceGetLibApiWorkSpaceSize()构成总 workspace见 torch_interface.cppkernel 启动blockDims 20通过kernel_cust_chunk_stateblockDims, nullptr, aclstream启动并传入全部形状参数算子注册TORCH_LIBRARY_IMPL(npu_ops_transformer_ext, PrivateUse1)注册mambav2_chunk_state的 NPU 实现TORCH_LIBRARY_IMPL(npu_ops_transformer_ext, Meta)注册 Meta 函数见 torch_interface.cpp。kernel 内部按ASCEND_IS_AIC/ASCEND_IS_AIV分支AICCube/AI Core执行CubeHandlerAIVVector执行VecHandler实现同一 kernel 内 Vector 与 Cube 的分工协作。Vector 阶段指数衰减还原与 da/bt 逐元素乘op_kernel/CustVec.h 中定义了若干切块常量决定了数据分块粒度常量值含义BASEH8每次处理的 head 块大小BASEL128序列 L 维的基础分块CBASEM / CBASEN64Cube M / N 维分块CBASEK256Cube K序列维分块tilingShapeCustVec将 B×C×H 整体按BASEH切分为BCH个任务再按核数平均切分BCH_PER_CORE CeilDiv(BCH, GetBlockNum())每个核处理一段连续的bch区间。Vector 阶段核心逻辑分为两部分Process_part1计算 da加载当前dacs子块与该 chunk 最后时间步的dacs_t通过 Brcb 广播后做dacs_t - dacs差分Sub随后执行Exp指数运算最后与dtout相乘Mul得到 FP32 的da并写入 workspaceCustVec.hProcess_part2计算 dab从 workspace 回读da加载bt的 FP16 子块并Cast为 FP32然后以da做广播源Brcb执行bt * da的Mul结果再Cast回 FP16 写入vec_outCustVec.h。整个 Vector 阶段通过DEventPIPE_V, PIPE_MTE2等事件完成 MTE2/MTE3 与 Vector 流水之间的同步。Cube 阶段vec_out 与 xt 的批量矩阵乘op_kernel/CustCube.h 中tilingShapeCustCube将 B×C×H 按BASEH切块并均分到各核K 维分块取BASEK min(L, 256)见 CustCube.h。Process_cube完成一次 64×64 的矩阵乘分块L1 加载用L1ND2NZ将vec_out中的dab分块BASEK×CBASEM与xt分块BASEK×CBASEN按H*P步长从 BCLHP 中取当前 head搬运到 L1CustCube.hL0 加载L0NZ2NN/L0NZ2ZN将 L1 数据进一步搬运到 L0A/L0BMMAD 累加执行MMAD(l0c, l0a, l0b, M, K, N, (k 0), 0)其中(k 0)表示首次分块时初始化累加器之后沿 K即序列 L维累加CustCube.h结果写出当 K 分块覆盖完整个 L 后用L0C2GM_NZ2ND将 FP32 的 L0C 结果写回 Global Memory 中的statesCustCube.h。由于MMAD的 A 矩阵为 FP16 的dab、B 矩阵为 FP16 的xt、累加器 L0C 为 FP32天然支持 FP16 输入、FP32 累加输出的高精度矩阵乘与输出states为 FP32 的规格吻合。Python 调用方式算子通过 CANN 的 torch 扩展以自定义算子形式暴露调用前需先导入扩展包README 中给出的调用方式注意实际注册的算子名为mambav2_chunk_state与 test_chunk_state.py 中的用法一致import npu_ops_transformer_ext import torch out torch.ops.npu_ops_transformer_ext.mambav2_chunk_state(dtout, dacs, bt, xt)其中各张量需要满足前文 I/O 规格dtout、dacs为 FP32 的 BCLHbt为 FP16 的 BCLGNxt为 FP16 的 BCLHP返回的out为 FP32 的 BCHNP。宿主侧会自动完成 dtype 规整因此即使传入的dtout/dacs为 FP16也会先被转换为 FP32 再进入 kernel。测试与精度验证测试位于 experimental/mamba/mamba2_chunk_state/tests/ 目录运行方式为python test_chunk_state.py测试脚本test_chunk_state.py的验证流程值得借鉴参考实现mamba2_chunk_state_forward用纯 PyTorch 算子按前文数学语义实现 golden 结果其中num_repeats H // G用于把 G 组状态基扩展到 H 个头torch.repeat_interleave用例参数默认B1, C4, H128, G8, L256, N128, P64即把 1024 长的序列 padding 后切为 4 个 chunk覆盖典型 Prefill 场景输入由torch.randn(...) * 0.2生成精度比对调用check_diff对比 golden 与 NPU kernel 输出CPU 侧性能 profiling分别对 TORCH 参考实现与 NPU kernel 调用profiling可用于对比端到端耗时。README 中给出的算子名为mamba2_chunk_state而测试与源码中实际调用/注册的是mambav2_chunk_state两者指向同一算子以源码与测试为准。构建集成算子以 Torch 算子形式纳入构建在 experimental/mamba/mamba2_chunk_state/CMakeLists.txt 中当BUILD_TORCH_OPS开启时以mambav2_chunk_state为算子名构建mambav2_chunk_state_objects目标.cpp源文件使用--npu-archdav-2201 -xasc -ltiling_api -lplatform -lregister编译参数面向 NPU Ascend 架构并引入本目录op_kernel与上级commonexperimental/mamba/common头文件目录。kernel 运行依赖的tensorutils.h、paramutils.h等公共工具头位于 experimental/mamba/common/。小结mamba2_chunk_state 是 MambaV2 Prefill 计算链chunk_cumsum → chunk_state → chunk_state_passing → chunk_scan中的核心一环用 VectorCube 融合的方式将“指数衰减还原 → 状态更新量构造 → 批量矩阵乘投影”三段计算合并在一次 kernel 启动内完成以 FP16 输入、FP32 累加保证精度。掌握其数学语义、I/O 规格与源码实现后读者既可以在自定义算子开发中复用其 VC 融合与 workspace 交接的工程模式也可以通过 test_chunk_state.py 快速完成精度验证与性能 profiling。【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN ops-transformer MambaV2 Prefill 状态递推算子 mamba2_chunk_state 深度解析
CANN ops-transformer MambaV2 Prefill 状态递推算子 mamba2_chunk_state 深度解析【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformermamba2_chunk_state 是 CANN ops-transformer 中用于 MambaV2 Prefill 阶段做 chunk 内离散时间状态递推的融合算子它基于 chunk 累积量 dacs/dacs_chunk 与状态更新因子 dtout递推输出 chunk 内每一步的状态序列并生成供下一 chunk 使用的最终隐藏状态。本文以 experimental/mamba/mamba2_chunk_state/README.md 为主线结合宿主侧接口、Vector/Cube 双核 kernel 与单元测试源码完整讲解其数学语义、I/O 规格、融合实现原理、Python 调用方式与精度验证方法读者读完可掌握该算子的原理与在 NPU 上的工程实现并能够独立运行其测试用例。算子定位MambaV2 Prefill 阶段的 chunk 内状态递推环节MambaV2Mamba-2的 Prefill 计算在仓库中被拆分为一组相互衔接的 chunk 算子mamba2_chunk_state 位于其中间环节前后依赖关系可从同目录姊妹算子的说明中梳理清楚mamba2_chunk_cumsum对 chunk 内按时间步做累积求和产出累积量 dtout、dacs 与 dacs_chunk其中dacs形状为 BCLHdacs_chunk形状为 BCHmamba2_chunk_state本文主角消费dacs/dacs_chunk与dtout结合bt、xt完成 chunk 内状态递推输出statesBCHNPmamba2_chunk_state_passing将 chunk 内状态按时间顺序跨 chunk 传递做指数衰减与新状态叠加并执行states ct的跨 chunk 状态混合产出inter_attn与final_statemamba2_chunk_scan对 chunk 内状态执行 selective scan结合传播状态、chunk 内 delta 信息与 gating/bias 生成当前 chunk 的最终输出final_attn。因此 mamba2_chunk_state 的职责可以概括为在 chunk 粒度上根据累积的对数衰减量还原出指数衰减系数与 dtout 结合得到状态更新量再通过矩阵乘将其投影到 head 维度产出每一步的状态序列与跨 chunk 递推所需的最终隐藏状态。数学语义chunk 内离散时间状态递推从 test_chunk_state.py 中的 golden 参考实现mamba2_chunk_state_forward可以直接还原算子的数学语义da_sub dacs[:, :, -1, :] - dacs # 该 chunk 最后时间步的累积量减去当前时间步累积量 da exp(da_sub) * dtout # 还原指数衰减系数并乘以时间步长因子 bt_rep repeat_interleave(bt, H // G, dim3) # 将 G 组扩展为 H 头 dab bt_rep * da.reshape(B, C, L, H, 1) # 状态更新量 bt 与 da 的逐元素乘 out dab.permute(0,1,3,4,2) xt.permute(0,1,3,2,4) # 沿 L 维累加得到 BCHNP即核心递推关系为时间步间状态转移用exp(dacs[·, ·, L-1, ·] - dacs[·, ·, t, ·])描述指数衰减每一时间步的状态更新量为da exp(Δdacs) · dtout状态基向量bt按头组扩展与da逐元素相乘得到更新后的状态分量dab最后dab与输入投影xt做一次沿序列维的矩阵乘矩阵乘 K 维即 L 维沿 k 累加得到每个 head 在 N×P 上的状态矩阵statesBCHNP其中 P 维为 head dimN 维为 state size。这也解释了输入输出形状的对应关系bt为 BCLGNG 个组、每组 N 维状态基xt为 BCLHPH 个头、每个 head 的 P 维投影states为 BCHNP。输入输出与维度参数算子共 4 个输入、1 个输出dtype 与 shape 规格如下与 README.md 一致输入TensorshapedtypedtoutBCLHFP32dacsBCLHFP32btBCLGNFP16xtBCLHPFP16输出TensorshapedtypestatesBCHNPFP32维度参数说明参数含义Bbatch size批大小Cnumber of chunkschunk 数量Lchunk size每个 chunk 内的时间步数Hnumber of head注意力头数Gngroups分组数状态基的分组Nstate size状态维度Phead dim每个头的投影维度其中C×L 为 padding 后的序列长度即原始序列先 padding 到 L 的整数倍再按 chunk size L 切分为 C 个 chunk。注意H必须能被G整除测试代码中通过assert H % G 0显式校验分组扩展时每组按H // G个头共享同一组状态基。Vector Cube 融合实现架构README 明确指出该算子实现为Vector Cube 融合算子支持 FP16/FP32。从源码结构看其 kernel 由两部分组成Vector 阶段op_kernel/CustVec.h负责还原指数衰减、计算da、并与bt逐元素相乘产出中间结果vec_outCube 阶段op_kernel/CustCube.h消费vec_out与xt通过 MMAD 矩阵乘完成 L 维累加直接产出 FP32 的states。两个阶段通过 Global Memory 中的 workspace 进行数据交接并由宿主侧统一分配与调度形成流水线式的 VC 并行。宿主侧torch_interface.cpp 的接口与调度torch_interface.cpp 实现了算子入口mambav2_chunk_state主要做五件事参数解析与形状推断从xt的 shape 取 B/C/L/H/P从bt的 shape 取 G/N见 torch_interface.cppdtype 规整将dtout、dacs统一转为 FP32将bt、xt统一转为 FP16源码注释“convert dtype to make sure data type is correct”保证 kernel 侧输入格式固定输出与 workspace 分配输出states为{B, C, H, N, P}的 FP32 空张量用户 workspace 大小为blockDims * (L * BASEH BASEH * L * CBASEM * 3)其中BASEH 8、CBASEM 64再加上平台 API workspaceGetLibApiWorkSpaceSize()构成总 workspace见 torch_interface.cppkernel 启动blockDims 20通过kernel_cust_chunk_stateblockDims, nullptr, aclstream启动并传入全部形状参数算子注册TORCH_LIBRARY_IMPL(npu_ops_transformer_ext, PrivateUse1)注册mambav2_chunk_state的 NPU 实现TORCH_LIBRARY_IMPL(npu_ops_transformer_ext, Meta)注册 Meta 函数见 torch_interface.cpp。kernel 内部按ASCEND_IS_AIC/ASCEND_IS_AIV分支AICCube/AI Core执行CubeHandlerAIVVector执行VecHandler实现同一 kernel 内 Vector 与 Cube 的分工协作。Vector 阶段指数衰减还原与 da/bt 逐元素乘op_kernel/CustVec.h 中定义了若干切块常量决定了数据分块粒度常量值含义BASEH8每次处理的 head 块大小BASEL128序列 L 维的基础分块CBASEM / CBASEN64Cube M / N 维分块CBASEK256Cube K序列维分块tilingShapeCustVec将 B×C×H 整体按BASEH切分为BCH个任务再按核数平均切分BCH_PER_CORE CeilDiv(BCH, GetBlockNum())每个核处理一段连续的bch区间。Vector 阶段核心逻辑分为两部分Process_part1计算 da加载当前dacs子块与该 chunk 最后时间步的dacs_t通过 Brcb 广播后做dacs_t - dacs差分Sub随后执行Exp指数运算最后与dtout相乘Mul得到 FP32 的da并写入 workspaceCustVec.hProcess_part2计算 dab从 workspace 回读da加载bt的 FP16 子块并Cast为 FP32然后以da做广播源Brcb执行bt * da的Mul结果再Cast回 FP16 写入vec_outCustVec.h。整个 Vector 阶段通过DEventPIPE_V, PIPE_MTE2等事件完成 MTE2/MTE3 与 Vector 流水之间的同步。Cube 阶段vec_out 与 xt 的批量矩阵乘op_kernel/CustCube.h 中tilingShapeCustCube将 B×C×H 按BASEH切块并均分到各核K 维分块取BASEK min(L, 256)见 CustCube.h。Process_cube完成一次 64×64 的矩阵乘分块L1 加载用L1ND2NZ将vec_out中的dab分块BASEK×CBASEM与xt分块BASEK×CBASEN按H*P步长从 BCLHP 中取当前 head搬运到 L1CustCube.hL0 加载L0NZ2NN/L0NZ2ZN将 L1 数据进一步搬运到 L0A/L0BMMAD 累加执行MMAD(l0c, l0a, l0b, M, K, N, (k 0), 0)其中(k 0)表示首次分块时初始化累加器之后沿 K即序列 L维累加CustCube.h结果写出当 K 分块覆盖完整个 L 后用L0C2GM_NZ2ND将 FP32 的 L0C 结果写回 Global Memory 中的statesCustCube.h。由于MMAD的 A 矩阵为 FP16 的dab、B 矩阵为 FP16 的xt、累加器 L0C 为 FP32天然支持 FP16 输入、FP32 累加输出的高精度矩阵乘与输出states为 FP32 的规格吻合。Python 调用方式算子通过 CANN 的 torch 扩展以自定义算子形式暴露调用前需先导入扩展包README 中给出的调用方式注意实际注册的算子名为mambav2_chunk_state与 test_chunk_state.py 中的用法一致import npu_ops_transformer_ext import torch out torch.ops.npu_ops_transformer_ext.mambav2_chunk_state(dtout, dacs, bt, xt)其中各张量需要满足前文 I/O 规格dtout、dacs为 FP32 的 BCLHbt为 FP16 的 BCLGNxt为 FP16 的 BCLHP返回的out为 FP32 的 BCHNP。宿主侧会自动完成 dtype 规整因此即使传入的dtout/dacs为 FP16也会先被转换为 FP32 再进入 kernel。测试与精度验证测试位于 experimental/mamba/mamba2_chunk_state/tests/ 目录运行方式为python test_chunk_state.py测试脚本test_chunk_state.py的验证流程值得借鉴参考实现mamba2_chunk_state_forward用纯 PyTorch 算子按前文数学语义实现 golden 结果其中num_repeats H // G用于把 G 组状态基扩展到 H 个头torch.repeat_interleave用例参数默认B1, C4, H128, G8, L256, N128, P64即把 1024 长的序列 padding 后切为 4 个 chunk覆盖典型 Prefill 场景输入由torch.randn(...) * 0.2生成精度比对调用check_diff对比 golden 与 NPU kernel 输出CPU 侧性能 profiling分别对 TORCH 参考实现与 NPU kernel 调用profiling可用于对比端到端耗时。README 中给出的算子名为mamba2_chunk_state而测试与源码中实际调用/注册的是mambav2_chunk_state两者指向同一算子以源码与测试为准。构建集成算子以 Torch 算子形式纳入构建在 experimental/mamba/mamba2_chunk_state/CMakeLists.txt 中当BUILD_TORCH_OPS开启时以mambav2_chunk_state为算子名构建mambav2_chunk_state_objects目标.cpp源文件使用--npu-archdav-2201 -xasc -ltiling_api -lplatform -lregister编译参数面向 NPU Ascend 架构并引入本目录op_kernel与上级commonexperimental/mamba/common头文件目录。kernel 运行依赖的tensorutils.h、paramutils.h等公共工具头位于 experimental/mamba/common/。小结mamba2_chunk_state 是 MambaV2 Prefill 计算链chunk_cumsum → chunk_state → chunk_state_passing → chunk_scan中的核心一环用 VectorCube 融合的方式将“指数衰减还原 → 状态更新量构造 → 批量矩阵乘投影”三段计算合并在一次 kernel 启动内完成以 FP16 输入、FP32 累加保证精度。掌握其数学语义、I/O 规格与源码实现后读者既可以在自定义算子开发中复用其 VC 融合与 workspace 交接的工程模式也可以通过 test_chunk_state.py 快速完成精度验证与性能 profiling。【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考