尧图网站建设 
深度学习这个圈子有个很明显的现象大部分人的技术栈是偏科的。做CV的能把Transformer和扩散模型玩得很溜但一碰到强化学习的策略梯度就头大做控制的能把PINN的物理约束写得漂漂亮亮但面对GNN的图卷积聚合又是一脸茫然。2026年这个时间节点上单一技术已经很难撑起一个有竞争力的项目了真正拉开差距的是能不能把这几套东西串起来用。这篇内容就是冲着这个痛点来的。我会把PINN、Transformer、GNN、强化学习、扩散模型这五块核心技术的原理脉络、代码落地、以及它们之间怎么组合解决实际问题从头到尾捋一遍。不管你是刚入门想找个清晰的学习路径还是已经会其中一两块想补齐短板下面这些内容应该都能帮到你。我尽量不堆公式多讲为什么这么设计和实际跑起来会遇到什么。1. 为什么这五套技术值得放在一起学1.1 它们解决的是同一类问题的不同侧面很多人把这五个方向当成五个独立的学科来学学完Transformer学GNN学完GNN学强化学习彼此之间没有建立联系。但实际上如果你仔细看它们各自解决的问题会发现它们经常出现在同一个系统里。举个具体的例子一个自动驾驶决策系统。感知模块用Transformer做多模态融合摄像头、激光雷达、毫米波雷达的数据对齐和特征提取场景理解用GNN建模车辆之间的交互关系谁会影响谁、谁在让谁决策模块用强化学习输出驾驶策略加速、刹车、变道而训练数据不够的时候用扩散模型做数据增强生成各种极端场景的仿真数据。如果这个系统还涉及车辆动力学约束PINN可以用来把物理方程嵌入到网络训练中保证输出的控制量不会违反基本的运动学规律。你看这五套技术不是替代关系是协作关系。单独学任何一个你都只能看到局部把它们放在一起理解才能看到完整的系统图景。1.2 2026年的技术栈要求全栈而非单点前几年市场对深度学习工程师的要求是精通某一个方向。你只要Transformer玩得好就能找到不错的工作。但现在情况变了。模型架构越来越成熟工具链越来越完善单纯会调包的价值在快速下降。企业需要的是能判断这个问题该用什么架构这个场景需不需要引入物理约束强化学习的reward怎么设计才合理的人。这种判断力从哪来从你对多个技术方向的深入理解来。你不需要每个方向都做到发论文的水平但你需要知道每个技术的适用边界、核心假设、以及和其他技术组合时的接口在哪里。1.3 学习路径的合理排序这五块内容如果按难度和依赖关系排我建议的顺序是Transformer → GNN → 扩散模型 → 强化学习 → PINN。Transformer是基础中的基础现在几乎所有架构都在用它或者它的变体先把它吃透后面的东西学起来会顺很多。GNN和Transformer在注意力机制上有相通之处学完Transformer再学GNN你会发现很多概念是迁移的。扩散模型涉及比较多的概率论和随机过程放在中间学比较合适。强化学习有自己独立的一套理论体系MDP、贝尔曼方程、策略梯度需要单独花时间。PINN看起来是独立的但它经常和前面的技术组合使用放在最后学你可以把它当成一个约束层来理解。当然这个顺序不是绝对的。如果你本身是做控制或者物理仿真的PINN可以提前学。如果你做推荐系统GNN和强化学习的组合可能更优先。关键是先建立整体认知再根据实际需求深入。2. Transformer不只是注意力机制2.1 从为什么需要注意力讲起Transformer的核心创新是self-attention但很多人学的时候直接跳到公式忽略了它要解决什么问题。我换个方式讲。假设你在读一句话小明把书放在了桌子上因为它太重了。这里的它指什么是书还是桌子人类读者很容易判断是书因为我们知道重这个属性更可能修饰书。但早期的RNN模型处理这种指代关系时很吃力因为它需要把它的信息一路传递回书的位置中间经过了很多步信息衰减严重。Self-attention的做法很直接让每个词直接和句子中所有其他词计算相关性然后根据相关性加权聚合信息。这样它可以直接看到书和桌子并根据语义相关性决定从谁那里获取更多信息。这个直接连接的特性让Transformer在处理长距离依赖时比RNN强得多。2.2 Self-attention的计算过程拆解我用一个具体的矩阵运算例子来说明。假设输入序列有3个token每个token的embedding维度是4。那么输入矩阵X的形状是(3, 4)。第一步生成Q、K、V三个矩阵。用三个可学习的权重矩阵W_Q、W_K、W_V形状都是(4, 4)分别和X相乘import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, embed_dim): super().__init__() self.W_q nn.Linear(embed_dim, embed_dim) self.W_k nn.Linear(embed_dim, embed_dim) self.W_v nn.Linear(embed_dim, embed_dim) self.embed_dim embed_dim def forward(self, x): Q self.W_q(x) # (batch, seq_len, embed_dim) K self.W_k(x) V self.W_v(x) # 计算注意力分数 scores torch.matmul(Q, K.transpose(-2, -1)) / (self.embed_dim ** 0.5) attn_weights torch.softmax(scores, dim-1) output torch.matmul(attn_weights, V) return output, attn_weights这里的缩放因子1/sqrt(d_k)很关键。如果不缩放当embedding维度很大时Q和K的点积结果会很大softmax之后会变得非常尖锐接近one-hot梯度会变得很小训练不稳定。除以sqrt(d_k)相当于把点积的方差拉回到1附近让softmax的输出分布更平滑。2.3 Multi-Head Attention到底在做什么单头注意力只能学到一种关注模式。Multi-head的做法是并行跑多个注意力头每个头有自己的W_Q、W_K、W_V最后把结果拼接起来再投影。你可以这样理解一个头可能关注语法关系主谓宾另一个头关注语义相似性还有一个头关注位置邻近性。多个头的结果拼接后模型就能同时捕捉多种类型的关系。class MultiHeadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() self.num_heads num_heads self.head_dim embed_dim // num_heads assert self.head_dim * num_heads embed_dim self.W_q nn.Linear(embed_dim, embed_dim) self.W_k nn.Linear(embed_dim, embed_dim) self.W_v nn.Linear(embed_dim, embed_dim) self.W_o nn.Linear(embed_dim, embed_dim) def forward(self, x): batch_size, seq_len, _ x.shape Q self.W_q(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) K self.W_k(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) V self.W_v(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) scores torch.matmul(Q, K.transpose(-2, -1)) / (self.head_dim ** 0.5) attn torch.softmax(scores, dim-1) out torch.matmul(attn, V) out out.transpose(1, 2).contiguous().view(batch_size, seq_len, -1) return self.W_o(out)2.4 位置编码Transformer的盲区补丁Self-attention本身是置换不变的——你把输入序列的顺序打乱输出结果不变因为每个位置都和其他所有位置计算注意力。但语言是有顺序的猫追老鼠和老鼠追猫意思完全不同。位置编码就是用来注入顺序信息的。原始论文用的是正弦余弦编码def positional_encoding(seq_len, d_model): pe torch.zeros(seq_len, d_model) position torch.arange(0, seq_len).unsqueeze(1).float() div_term torch.exp(torch.arange(0, d_model, 2).float() * -(math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) return pe现在更常用的是可学习的位置编码或者RoPE旋转位置编码。RoPE的核心思想是把位置信息编码成旋转操作让注意力分数自然地带入相对位置信息。如果你在做长序列任务RoPE基本是标配。2.5 实际落地中的几个关键决策第一用预训练还是从头训。除非你有海量领域数据否则从头训Transformer基本不可能达到可用水平。HuggingFace上的预训练模型覆盖了大部分常见场景微调的成本远低于从头训练。第二Swin Transformer的窗口注意力什么时候用。如果你做的是图像任务标准Transformer的全局注意力计算量是O(n²)高分辨率图像上跑不动。Swin的做法是把图像分成不重叠的窗口在窗口内做注意力然后通过shift操作让窗口之间有信息交换。这个设计在目标检测和分割任务上效果很好。第三轻量Transformer的剪枝策略。移动端部署时可以通过减少头数、降低embedding维度、用知识蒸馏把大模型的能力迁移到小模型上。我实测下来蒸馏量化组合能把模型压到原来的1/4大小精度损失控制在2%以内。3. GNN当数据变成图3.1 什么场景该用GNN而不是TransformerTransformer处理的是序列或网格结构的数据每个元素之间的关系是隐含的通过注意力学出来。但有些数据本身就是图结构社交网络、分子结构、知识图谱、交通路网。这些场景下节点之间的连接关系是明确已知的用GNN比Transformer更自然。举个例子分子属性预测。一个分子就是一张图原子是节点化学键是边。你要预测这个分子有没有毒性。用GNN的话消息传递机制会沿着化学键聚合邻居原子的信息几层之后每个原子就包含了其局部化学环境的信息。这比把分子展平成序列喂给Transformer要合理得多。3.2 消息传递GNN的核心机制GNN的每一层都在做同一件事每个节点从邻居节点收集信息聚合后更新自己的表示。import torch import torch.nn as nn import torch.nn.functional as F class GCNLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.linear nn.Linear(in_dim, out_dim) def forward(self, x, adj): # adj是归一化后的邻接矩阵 support self.linear(x) output torch.matmul(adj, support) return F.relu(output)这里的adj通常要做对称归一化D^{-1/2} A D^{-1/2}其中D是度矩阵。归一化的目的是防止高度节点的特征值过大导致训练不稳定。3.3 GAT给邻居加权重GCN的一个问题是它对所有邻居一视同仁聚合时权重相同。但实际中不同邻居的重要性是不一样的。GATGraph Attention Network引入注意力机制来解决这个问题class GATLayer(nn.Module): def __init__(self, in_dim, out_dim, num_heads4): super().__init__() self.num_heads num_heads self.out_dim out_dim self.W nn.Linear(in_dim, out_dim * num_heads, biasFalse) self.a nn.Parameter(torch.zeros(num_heads, 2 * out_dim)) nn.init.xavier_uniform_(self.a) def forward(self, x, edge_index): h self.W(x).view(-1, self.num_heads, self.out_dim) src, dst edge_index # 计算注意力系数 edge_feat torch.cat([h[src], h[dst]], dim-1) # (E, heads, 2*out) e F.leaky_relu((edge_feat * self.a).sum(dim-1)) # (E, heads) # softmax归一化按目标节点 e self._edge_softmax(dst, e) # 聚合 out torch.zeros_like(h) msg h[src] * e.unsqueeze(-1) out.index_add_(0, dst, msg) return out.view(-1, self.num_heads * self.out_dim)GAT的注意力系数计算和Transformer很像区别在于GAT只在有边连接的节点之间计算注意力而Transformer是全连接。3.4 图级别的任务怎么做节点级别的任务节点分类直接取每个节点的输出就行。但图级别的任务整张图分类需要把所有节点的表示聚合成一个向量。常见做法有三种全局池化所有节点特征取平均或求和。简单但丢失结构信息。层次池化DiffPool等方法学习一个软分配矩阵把节点聚类成超节点逐层粗化。加虚拟节点添加一个和所有节点相连的虚拟节点它的表示就是整张图的表示。我实测下来对于中小规模图全局平均池化几层GNN的效果已经够用。图特别大或者结构信息很重要时再考虑层次池化。3.5 GNN的过平滑问题GNN层数多了之后所有节点的表示会趋于一致这叫过平滑over-smoothing。原因是每层都在做邻居聚合几层之后每个节点的感受野覆盖了整张图信息被过度平均了。解决方案有几个一是控制层数通常2-3层就够了二是用残差连接JKNet三是用DropEdge在训练时随机丢弃一些边相当于做数据增强四是用PairNorm等归一化方法。我在实际项目中一般用2层GCN或GAT配合残差连接基本不会遇到过平滑。4. 扩散模型从噪声中雕刻出数据4.1 前向过程把图片一步步变成噪声扩散模型的核心思想很优雅定义一个前向过程逐步向数据加高斯噪声直到数据变成纯噪声然后训练一个网络学习逆向过程从纯噪声逐步去噪恢复出数据。前向过程的公式很简单def forward_diffusion(x_0, T, beta_start1e-4, beta_end0.02): betas torch.linspace(beta_start, beta_end, T) alphas 1 - betas alpha_bars torch.cumprod(alphas, dim0) noise torch.randn_like(x_0) t torch.randint(0, T, (x_0.shape[0],)) alpha_bar_t alpha_bars[t].view(-1, 1, 1, 1) x_t torch.sqrt(alpha_bar_t) * x_0 torch.sqrt(1 - alpha_bar_t) * noise return x_t, noise, t这里有个重要的性质任意时刻t的x_t可以直接从x_0计算出来不需要一步步迭代。这大大加速了训练过程。4.2 逆向过程网络要学什么逆向过程是扩散模型真正需要训练的部分。网络接收x_t和时间步t预测添加的噪声ε。损失函数就是预测噪声和真实噪声的MSEclass DiffusionModel(nn.Module): def __init__(self, unet): super().__init__() self.unet unet def forward(self, x_t, t): return self.unet(x_t, t) def train_step(model, x_0, optimizer): x_t, noise, t forward_diffusion(x_0, T1000) predicted_noise model(x_t, t) loss F.mse_loss(predicted_noise, noise) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()4.3 采样怎么从噪声生成图片训练好之后采样过程是从纯噪声x_T开始逐步去噪torch.no_grad() def sample(model, n_samples, T1000): x torch.randn(n_samples, 3, 32, 32) for t in reversed(range(T)): t_batch torch.full((n_samples,), t, dtypetorch.long) predicted_noise model(x, t_batch) alpha alphas[t] alpha_bar alpha_bars[t] beta betas[t] if t 0: noise torch.randn_like(x) else: noise 0 x (1 / torch.sqrt(alpha)) * (x - (beta / torch.sqrt(1 - alpha_bar)) * predicted_noise) torch.sqrt(beta) * noise return x原始DDPM的采样需要1000步非常慢。后来有DDIM、DPM-Solver等加速方法可以把步数降到20-50步质量损失很小。4.4 潜在扩散模型在隐空间做扩散直接在像素空间做扩散计算量太大。潜在扩散模型LDM先用一个VAE把图像压缩到隐空间然后在隐空间做扩散。这样计算量能降低一个数量级。Stable Diffusion就是LDM的典型代表。它的架构包括VAE编码器图像→隐向量、U-Net隐空间去噪、VAE解码器隐向量→图像、以及一个文本编码器CLIP来注入文本条件。4.5 条件生成怎么控制扩散模型输出无条件生成只能随机出图实际应用需要条件控制。常见做法有Classifier Guidance训练一个分类器在采样时用分类器的梯度引导生成方向。效果好但需要额外训练分类器。Classifier-Free Guidance训练时随机丢弃条件让同一个网络既能做条件生成也能做无条件生成。采样时把两者的预测做外推。这是目前主流做法。Cross-Attention条件注入把文本编码通过cross-attention层注入U-Net让模型在去噪时关注文本信息。# Classifier-Free Guidance采样 def cfg_sample(model, condition, guidance_scale7.5): # 同时计算有条件预测和无条件预测 noise_cond model(x_t, t, condition) noise_uncond model(x_t, t, None) # 外推 noise_pred noise_uncond guidance_scale * (noise_cond - noise_uncond) return noise_predguidance_scale越大生成结果越贴近条件但多样性会下降。通常7-12之间比较合适。5. 强化学习让模型学会做决策5.1 强化学习和监督学习的本质区别监督学习是我给你正确答案你照着学。强化学习是你做一个动作环境给你一个分数你自己琢磨怎么提高分数。这个区别导致强化学习有几个独特的难点延迟奖励你现在的动作可能影响很久之后的奖励怎么把功劳/责任分配到正确的动作上探索与利用的权衡你是继续用已知的好策略还是尝试新动作可能发现更好的非独立同分布你的训练数据是你自己的策略产生的策略变了数据分布就变了。5.2 Q-Learning从值函数入手Q-Learning的核心是学一个Q函数Q(s, a)表示在状态s下做动作a能获得的期望累积奖励。有了Q函数策略就是选Q值最大的动作。class DQN(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, action_dim) ) def forward(self, state): return self.net(state) def train_dqn(env, episodes1000, gamma0.99, epsilon1.0): q_net DQN(env.observation_space.shape[0], env.action_space.n) target_net DQN(env.observation_space.shape[0], env.action_space.n) target_net.load_state_dict(q_net.state_dict()) optimizer torch.optim.Adam(q_net.parameters(), lr1e-3) replay_buffer [] for episode in range(episodes): state, _ env.reset() done False while not done: if random.random() epsilon: action env.action_space.sample() else: with torch.no_grad(): action q_net(torch.FloatTensor(state)).argmax().item() next_state, reward, done, _, _ env.step(action) replay_buffer.append((state, action, reward, next_state, done)) if len(replay_buffer) 1000: batch random.sample(replay_buffer, 32) states, actions, rewards, next_states, dones zip(*batch) states torch.FloatTensor(states) actions torch.LongTensor(actions) rewards torch.FloatTensor(rewards) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones) q_values q_net(states).gather(1, actions.unsqueeze(1)).squeeze() with torch.no_grad(): next_q target_net(next_states).max(1)[0] target rewards gamma * next_q * (1 - dones) loss F.mse_loss(q_values, target) optimizer.zero_grad() loss.backward() optimizer.step() state next_state epsilon max(0.01, epsilon * 0.995) if episode % 10 0: target_net.load_state_dict(q_net.state_dict())这里有几个关键技巧经验回放replay buffer打破数据相关性目标网络target network稳定训练epsilon衰减平衡探索和利用。5.3 策略梯度直接优化策略Q-Learning适合离散动作空间。连续动作空间比如机械臂控制用策略梯度更合适。策略梯度直接参数化策略π(a|s)用奖励的梯度来更新参数。class PolicyNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.mean nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, action_dim) ) self.log_std nn.Parameter(torch.zeros(action_dim)) def forward(self, state): mean self.mean(state) std torch.exp(self.log_std) return torch.distributions.Normal(mean, std) def reinforce(env, episodes1000): policy PolicyNetwork(env.observation_space.shape[0], env.action_space.shape[0]) optimizer torch.optim.Adam(policy.parameters(), lr1e-3) for episode in range(episodes): log_probs [] rewards [] state, _ env.reset() done False while not done: dist policy(torch.FloatTensor(state)) action dist.sample() log_prob dist.log_prob(action).sum() next_state, reward, done, _, _ env.step(action.numpy()) log_probs.append(log_prob) rewards.append(reward) state next_state # 计算折扣回报 returns [] G 0 for r in reversed(rewards): G r 0.99 * G returns.insert(0, G) returns torch.FloatTensor(returns) returns (returns - returns.mean()) / (returns.std() 1e-8) loss -(torch.stack(log_probs) * returns).mean() optimizer.zero_grad() loss.backward() optimizer.step()REINFORCE的方差很大实际中更常用的是PPOProximal Policy Optimization它通过clip操作限制策略更新的幅度训练更稳定。5.4 离线强化学习没有环境交互怎么办很多实际场景中你没法让智能体在真实环境中反复试错比如医疗、金融。离线强化学习Offline RL就是从一批已有的历史数据中学习策略不需要和环境交互。离线RL的核心挑战是分布偏移你的策略可能选择数据集中没有出现过的动作导致Q值估计严重偏高。解决方案有CQLConservative Q-Learning、IQLImplicit Q-Learning等。IQL的思路是不显式估计未知动作的Q值而是通过expectile回归学一个值函数避免查询分布外的动作。5.5 强化学习的reward设计这是实际落地中最容易出问题的地方。reward设计不好智能体会学到各种钻空子的行为。比如你训练一个机器人走路reward是前进距离它可能学会在地上打滚而不是走路。几个实用原则一是reward要稠密不要只在最后给一个成功/失败信号二是可以用reward shaping加入中间引导但要小心不要改变最优策略三是多目标场景下要仔细设计各项reward的权重避免某一项主导训练。6. PINN把物理定律焊进神经网络6.1 PINN要解决的核心问题传统数值方法有限元、有限差分解偏微分方程需要网格划分复杂几何形状下网格生成很麻烦而且维度高了计算量爆炸。PINN的思路是用神经网络直接参数化解u(x, t)把PDE的残差作为损失函数的一部分让网络在训练中自动满足物理方程。6.2 PINN的损失函数设计PINN的损失通常由三部分组成def pinn_loss(model, x_collocation, x_boundary, x_initial, nu): # PDE残差损失在配点上 x_collocation.requires_grad_(True) u model(x_collocation) u_t torch.autograd.grad(u, x_collocation, grad_outputstorch.ones_like(u), create_graphTrue)[0][:, 0:1] u_x torch.autograd.grad(u, x_collocation, grad_outputstorch.ones_like(u), create_graphTrue)[0][:, 1:2] u_xx torch.autograd.grad(u_x, x_collocation, grad_outputstorch.ones_like(u_x), create_graphTrue)[0][:, 1:2] # 以Burgers方程为例: u_t u*u_x - nu*u_xx 0 residual u_t u * u_x - nu * u_xx loss_pde torch.mean(residual ** 2) # 边界条件损失 u_boundary model(x_boundary) loss_bc torch.mean(u_boundary ** 2) # 假设边界条件为0 # 初始条件损失 u_initial model(x_initial) loss_ic torch.mean((u_initial - u_initial_true) ** 2) return loss_pde loss_bc loss_ic关键点PDE残差涉及对网络输出的求导需要用torch.autograd.grad并设置create_graphTrue这样才能把梯度计算也纳入反向传播。6.3 配点策略在哪里采样训练点PINN不需要网格但需要在求解域内采样一些配点来计算PDE残差。配点的分布直接影响训练效果。均匀采样简单但在解变化剧烈的区域精度不够。自适应采样根据残差大小动态增加高残差区域的配点。这是目前效果最好的策略。拉丁超立方采样比均匀采样更好地覆盖空间。我实测下来先用均匀采样训练一个粗略的解然后根据残差分布重新采样迭代两三轮精度能提升一个数量级。6.4 PINN的训练难点与技巧PINN的训练比普通神经网络难得多主要难点在于多损失项平衡。PDE残差、边界条件、初始条件的量级可能差好几个数量级直接相加会导致某一项主导训练。解决方案有手动调权重、用NTKNeural Tangent Kernel理论自适应调整权重、或者用梯度归一化。优化器选择。Adam适合前期快速下降但后期精度不够。L-BFGS在后期能把精度推得更高。实践中常用Adam跑几千步再用L-BFGS精调。网络架构。简单的全连接网络在有些问题上表现不好。可以用傅里叶特征映射Fourier feature mapping增强网络对高频信息的捕捉能力或者用Modified MLP在每层加入输入的直接连接。6.5 PINN和传统数值方法的对比维度PINN传统数值方法网格需求无网格需要网格划分高维问题相对友好维度灾难精度中等1e-3~1e-5高可达机器精度训练时间长分钟到小时短秒到分钟逆问题天然支持需要额外处理复杂几何灵活网格生成困难PINN最大的优势在逆问题已知观测数据反推方程中的未知参数。传统方法需要反复求解正问题来拟合参数PINN直接把未知参数也作为可学习变量一起优化。7. 技术组合实战五个方向怎么串起来7.1 组合模式一Transformer 扩散模型这是目前最成熟的组合。Transformer做条件编码文本、类别、其他模态扩散模型做生成。Stable Diffusion 3和Sora都是这个架构。具体做法用Transformer编码条件信息得到条件嵌入在U-Net的每个分辨率层通过cross-attention注入条件。训练时随机丢弃条件10%概率让模型同时具备条件和无条件生成能力。7.2 组合模式二GNN 强化学习这个组合在组合优化、交通信号控制、分子设计等场景很常见。GNN负责编码图结构的状态路网、分子图、社交网络强化学习负责做决策。比如交通信号控制每个路口是一个节点路段是边。GNN编码当前交通状态输出每个路口的嵌入表示强化学习根据这些表示决定每个路口的信号灯相位。GNN让智能体能够泛化到不同规模的路网。7.3 组合模式三PINN 强化学习这个组合在机器人控制中很有价值。强化学习学控制策略PINN学环境动力学模型。PINN的物理约束保证学到的动力学模型不会违反基本物理规律能量守恒、动量守恒等。具体做法用PINN学一个可微的环境模型然后在模型上做规划或策略优化。因为PINN是可微的梯度可以直接从奖励传回动作训练效率比无模型方法高很多。7.4 组合模式四Transformer GNN图Transformer是最近的一个热点。核心思路是用Transformer的注意力机制替换GNN的消息传递但保留图结构的归纳偏置比如只在有边连接的节点之间计算注意力或者把图结构信息编码到位置编码中。Graphormer是典型代表它在标准Transformer的基础上加入了中心性编码、空间编码和边编码让注意力能够感知图结构。7.5 组合模式五扩散模型 强化学习扩散策略Diffusion Policy是最近机器人领域的一个亮点。用扩散模型建模动作分布而不是用高斯分布。扩散模型能表示多模态的动作分布同一个状态下可能有多种合理的动作这在复杂操作任务中很重要。训练时把状态作为条件动作序列作为生成目标用扩散模型的损失训练。推理时从噪声开始去噪生成动作序列。8. 落地实战中的工程经验8.1 训练基础设施的选择五个方向对计算资源的需求不同。Transformer和扩散模型对GPU显存要求最高建议至少24GB显存起步。GNN和PINN相对轻量16GB显存够用。强化学习看环境复杂度简单环境CPU都能跑复杂环境如机械臂仿真需要GPU加速。混合精度训练AMP基本是标配能省30%-50%显存速度提升20%-30%。但PINN要小心因为PDE残差涉及高阶求导fp16精度可能不够建议PINN用fp32或者fp64。8.2 数据管线的设计Transformer和扩散模型需要大量数据数据加载很容易成为瓶颈。用WebDataset格式打包数据配合多进程加载能显著提升吞吐。GNN的图数据建议预处理好邻接矩阵和特征存成稀疏格式避免每次前向传播都重新构建图。8.3 模型部署的注意事项扩散模型的推理速度是部署的最大瓶颈。除了DDIM等采样加速方法还可以用模型量化INT8、算子融合、以及蒸馏到更少步数的模型。我实测下来50步DDIM INT8量化在消费级GPU上生成一张512x512图片大约0.5秒。Transformer部署可以用ONNX Runtime或TensorRT加速。GNN部署相对麻烦因为图结构是动态的需要用支持动态图的推理框架。8.4 常见踩坑记录Transformer的attention mask搞错。这是最常见的bug。padding位置必须mask掉否则softmax会分配到不该有的注意力。解码器的causal mask也要确保上三角被mask。GNN的邻接矩阵没有归一化。不归一化的话高度节点的特征值会爆炸训练几轮就nan了。扩散模型的噪声调度选错。线性beta schedule在低分辨率图像上还行高分辨率上效果不好。cosine schedule更通用。强化学习的reward没有归一化。不同环境的reward量级差异很大不归一化的话学习率很难调。PINN的边界条件没有严格满足。软约束的方式下边界条件只是被鼓励满足不是强制的。如果边界条件很重要可以用硬约束把边界条件编码到网络输出中。9. 学习资源和进阶路径9.1 各方向的入门材料Transformer方面除了原始论文The Illustrated Transformer那篇博客讲得很直观。代码方面Andrej Karpathy的nanoGPT是很好的入门实现几百行代码把GPT的核心逻辑讲清楚了。GNN方面PyGPyTorch Geometric的官方文档和示例很全。理论方面Distill.pub上那篇A Gentle Introduction to Graph Neural Networks值得反复读。扩散模型方面Lilian Weng的博客文章是经典入门材料。代码方面HuggingFace的diffusers库封装得很好适合快速上手。强化学习方面David Silver的课程是经典但偏理论。代码实践推荐CleanRL每个算法一个独立文件代码简洁清晰。PINN方面原始论文Raissi et al., 2019必读。代码方面DeepXDE是一个专门做PINN的库封装了很多常见PDE的求解模板。9.2 从会用到会改的进阶会用工具只是第一步。真正拉开差距的是能不能根据具体问题修改模型架构、损失函数、训练策略。建议的进阶路径先复现经典论文的结果确保理解每个细节然后在一个实际问题上应用记录所有踩坑和调参过程最后尝试改进——换一个损失函数、加一个正则项、改一下网络结构看效果有没有提升。9.3 2026年的技术趋势判断从最近的研究动向看几个趋势比较明显一是多模态融合会继续深化Transformer作为通用骨干的地位短期内不会变但会有更多针对特定模态的改进。二是扩散模型在生成领域的统治地位会加强同时在决策扩散策略、分子设计等非传统生成任务上的应用会增多。三是物理约束和深度学习的结合会更紧密PINN只是其中一种形式还有神经算子、物理信息高斯过程等方向。四是强化学习会更多地和基础模型结合用大模型做高层规划用小模型做底层控制。这些趋势意味着单独掌握任何一个方向都不够需要建立跨方向的知识连接。这也是为什么我建议按本文的框架来系统学习而不是孤立地学每一个技术。我个人在实际项目中的体会是这五个方向里Transformer和扩散模型的工程化最成熟踩坑最少GNN的坑主要在数据处理和批处理上强化学习的坑在reward设计和训练稳定性PINN的坑在损失平衡和优化器选择。如果你时间有限优先把Transformer和扩散模型吃透这两个的就业面最广。GNN和强化学习根据你的具体方向选择性深入。PINN比较垂直除非你做科学计算或物理仿真否则可以先了解基本思想用到的时候再深入。 深度学习全栈指南：PINN、Transformer、GNN、强化学习与扩散模型技术解析
深度学习这个圈子有个很明显的现象大部分人的技术栈是偏科的。做CV的能把Transformer和扩散模型玩得很溜但一碰到强化学习的策略梯度就头大做控制的能把PINN的物理约束写得漂漂亮亮但面对GNN的图卷积聚合又是一脸茫然。2026年这个时间节点上单一技术已经很难撑起一个有竞争力的项目了真正拉开差距的是能不能把这几套东西串起来用。这篇内容就是冲着这个痛点来的。我会把PINN、Transformer、GNN、强化学习、扩散模型这五块核心技术的原理脉络、代码落地、以及它们之间怎么组合解决实际问题从头到尾捋一遍。不管你是刚入门想找个清晰的学习路径还是已经会其中一两块想补齐短板下面这些内容应该都能帮到你。我尽量不堆公式多讲为什么这么设计和实际跑起来会遇到什么。1. 为什么这五套技术值得放在一起学1.1 它们解决的是同一类问题的不同侧面很多人把这五个方向当成五个独立的学科来学学完Transformer学GNN学完GNN学强化学习彼此之间没有建立联系。但实际上如果你仔细看它们各自解决的问题会发现它们经常出现在同一个系统里。举个具体的例子一个自动驾驶决策系统。感知模块用Transformer做多模态融合摄像头、激光雷达、毫米波雷达的数据对齐和特征提取场景理解用GNN建模车辆之间的交互关系谁会影响谁、谁在让谁决策模块用强化学习输出驾驶策略加速、刹车、变道而训练数据不够的时候用扩散模型做数据增强生成各种极端场景的仿真数据。如果这个系统还涉及车辆动力学约束PINN可以用来把物理方程嵌入到网络训练中保证输出的控制量不会违反基本的运动学规律。你看这五套技术不是替代关系是协作关系。单独学任何一个你都只能看到局部把它们放在一起理解才能看到完整的系统图景。1.2 2026年的技术栈要求全栈而非单点前几年市场对深度学习工程师的要求是精通某一个方向。你只要Transformer玩得好就能找到不错的工作。但现在情况变了。模型架构越来越成熟工具链越来越完善单纯会调包的价值在快速下降。企业需要的是能判断这个问题该用什么架构这个场景需不需要引入物理约束强化学习的reward怎么设计才合理的人。这种判断力从哪来从你对多个技术方向的深入理解来。你不需要每个方向都做到发论文的水平但你需要知道每个技术的适用边界、核心假设、以及和其他技术组合时的接口在哪里。1.3 学习路径的合理排序这五块内容如果按难度和依赖关系排我建议的顺序是Transformer → GNN → 扩散模型 → 强化学习 → PINN。Transformer是基础中的基础现在几乎所有架构都在用它或者它的变体先把它吃透后面的东西学起来会顺很多。GNN和Transformer在注意力机制上有相通之处学完Transformer再学GNN你会发现很多概念是迁移的。扩散模型涉及比较多的概率论和随机过程放在中间学比较合适。强化学习有自己独立的一套理论体系MDP、贝尔曼方程、策略梯度需要单独花时间。PINN看起来是独立的但它经常和前面的技术组合使用放在最后学你可以把它当成一个约束层来理解。当然这个顺序不是绝对的。如果你本身是做控制或者物理仿真的PINN可以提前学。如果你做推荐系统GNN和强化学习的组合可能更优先。关键是先建立整体认知再根据实际需求深入。2. Transformer不只是注意力机制2.1 从为什么需要注意力讲起Transformer的核心创新是self-attention但很多人学的时候直接跳到公式忽略了它要解决什么问题。我换个方式讲。假设你在读一句话小明把书放在了桌子上因为它太重了。这里的它指什么是书还是桌子人类读者很容易判断是书因为我们知道重这个属性更可能修饰书。但早期的RNN模型处理这种指代关系时很吃力因为它需要把它的信息一路传递回书的位置中间经过了很多步信息衰减严重。Self-attention的做法很直接让每个词直接和句子中所有其他词计算相关性然后根据相关性加权聚合信息。这样它可以直接看到书和桌子并根据语义相关性决定从谁那里获取更多信息。这个直接连接的特性让Transformer在处理长距离依赖时比RNN强得多。2.2 Self-attention的计算过程拆解我用一个具体的矩阵运算例子来说明。假设输入序列有3个token每个token的embedding维度是4。那么输入矩阵X的形状是(3, 4)。第一步生成Q、K、V三个矩阵。用三个可学习的权重矩阵W_Q、W_K、W_V形状都是(4, 4)分别和X相乘import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, embed_dim): super().__init__() self.W_q nn.Linear(embed_dim, embed_dim) self.W_k nn.Linear(embed_dim, embed_dim) self.W_v nn.Linear(embed_dim, embed_dim) self.embed_dim embed_dim def forward(self, x): Q self.W_q(x) # (batch, seq_len, embed_dim) K self.W_k(x) V self.W_v(x) # 计算注意力分数 scores torch.matmul(Q, K.transpose(-2, -1)) / (self.embed_dim ** 0.5) attn_weights torch.softmax(scores, dim-1) output torch.matmul(attn_weights, V) return output, attn_weights这里的缩放因子1/sqrt(d_k)很关键。如果不缩放当embedding维度很大时Q和K的点积结果会很大softmax之后会变得非常尖锐接近one-hot梯度会变得很小训练不稳定。除以sqrt(d_k)相当于把点积的方差拉回到1附近让softmax的输出分布更平滑。2.3 Multi-Head Attention到底在做什么单头注意力只能学到一种关注模式。Multi-head的做法是并行跑多个注意力头每个头有自己的W_Q、W_K、W_V最后把结果拼接起来再投影。你可以这样理解一个头可能关注语法关系主谓宾另一个头关注语义相似性还有一个头关注位置邻近性。多个头的结果拼接后模型就能同时捕捉多种类型的关系。class MultiHeadAttention(nn.Module): def __init__(self, embed_dim, num_heads): super().__init__() self.num_heads num_heads self.head_dim embed_dim // num_heads assert self.head_dim * num_heads embed_dim self.W_q nn.Linear(embed_dim, embed_dim) self.W_k nn.Linear(embed_dim, embed_dim) self.W_v nn.Linear(embed_dim, embed_dim) self.W_o nn.Linear(embed_dim, embed_dim) def forward(self, x): batch_size, seq_len, _ x.shape Q self.W_q(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) K self.W_k(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) V self.W_v(x).view(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2) scores torch.matmul(Q, K.transpose(-2, -1)) / (self.head_dim ** 0.5) attn torch.softmax(scores, dim-1) out torch.matmul(attn, V) out out.transpose(1, 2).contiguous().view(batch_size, seq_len, -1) return self.W_o(out)2.4 位置编码Transformer的盲区补丁Self-attention本身是置换不变的——你把输入序列的顺序打乱输出结果不变因为每个位置都和其他所有位置计算注意力。但语言是有顺序的猫追老鼠和老鼠追猫意思完全不同。位置编码就是用来注入顺序信息的。原始论文用的是正弦余弦编码def positional_encoding(seq_len, d_model): pe torch.zeros(seq_len, d_model) position torch.arange(0, seq_len).unsqueeze(1).float() div_term torch.exp(torch.arange(0, d_model, 2).float() * -(math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) return pe现在更常用的是可学习的位置编码或者RoPE旋转位置编码。RoPE的核心思想是把位置信息编码成旋转操作让注意力分数自然地带入相对位置信息。如果你在做长序列任务RoPE基本是标配。2.5 实际落地中的几个关键决策第一用预训练还是从头训。除非你有海量领域数据否则从头训Transformer基本不可能达到可用水平。HuggingFace上的预训练模型覆盖了大部分常见场景微调的成本远低于从头训练。第二Swin Transformer的窗口注意力什么时候用。如果你做的是图像任务标准Transformer的全局注意力计算量是O(n²)高分辨率图像上跑不动。Swin的做法是把图像分成不重叠的窗口在窗口内做注意力然后通过shift操作让窗口之间有信息交换。这个设计在目标检测和分割任务上效果很好。第三轻量Transformer的剪枝策略。移动端部署时可以通过减少头数、降低embedding维度、用知识蒸馏把大模型的能力迁移到小模型上。我实测下来蒸馏量化组合能把模型压到原来的1/4大小精度损失控制在2%以内。3. GNN当数据变成图3.1 什么场景该用GNN而不是TransformerTransformer处理的是序列或网格结构的数据每个元素之间的关系是隐含的通过注意力学出来。但有些数据本身就是图结构社交网络、分子结构、知识图谱、交通路网。这些场景下节点之间的连接关系是明确已知的用GNN比Transformer更自然。举个例子分子属性预测。一个分子就是一张图原子是节点化学键是边。你要预测这个分子有没有毒性。用GNN的话消息传递机制会沿着化学键聚合邻居原子的信息几层之后每个原子就包含了其局部化学环境的信息。这比把分子展平成序列喂给Transformer要合理得多。3.2 消息传递GNN的核心机制GNN的每一层都在做同一件事每个节点从邻居节点收集信息聚合后更新自己的表示。import torch import torch.nn as nn import torch.nn.functional as F class GCNLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.linear nn.Linear(in_dim, out_dim) def forward(self, x, adj): # adj是归一化后的邻接矩阵 support self.linear(x) output torch.matmul(adj, support) return F.relu(output)这里的adj通常要做对称归一化D^{-1/2} A D^{-1/2}其中D是度矩阵。归一化的目的是防止高度节点的特征值过大导致训练不稳定。3.3 GAT给邻居加权重GCN的一个问题是它对所有邻居一视同仁聚合时权重相同。但实际中不同邻居的重要性是不一样的。GATGraph Attention Network引入注意力机制来解决这个问题class GATLayer(nn.Module): def __init__(self, in_dim, out_dim, num_heads4): super().__init__() self.num_heads num_heads self.out_dim out_dim self.W nn.Linear(in_dim, out_dim * num_heads, biasFalse) self.a nn.Parameter(torch.zeros(num_heads, 2 * out_dim)) nn.init.xavier_uniform_(self.a) def forward(self, x, edge_index): h self.W(x).view(-1, self.num_heads, self.out_dim) src, dst edge_index # 计算注意力系数 edge_feat torch.cat([h[src], h[dst]], dim-1) # (E, heads, 2*out) e F.leaky_relu((edge_feat * self.a).sum(dim-1)) # (E, heads) # softmax归一化按目标节点 e self._edge_softmax(dst, e) # 聚合 out torch.zeros_like(h) msg h[src] * e.unsqueeze(-1) out.index_add_(0, dst, msg) return out.view(-1, self.num_heads * self.out_dim)GAT的注意力系数计算和Transformer很像区别在于GAT只在有边连接的节点之间计算注意力而Transformer是全连接。3.4 图级别的任务怎么做节点级别的任务节点分类直接取每个节点的输出就行。但图级别的任务整张图分类需要把所有节点的表示聚合成一个向量。常见做法有三种全局池化所有节点特征取平均或求和。简单但丢失结构信息。层次池化DiffPool等方法学习一个软分配矩阵把节点聚类成超节点逐层粗化。加虚拟节点添加一个和所有节点相连的虚拟节点它的表示就是整张图的表示。我实测下来对于中小规模图全局平均池化几层GNN的效果已经够用。图特别大或者结构信息很重要时再考虑层次池化。3.5 GNN的过平滑问题GNN层数多了之后所有节点的表示会趋于一致这叫过平滑over-smoothing。原因是每层都在做邻居聚合几层之后每个节点的感受野覆盖了整张图信息被过度平均了。解决方案有几个一是控制层数通常2-3层就够了二是用残差连接JKNet三是用DropEdge在训练时随机丢弃一些边相当于做数据增强四是用PairNorm等归一化方法。我在实际项目中一般用2层GCN或GAT配合残差连接基本不会遇到过平滑。4. 扩散模型从噪声中雕刻出数据4.1 前向过程把图片一步步变成噪声扩散模型的核心思想很优雅定义一个前向过程逐步向数据加高斯噪声直到数据变成纯噪声然后训练一个网络学习逆向过程从纯噪声逐步去噪恢复出数据。前向过程的公式很简单def forward_diffusion(x_0, T, beta_start1e-4, beta_end0.02): betas torch.linspace(beta_start, beta_end, T) alphas 1 - betas alpha_bars torch.cumprod(alphas, dim0) noise torch.randn_like(x_0) t torch.randint(0, T, (x_0.shape[0],)) alpha_bar_t alpha_bars[t].view(-1, 1, 1, 1) x_t torch.sqrt(alpha_bar_t) * x_0 torch.sqrt(1 - alpha_bar_t) * noise return x_t, noise, t这里有个重要的性质任意时刻t的x_t可以直接从x_0计算出来不需要一步步迭代。这大大加速了训练过程。4.2 逆向过程网络要学什么逆向过程是扩散模型真正需要训练的部分。网络接收x_t和时间步t预测添加的噪声ε。损失函数就是预测噪声和真实噪声的MSEclass DiffusionModel(nn.Module): def __init__(self, unet): super().__init__() self.unet unet def forward(self, x_t, t): return self.unet(x_t, t) def train_step(model, x_0, optimizer): x_t, noise, t forward_diffusion(x_0, T1000) predicted_noise model(x_t, t) loss F.mse_loss(predicted_noise, noise) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()4.3 采样怎么从噪声生成图片训练好之后采样过程是从纯噪声x_T开始逐步去噪torch.no_grad() def sample(model, n_samples, T1000): x torch.randn(n_samples, 3, 32, 32) for t in reversed(range(T)): t_batch torch.full((n_samples,), t, dtypetorch.long) predicted_noise model(x, t_batch) alpha alphas[t] alpha_bar alpha_bars[t] beta betas[t] if t 0: noise torch.randn_like(x) else: noise 0 x (1 / torch.sqrt(alpha)) * (x - (beta / torch.sqrt(1 - alpha_bar)) * predicted_noise) torch.sqrt(beta) * noise return x原始DDPM的采样需要1000步非常慢。后来有DDIM、DPM-Solver等加速方法可以把步数降到20-50步质量损失很小。4.4 潜在扩散模型在隐空间做扩散直接在像素空间做扩散计算量太大。潜在扩散模型LDM先用一个VAE把图像压缩到隐空间然后在隐空间做扩散。这样计算量能降低一个数量级。Stable Diffusion就是LDM的典型代表。它的架构包括VAE编码器图像→隐向量、U-Net隐空间去噪、VAE解码器隐向量→图像、以及一个文本编码器CLIP来注入文本条件。4.5 条件生成怎么控制扩散模型输出无条件生成只能随机出图实际应用需要条件控制。常见做法有Classifier Guidance训练一个分类器在采样时用分类器的梯度引导生成方向。效果好但需要额外训练分类器。Classifier-Free Guidance训练时随机丢弃条件让同一个网络既能做条件生成也能做无条件生成。采样时把两者的预测做外推。这是目前主流做法。Cross-Attention条件注入把文本编码通过cross-attention层注入U-Net让模型在去噪时关注文本信息。# Classifier-Free Guidance采样 def cfg_sample(model, condition, guidance_scale7.5): # 同时计算有条件预测和无条件预测 noise_cond model(x_t, t, condition) noise_uncond model(x_t, t, None) # 外推 noise_pred noise_uncond guidance_scale * (noise_cond - noise_uncond) return noise_predguidance_scale越大生成结果越贴近条件但多样性会下降。通常7-12之间比较合适。5. 强化学习让模型学会做决策5.1 强化学习和监督学习的本质区别监督学习是我给你正确答案你照着学。强化学习是你做一个动作环境给你一个分数你自己琢磨怎么提高分数。这个区别导致强化学习有几个独特的难点延迟奖励你现在的动作可能影响很久之后的奖励怎么把功劳/责任分配到正确的动作上探索与利用的权衡你是继续用已知的好策略还是尝试新动作可能发现更好的非独立同分布你的训练数据是你自己的策略产生的策略变了数据分布就变了。5.2 Q-Learning从值函数入手Q-Learning的核心是学一个Q函数Q(s, a)表示在状态s下做动作a能获得的期望累积奖励。有了Q函数策略就是选Q值最大的动作。class DQN(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, action_dim) ) def forward(self, state): return self.net(state) def train_dqn(env, episodes1000, gamma0.99, epsilon1.0): q_net DQN(env.observation_space.shape[0], env.action_space.n) target_net DQN(env.observation_space.shape[0], env.action_space.n) target_net.load_state_dict(q_net.state_dict()) optimizer torch.optim.Adam(q_net.parameters(), lr1e-3) replay_buffer [] for episode in range(episodes): state, _ env.reset() done False while not done: if random.random() epsilon: action env.action_space.sample() else: with torch.no_grad(): action q_net(torch.FloatTensor(state)).argmax().item() next_state, reward, done, _, _ env.step(action) replay_buffer.append((state, action, reward, next_state, done)) if len(replay_buffer) 1000: batch random.sample(replay_buffer, 32) states, actions, rewards, next_states, dones zip(*batch) states torch.FloatTensor(states) actions torch.LongTensor(actions) rewards torch.FloatTensor(rewards) next_states torch.FloatTensor(next_states) dones torch.FloatTensor(dones) q_values q_net(states).gather(1, actions.unsqueeze(1)).squeeze() with torch.no_grad(): next_q target_net(next_states).max(1)[0] target rewards gamma * next_q * (1 - dones) loss F.mse_loss(q_values, target) optimizer.zero_grad() loss.backward() optimizer.step() state next_state epsilon max(0.01, epsilon * 0.995) if episode % 10 0: target_net.load_state_dict(q_net.state_dict())这里有几个关键技巧经验回放replay buffer打破数据相关性目标网络target network稳定训练epsilon衰减平衡探索和利用。5.3 策略梯度直接优化策略Q-Learning适合离散动作空间。连续动作空间比如机械臂控制用策略梯度更合适。策略梯度直接参数化策略π(a|s)用奖励的梯度来更新参数。class PolicyNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.mean nn.Sequential( nn.Linear(state_dim, 128), nn.ReLU(), nn.Linear(128, action_dim) ) self.log_std nn.Parameter(torch.zeros(action_dim)) def forward(self, state): mean self.mean(state) std torch.exp(self.log_std) return torch.distributions.Normal(mean, std) def reinforce(env, episodes1000): policy PolicyNetwork(env.observation_space.shape[0], env.action_space.shape[0]) optimizer torch.optim.Adam(policy.parameters(), lr1e-3) for episode in range(episodes): log_probs [] rewards [] state, _ env.reset() done False while not done: dist policy(torch.FloatTensor(state)) action dist.sample() log_prob dist.log_prob(action).sum() next_state, reward, done, _, _ env.step(action.numpy()) log_probs.append(log_prob) rewards.append(reward) state next_state # 计算折扣回报 returns [] G 0 for r in reversed(rewards): G r 0.99 * G returns.insert(0, G) returns torch.FloatTensor(returns) returns (returns - returns.mean()) / (returns.std() 1e-8) loss -(torch.stack(log_probs) * returns).mean() optimizer.zero_grad() loss.backward() optimizer.step()REINFORCE的方差很大实际中更常用的是PPOProximal Policy Optimization它通过clip操作限制策略更新的幅度训练更稳定。5.4 离线强化学习没有环境交互怎么办很多实际场景中你没法让智能体在真实环境中反复试错比如医疗、金融。离线强化学习Offline RL就是从一批已有的历史数据中学习策略不需要和环境交互。离线RL的核心挑战是分布偏移你的策略可能选择数据集中没有出现过的动作导致Q值估计严重偏高。解决方案有CQLConservative Q-Learning、IQLImplicit Q-Learning等。IQL的思路是不显式估计未知动作的Q值而是通过expectile回归学一个值函数避免查询分布外的动作。5.5 强化学习的reward设计这是实际落地中最容易出问题的地方。reward设计不好智能体会学到各种钻空子的行为。比如你训练一个机器人走路reward是前进距离它可能学会在地上打滚而不是走路。几个实用原则一是reward要稠密不要只在最后给一个成功/失败信号二是可以用reward shaping加入中间引导但要小心不要改变最优策略三是多目标场景下要仔细设计各项reward的权重避免某一项主导训练。6. PINN把物理定律焊进神经网络6.1 PINN要解决的核心问题传统数值方法有限元、有限差分解偏微分方程需要网格划分复杂几何形状下网格生成很麻烦而且维度高了计算量爆炸。PINN的思路是用神经网络直接参数化解u(x, t)把PDE的残差作为损失函数的一部分让网络在训练中自动满足物理方程。6.2 PINN的损失函数设计PINN的损失通常由三部分组成def pinn_loss(model, x_collocation, x_boundary, x_initial, nu): # PDE残差损失在配点上 x_collocation.requires_grad_(True) u model(x_collocation) u_t torch.autograd.grad(u, x_collocation, grad_outputstorch.ones_like(u), create_graphTrue)[0][:, 0:1] u_x torch.autograd.grad(u, x_collocation, grad_outputstorch.ones_like(u), create_graphTrue)[0][:, 1:2] u_xx torch.autograd.grad(u_x, x_collocation, grad_outputstorch.ones_like(u_x), create_graphTrue)[0][:, 1:2] # 以Burgers方程为例: u_t u*u_x - nu*u_xx 0 residual u_t u * u_x - nu * u_xx loss_pde torch.mean(residual ** 2) # 边界条件损失 u_boundary model(x_boundary) loss_bc torch.mean(u_boundary ** 2) # 假设边界条件为0 # 初始条件损失 u_initial model(x_initial) loss_ic torch.mean((u_initial - u_initial_true) ** 2) return loss_pde loss_bc loss_ic关键点PDE残差涉及对网络输出的求导需要用torch.autograd.grad并设置create_graphTrue这样才能把梯度计算也纳入反向传播。6.3 配点策略在哪里采样训练点PINN不需要网格但需要在求解域内采样一些配点来计算PDE残差。配点的分布直接影响训练效果。均匀采样简单但在解变化剧烈的区域精度不够。自适应采样根据残差大小动态增加高残差区域的配点。这是目前效果最好的策略。拉丁超立方采样比均匀采样更好地覆盖空间。我实测下来先用均匀采样训练一个粗略的解然后根据残差分布重新采样迭代两三轮精度能提升一个数量级。6.4 PINN的训练难点与技巧PINN的训练比普通神经网络难得多主要难点在于多损失项平衡。PDE残差、边界条件、初始条件的量级可能差好几个数量级直接相加会导致某一项主导训练。解决方案有手动调权重、用NTKNeural Tangent Kernel理论自适应调整权重、或者用梯度归一化。优化器选择。Adam适合前期快速下降但后期精度不够。L-BFGS在后期能把精度推得更高。实践中常用Adam跑几千步再用L-BFGS精调。网络架构。简单的全连接网络在有些问题上表现不好。可以用傅里叶特征映射Fourier feature mapping增强网络对高频信息的捕捉能力或者用Modified MLP在每层加入输入的直接连接。6.5 PINN和传统数值方法的对比维度PINN传统数值方法网格需求无网格需要网格划分高维问题相对友好维度灾难精度中等1e-3~1e-5高可达机器精度训练时间长分钟到小时短秒到分钟逆问题天然支持需要额外处理复杂几何灵活网格生成困难PINN最大的优势在逆问题已知观测数据反推方程中的未知参数。传统方法需要反复求解正问题来拟合参数PINN直接把未知参数也作为可学习变量一起优化。7. 技术组合实战五个方向怎么串起来7.1 组合模式一Transformer 扩散模型这是目前最成熟的组合。Transformer做条件编码文本、类别、其他模态扩散模型做生成。Stable Diffusion 3和Sora都是这个架构。具体做法用Transformer编码条件信息得到条件嵌入在U-Net的每个分辨率层通过cross-attention注入条件。训练时随机丢弃条件10%概率让模型同时具备条件和无条件生成能力。7.2 组合模式二GNN 强化学习这个组合在组合优化、交通信号控制、分子设计等场景很常见。GNN负责编码图结构的状态路网、分子图、社交网络强化学习负责做决策。比如交通信号控制每个路口是一个节点路段是边。GNN编码当前交通状态输出每个路口的嵌入表示强化学习根据这些表示决定每个路口的信号灯相位。GNN让智能体能够泛化到不同规模的路网。7.3 组合模式三PINN 强化学习这个组合在机器人控制中很有价值。强化学习学控制策略PINN学环境动力学模型。PINN的物理约束保证学到的动力学模型不会违反基本物理规律能量守恒、动量守恒等。具体做法用PINN学一个可微的环境模型然后在模型上做规划或策略优化。因为PINN是可微的梯度可以直接从奖励传回动作训练效率比无模型方法高很多。7.4 组合模式四Transformer GNN图Transformer是最近的一个热点。核心思路是用Transformer的注意力机制替换GNN的消息传递但保留图结构的归纳偏置比如只在有边连接的节点之间计算注意力或者把图结构信息编码到位置编码中。Graphormer是典型代表它在标准Transformer的基础上加入了中心性编码、空间编码和边编码让注意力能够感知图结构。7.5 组合模式五扩散模型 强化学习扩散策略Diffusion Policy是最近机器人领域的一个亮点。用扩散模型建模动作分布而不是用高斯分布。扩散模型能表示多模态的动作分布同一个状态下可能有多种合理的动作这在复杂操作任务中很重要。训练时把状态作为条件动作序列作为生成目标用扩散模型的损失训练。推理时从噪声开始去噪生成动作序列。8. 落地实战中的工程经验8.1 训练基础设施的选择五个方向对计算资源的需求不同。Transformer和扩散模型对GPU显存要求最高建议至少24GB显存起步。GNN和PINN相对轻量16GB显存够用。强化学习看环境复杂度简单环境CPU都能跑复杂环境如机械臂仿真需要GPU加速。混合精度训练AMP基本是标配能省30%-50%显存速度提升20%-30%。但PINN要小心因为PDE残差涉及高阶求导fp16精度可能不够建议PINN用fp32或者fp64。8.2 数据管线的设计Transformer和扩散模型需要大量数据数据加载很容易成为瓶颈。用WebDataset格式打包数据配合多进程加载能显著提升吞吐。GNN的图数据建议预处理好邻接矩阵和特征存成稀疏格式避免每次前向传播都重新构建图。8.3 模型部署的注意事项扩散模型的推理速度是部署的最大瓶颈。除了DDIM等采样加速方法还可以用模型量化INT8、算子融合、以及蒸馏到更少步数的模型。我实测下来50步DDIM INT8量化在消费级GPU上生成一张512x512图片大约0.5秒。Transformer部署可以用ONNX Runtime或TensorRT加速。GNN部署相对麻烦因为图结构是动态的需要用支持动态图的推理框架。8.4 常见踩坑记录Transformer的attention mask搞错。这是最常见的bug。padding位置必须mask掉否则softmax会分配到不该有的注意力。解码器的causal mask也要确保上三角被mask。GNN的邻接矩阵没有归一化。不归一化的话高度节点的特征值会爆炸训练几轮就nan了。扩散模型的噪声调度选错。线性beta schedule在低分辨率图像上还行高分辨率上效果不好。cosine schedule更通用。强化学习的reward没有归一化。不同环境的reward量级差异很大不归一化的话学习率很难调。PINN的边界条件没有严格满足。软约束的方式下边界条件只是被鼓励满足不是强制的。如果边界条件很重要可以用硬约束把边界条件编码到网络输出中。9. 学习资源和进阶路径9.1 各方向的入门材料Transformer方面除了原始论文The Illustrated Transformer那篇博客讲得很直观。代码方面Andrej Karpathy的nanoGPT是很好的入门实现几百行代码把GPT的核心逻辑讲清楚了。GNN方面PyGPyTorch Geometric的官方文档和示例很全。理论方面Distill.pub上那篇A Gentle Introduction to Graph Neural Networks值得反复读。扩散模型方面Lilian Weng的博客文章是经典入门材料。代码方面HuggingFace的diffusers库封装得很好适合快速上手。强化学习方面David Silver的课程是经典但偏理论。代码实践推荐CleanRL每个算法一个独立文件代码简洁清晰。PINN方面原始论文Raissi et al., 2019必读。代码方面DeepXDE是一个专门做PINN的库封装了很多常见PDE的求解模板。9.2 从会用到会改的进阶会用工具只是第一步。真正拉开差距的是能不能根据具体问题修改模型架构、损失函数、训练策略。建议的进阶路径先复现经典论文的结果确保理解每个细节然后在一个实际问题上应用记录所有踩坑和调参过程最后尝试改进——换一个损失函数、加一个正则项、改一下网络结构看效果有没有提升。9.3 2026年的技术趋势判断从最近的研究动向看几个趋势比较明显一是多模态融合会继续深化Transformer作为通用骨干的地位短期内不会变但会有更多针对特定模态的改进。二是扩散模型在生成领域的统治地位会加强同时在决策扩散策略、分子设计等非传统生成任务上的应用会增多。三是物理约束和深度学习的结合会更紧密PINN只是其中一种形式还有神经算子、物理信息高斯过程等方向。四是强化学习会更多地和基础模型结合用大模型做高层规划用小模型做底层控制。这些趋势意味着单独掌握任何一个方向都不够需要建立跨方向的知识连接。这也是为什么我建议按本文的框架来系统学习而不是孤立地学每一个技术。我个人在实际项目中的体会是这五个方向里Transformer和扩散模型的工程化最成熟踩坑最少GNN的坑主要在数据处理和批处理上强化学习的坑在reward设计和训练稳定性PINN的坑在损失平衡和优化器选择。如果你时间有限优先把Transformer和扩散模型吃透这两个的就业面最广。GNN和强化学习根据你的具体方向选择性深入。PINN比较垂直除非你做科学计算或物理仿真否则可以先了解基本思想用到的时候再深入。