1. 从序列到功能为什么蛋白质需要自己的“语言模型”如果你接触过AI尤其是自然语言处理NLP那么“语言模型”这个词对你来说一定不陌生。从GPT到BERT这些模型通过阅读海量的文本学会了预测下一个词、理解句子含义甚至能进行创作。但你可能没想过这种“阅读”和“理解”的能力同样可以应用在另一种“语言”上——蛋白质的氨基酸序列。蛋白质是生命活动的核心执行者从催化生化反应的酶到构成细胞骨架的结构蛋白再到传递信号的受体其功能千变万化。而决定这一切的是蛋白质由20种标准氨基酸以特定顺序排列而成的一维“句子”。这个“句子”在三维空间中折叠成复杂的结构从而具备了特定的功能。长期以来科学家们面临一个核心挑战如何仅从一维的氨基酸序列这串“字母”准确预测其三维结构和功能这被称为“蛋白质折叠问题”是生物学领域的“圣杯”之一。传统的实验方法如X射线晶体衍射或冷冻电镜虽然精确但耗时耗力且成本高昂。计算方法如分子动力学模拟计算复杂度极高难以处理大型蛋白质。这时基于Transformer架构的蛋白质语言模型如ESMEvolutionary Scale Modeling为我们打开了一扇新的大门。它的核心思想非常巧妙将蛋白质的进化信息“编码”进模型。在自然界中功能重要的蛋白质区域在进化过程中会受到更强的约束其氨基酸序列的变化会更保守。通过在海量数十亿计已知的天然蛋白质序列上进行无监督训练ESM这类模型学会了捕捉这种深层的进化模式和序列间的统计规律。它不再仅仅“看到”单个氨基酸而是理解了整个蛋白质“家族”在亿万年间进化留下的“语义”和“语法”。因此当你把一段全新的、未知的氨基酸序列输入ESM时它实际上是在用从整个生命进化史中学到的“知识”来解读这段序列。它能告诉你哪些区域可能暴露在表面哪些可能藏在内部哪些残基对功能至关重要甚至能直接预测出每个残基在三维空间中的坐标。这就像是一个精通所有人类语言和历史的学者看到一段从未见过的古老文字却能根据其字符的搭配规律推断出它可能表达的含义和背后的文化背景。ESM的出现极大地加速了蛋白质设计、药物靶点发现、酶工程等领域的研究让“读”懂蛋白质这本无字天书变得前所未有的高效和强大。2. ESM的核心Transformer架构如何“理解”蛋白质序列要理解ESM为何强大我们必须深入其核心——Transformer架构。这个在NLP领域掀起革命的模型为何能完美适配蛋白质序列分析关键在于其处理“长程依赖”和提取“上下文信息”的卓越能力。2.1 从词嵌入到残基嵌入序列的数字化表示在自然语言中单词首先被转化为数字向量即词嵌入Word Embedding。在ESM中这个过程变成了“残基嵌入”Residue Embedding。每个氨基酸如丙氨酸‘A’、丝氨酸‘S’被映射为一个高维向量例如1280维。这个向量并非随机赋值而是在模型预训练过程中学习得到的它编码了该氨基酸在亿万蛋白质序列上下文中的统计特性。例如经常在蛋白质活性中心共同出现的氨基酸它们的向量在空间中的距离会更近。2.2 自注意力机制捕捉全局的进化关联Transformer最革命性的组件是自注意力Self-Attention机制。对于蛋白质序列它的作用可以这样理解序列中第i个氨基酸的最终表示是由序列中所有其他氨基酸包括它自己的表示加权求和得到的。这个“权重”就是注意力分数它衡量了第j个氨基酸对理解第i个氨基酸的重要性。这在生物学上意义非凡。一个蛋白质的功能位点往往由空间上接近但序列上可能相隔很远的多个残基共同构成长程相互作用。传统的循环神经网络RNN在处理这种长距离依赖时信息会随着传递距离增长而衰减或丢失。而自注意力机制允许序列中的任意两个位置直接“对话”无论它们相距多远。这使得ESM能够直接捕捉到例如位于蛋白质序列开头和结尾的两个残基之间可能存在的功能性耦合这种耦合在进化中往往是共变的——一个位置发生突变另一个位置也会发生补偿性突变以维持功能。ESM通过注意力权重自动学习并凸显了这些关键的进化关联。2.3 多层编码器堆叠从局部模式到全局语义一个ESM模型通常由数十层Transformer编码器堆叠而成如ESM-2有150亿参数包含多达48层。信息在层与层之间流动和转化底层更多地关注局部模式比如相邻氨基酸的偏好性二肽、三肽频率学习基本的生化特性疏水性、电荷。中层开始识别二级结构元件如α螺旋、β折叠的倾向性片段。高层整合全局信息形成对蛋白质整体折叠类型、功能域、乃至与其他蛋白质相互作用界面的“理解”。每一层都在前一层的抽象表示基础上构建更复杂、更全局的表征。最终从最后一个Transformer层输出的每个氨基酸的表示向量是一个富含信息的“上下文感知嵌入”。这个嵌入是进行所有下游预测任务如结构预测、功能注释的基石。注意与NLP中的BERT使用[MASK]进行掩码语言模型训练类似ESM在预训练时也会随机掩码掉序列中的部分氨基酸让模型根据上下文去预测被掩码的原生氨基酸。这个过程迫使模型去学习氨基酸之间的深层依赖关系而不仅仅是记忆序列。3. 实战指南如何使用ESM进行蛋白质结构与功能预测理论很美妙但如何上手ESM系列模型主要是ESMFold和ESM-2已经由Meta AI开源并提供了非常友好的Python接口。下面我将带你走通一个完整的流程从环境搭建到得到预测结果。3.1 环境准备与模型加载首先你需要一个具备Python环境和一定计算资源推荐使用GPU因为推理速度会快很多的机器。最便捷的方式是使用Google Colab或类似的云端GPU环境。# 1. 创建并激活虚拟环境推荐 conda create -n esm_env python3.9 conda activate esm_env # 2. 安装PyTorch请根据你的CUDA版本到PyTorch官网选择对应命令 # 例如对于CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 3. 安装ESM库和生物信息学常用工具 pip install fair-esm pip install biopython安装完成后就可以在Python脚本中加载模型了。ESM-2提供了多种规模的预训练模型从800万参数到150亿参数不等。参数越多预测通常越准但所需内存和计算时间也呈指数级增长。对于大多数单链蛋白质的结构预测ESMFold基于ESM-3B模型是一个在精度和速度间取得很好平衡的选择。import torch import esm # 加载ESMFold模型和结构预测所需的字母表 model, alphabet esm.pretrained.esmfold_v1() model model.eval() # 设置为评估模式 # 如果有GPU将模型移到GPU上 if torch.cuda.is_available(): model model.cuda() print(模型已加载至GPU) else: print(使用CPU运行速度会较慢)3.2 输入序列处理与结构预测模型加载后你需要准备你的蛋白质序列。序列必须是标准的氨基酸单字母代码字符串并且长度最好在1024以内这是ESMFold训练时的主要范围虽然理论上能处理更长的但精度和内存消耗会成问题。# 你的目标蛋白质序列以胰岛素为例 sequence MALWMRLLPLLALLALWGPDPAAAFVNQHLCGSHLVEALYLVCGERGFFYTPKTRREAEDLQVGQVELGGGPGAGSLQPLALEGSLQKRGIVEQCCTSICSLYQLENYCN # 使用字母表将序列转换为模型可接受的格式 batch_converter alphabet.get_batch_converter() data [(protein1, sequence)] # 可以批量处理多个序列 batch_labels, batch_strs, batch_tokens batch_converter(data) # 将数据同样移至GPU如果可用 if torch.cuda.is_available(): batch_tokens batch_tokens.cuda() # 关键一步禁用梯度计算以节省内存进行推理 with torch.no_grad(): # 模型输出包含预测的蛋白质结构原子坐标 output model(batch_tokens)output是一个字典其中最重要的键是positions它包含了预测的蛋白质骨架原子N, Cα, C的三维坐标。此外还可能包含plddt预测的局部距离差异测试Per-Residue Confidence Score这是一个介于0-100之间的分数用于衡量每个残基位置预测的可信度分数越高越可信。3.3 结果可视化与解读得到坐标后我们可以用biopython和py3Dmol等库来可视化3D结构并分析pLDDT置信度。import py3Dmol import numpy as np # 从输出中提取预测的Cα原子坐标和pLDDT分数 ca_positions output[positions][-1, :, 1, :].cpu().numpy() # 取最后一层预测Cα原子 plddt_scores output[plddt][0].cpu().numpy() # pLDDT分数 # 创建一个PDB格式的字符串这里需要将坐标和序列信息组装成PDB格式过程略 # 假设我们已经生成了pdb_string view py3Dmol.view(width800, height600) view.addModel(pdb_string, pdb) view.setStyle({cartoon: {colorscheme: plddt}}) # 用pLDDT分数着色 view.zoomTo() view.show()在可视化窗口中蛋白质结构会以卡通形式显示颜色从蓝色高置信度pLDDT 90过渡到黄色、橙色直至红色低置信度pLDDT 50。通常蛋白质核心的疏水区域折叠稳定预测置信度高显示为蓝色而柔性loop区域或无序区域预测不确定性大显示为黄色或红色。实操心得对于长度超过400的蛋白质在Colab的免费GPU如T4上运行ESMFold可能会遇到内存不足OOM的问题。一个实用的技巧是使用chunk_size参数进行分块推理或者退而求其次使用更小的ESM-2模型来提取特征再结合其他轻量级结构预测方法。另外永远不要只看最终的三维结构一定要仔细检查pLDDT图谱。低置信度区域红色的局部结构很可能是错误的在后续的分子对接或功能分析中应谨慎对待或直接忽略。4. 超越结构预测ESM在蛋白质工程与设计中的高级应用预测已知序列的结构只是ESM能力的冰山一角。其真正的威力在于对序列空间的“理解”这使得它在蛋白质工程和从头设计De Novo Design中成为不可或缺的工具。4.1 零样本突变效应预测快速筛选功能突变体假设你有一个酶想通过定点突变来提高其热稳定性或催化活性。传统方法需要构建庞大的突变库并进行繁琐的实验筛选。利用ESM我们可以进行“零样本”Zero-shot预测。原理是模型在预训练时已经学习了自然序列的分布一个“好”的突变即能够保持折叠和功能的突变应该使得突变后的序列更“像”一个自然蛋白质从而在模型的表示空间中具有更高的“可能性”。# 使用ESM-2模型计算野生型和突变型序列的伪似然度 model, alphabet esm.pretrained.esm2_t36_3B_UR50D() # 加载一个ESM-2模型 batch_converter alphabet.get_batch_converter() wild_seq MALWMRLLPLLALLALWGPDPAAAFVNQHLCGSHLVEALYLVCGERGFFYTPKTRREAEDLQVGQVELGGGPGAGSLQPLALEGSLQKRGIVEQCCTSICSLYQLENYCN mutant_seq MALWMRLLPLLALLALWGPDPAAAFVNQHLCGSHLVEALYLVCGERGFFYTPKTRREAEDLQVGQVELGGGPGAGSLQPLALEGSLQKRGIVEQCCTSICSLYQLENYCN # 假设我们修改了某个位置 data [(wild, wild_seq), (mutant, mutant_seq)] labels, strs, tokens batch_converter(data) with torch.no_grad(): # 计算每个位置的氨基酸对数似然 results model(tokens, repr_layers[33]) # 获取最后一层的表示 logits results[logits] # 形状: (batch_size, seq_len, vocab_size) # 我们需要计算序列的伪似然这里是一个简化示例 # 实际中可以使用esm库的esm.pretrained.predict_sequence_logprob功能通过比较野生型和多个突变型序列的模型评分如伪似然值或序列熵的变化可以快速排名哪些突变可能是有益的、中性的或有害的从而将实验验证的目标从成千上万个缩小到几十个最有希望的候选。4.2 蛋白质表征提取为下游任务提供强大特征ESM输出的每个残基的上下文嵌入向量是一个信息极度稠密的表示。这个向量可以作为特征输入到各种下游任务的机器学习模型中显著提升其性能这被称为“迁移学习”。功能注释将整个蛋白质序列的嵌入向量取平均或池化输入一个分类器可以预测蛋白质的Gene OntologyGO术语、酶学委员会EC编号或是否参与特定通路。蛋白质-蛋白质相互作用预测将两个相互作用蛋白质的序列嵌入进行拼接或交叉注意力计算可以预测它们是否相互作用以及结合位点。抗原性预测在疫苗设计中利用ESM嵌入来预测病毒蛋白片段肽段的免疫原性。这些应用无需从头训练庞大的模型通常只需要一个相对较小的标注数据集几百到几千个样本来微调一个在ESM嵌入之上的浅层神经网络如多层感知机MLP就能达到甚至超越专门为这些任务设计的复杂模型的效果。4.3 引导蛋白质生成从功能需求反向设计序列这是最前沿也最激动人心的方向。既然ESM学会了蛋白质序列的“语言规则”我们能否让它像GPT生成文章一样生成具有特定功能或结构的新蛋白质序列答案是肯定的这类方法通常被称为“基于梯度的蛋白质设计”或“幻觉”Hallucination。其核心思想是定义一个“损失函数”来描述我们想要的设计目标例如结构要像一个特定的折叠支架表面要有一个特定的结合口袋形状。然后我们从一个随机序列或一个天然序列骨架开始不是优化模型参数而是将序列本身作为可优化变量。通过反向传播计算损失相对于序列中每个氨基酸的梯度然后沿着减少损失的方向更新序列在离散的氨基酸空间中进行采样。反复迭代这个过程最终“引导”模型生成一个全新的、符合我们功能需求的序列。# 概念性伪代码展示基于梯度的序列设计思路 import torch.nn.functional as F target_structure load_target_pocket() # 加载目标结合口袋的3D坐标 initial_sequence torch.randn(seq_len, 20).requires_grad_(True) # 将序列表示为可训练的张量 optimizer torch.optim.Adam([initial_sequence], lr0.01) for step in range(1000): optimizer.zero_grad() # 1. 将当前序列表示通过ESM模型得到结构预测 predicted_structure esm_model(softmax(initial_sequence)) # 2. 计算预测结构与目标结构之间的损失如RMSD loss compute_rmsd(predicted_structure, target_structure) # 3. 反向传播梯度会一直传递到initial_sequence loss.backward() # 4. 更新序列 optimizer.step() # 5. 将更新后的序列张量投影回合法的氨基酸概率分布 # 最终从优化后的initial_sequence中采样得到确定的新氨基酸序列 final_sequence sample_amino_acid(initial_sequence)目前像ProteinMPNN这样的模型专门优化了序列生成过程与ESMFold或AlphaFold2等结构预测模型结合形成了“结构预测-序列设计”的闭环已经成功设计出了在自然界中不存在的、具有全新功能的蛋白质。5. 避坑与优化ESM应用中的常见问题与解决方案在实际使用ESM的过程中你肯定会遇到各种挑战。下面我总结了一些常见坑点及其应对策略希望能帮你少走弯路。5.1 内存溢出OOM问题与处理策略这是使用大型ESM模型尤其是ESMFold进行长序列预测时最常遇到的问题。问题根因Transformer的自注意力机制计算复杂度与序列长度的平方成正比O(n²)。一个长度为L的序列注意力矩阵的大小是L×L。当L超过1000时这个矩阵会变得非常庞大轻易撑爆GPU内存例如L1500时单精度浮点数的注意力矩阵约占用150015004 bytes ≈ 9 GB这还不包括键、值矩阵和中间激活值。解决方案序列截断与分块对于多结构域蛋白质可以尝试根据域预测结果如使用Pfam数据库将序列在域边界处断开分别预测后再拼接。但这可能丢失域间相互作用信息。使用模型自带的chunk_size参数ESMFold的推理代码支持设置chunk_size。它将长序列分成重叠的小块分别计算注意力最后再整合。这能显著降低峰值内存但可能会轻微影响长程相互作用的建模精度。with torch.no_grad(): output model(batch_tokens, chunk_size128) # 尝试不同的chunk大小如64, 128降低精度使用混合精度推理torch.cuda.amp或直接将模型加载为半精度model.half()。这可以将内存占用减半但需注意数值稳定性。升级硬件或使用云端对于常规研究考虑使用配备更大显存如24GB以上的GPU或利用Google Colab Pro、AWS、Azure等云服务的付费GPU实例。退而求其次如果只想进行功能预测而非高精度结构预测可以使用参数量更小的ESM-2模型如ESM-2 650M来提取序列嵌入特征这几乎可以处理任何长度的序列。5.2 低置信度pLDDT区域的处理与解读pLDDT分数是评估预测质量的金标准但如何正确解读它至关重要。低pLDDT的可能原因本质无序区域蛋白质中确实存在天然无序区域IDRs它们没有固定的三维结构。ESM预测它们时自然会给出低置信度。这不是模型的错误而是反映了真实的生物学特性。数据稀缺该序列片段在训练数据中缺乏同源序列模型无法从进化信息中获得足够的约束。复合物或多链相互作用如果目标蛋白质是某个复合物的一部分单独预测其单链结构会缺失与配体或其他蛋白质链的相互作用信息导致界面区域置信度低。模型能力边界对于某些非常规折叠或全新折叠Fold模型可能无法准确预测。应对策略交叉验证将低置信度区域序列单独提交到其他预测服务器如AlphaFold2、RoseTTAFold或本地运行的ColabFold看结果是否一致。实验验证优先对于计划进行后续生化实验如突变、结合的关键功能区域如果预测置信度低必须优先通过实验如核磁共振、圆二色谱来验证其结构或无序状态。关注高置信度核心在药物设计中通常优先靶向pLDDT 70或80的高置信度区域这些区域的结构预测相对可靠。利用无序预测工具使用专门的蛋白质无序区域预测工具如IUPred2A、PONDR进行辅助判断。如果多个工具都预测该区域为无序那么ESM的低pLDDT很可能证实了这一点。5.3 超长序列、复合物与特殊修饰的处理ESM主要针对标准的、单链的、未修饰的蛋白质序列进行训练。面对更复杂的情况需要特别处理。超长序列如前所述主要挑战是内存。除了分块还可以考虑使用“递归”预测策略先预测整体拓扑再对局部低置信度区域进行精细化重预测。蛋白质复合物ESMFold本身是单链预测器。预测复合物结构时标准做法是将多条链的序列用特定的连接符如“:”拼接成一个长序列输入。但这只是一种启发式方法对于强相互作用的界面预测可能不准。专门为复合物设计的AlphaFold-Multimer或RoseTTAFold for complexes是更好的选择。翻译后修饰与非标准氨基酸ESM的词汇表只包含20种标准氨基酸和少数特殊字符如未知“X”、间隙“-”。它无法直接处理磷酸化、糖基化等修饰也无法理解非天然氨基酸。处理这类序列时通常将修饰位点用原始氨基酸代替但必须清楚这会导致该位置及其周围区域的预测不可靠。这是一个活跃的研究领域需要结合专门的力场或知识库。5.4 模型版本与生态工具的选择ESM家族在不断更新社区也涌现了大量工具。模型选择指南ESM-2适用于需要提取高质量序列嵌入的所有任务如功能预测、突变效应分析、进化分析。版本从8M到15B越大通常性能越好但650M或3B版本在大多数任务上已是性价比之选。ESMFold专为高精度单链蛋白质结构预测设计。它基于一个3B参数的ESM-2模型并集成了一个结构模块。在大多数情况下其精度接近AlphaFold2但速度更快。ESM-3最新一代规模更大在多项基准测试中刷新了记录。但模型文件巨大对计算资源要求极高更适合机构研究而非个人尝试。推荐生态工具ESM Metagenomic Atlas如果你有一个未知的序列可以将其与ESM构建的宏基因组蛋白质结构数据库进行比对寻找结构同源物。ProteinMPNN与ESMFold/AlphaFold2联用的最佳序列设计工具基于蛋白质结构的逆向序列设计。OpenFoldAlphaFold2的开源复现训练代码和数据完全开源适合深入研究模型细节或进行自定义训练。最后保持对结果的批判性思维至关重要。计算预测始终是实验的指南和补充而非替代。将ESM视为一个强大的“计算显微镜”它能让你看到以前看不到的蛋白质世界图景但最终生物学真相仍需在试管和细胞中得到验证。
1. 从序列到功能为什么蛋白质需要自己的“语言模型”如果你接触过AI尤其是自然语言处理NLP那么“语言模型”这个词对你来说一定不陌生。从GPT到BERT这些模型通过阅读海量的文本学会了预测下一个词、理解句子含义甚至能进行创作。但你可能没想过这种“阅读”和“理解”的能力同样可以应用在另一种“语言”上——蛋白质的氨基酸序列。蛋白质是生命活动的核心执行者从催化生化反应的酶到构成细胞骨架的结构蛋白再到传递信号的受体其功能千变万化。而决定这一切的是蛋白质由20种标准氨基酸以特定顺序排列而成的一维“句子”。这个“句子”在三维空间中折叠成复杂的结构从而具备了特定的功能。长期以来科学家们面临一个核心挑战如何仅从一维的氨基酸序列这串“字母”准确预测其三维结构和功能这被称为“蛋白质折叠问题”是生物学领域的“圣杯”之一。传统的实验方法如X射线晶体衍射或冷冻电镜虽然精确但耗时耗力且成本高昂。计算方法如分子动力学模拟计算复杂度极高难以处理大型蛋白质。这时基于Transformer架构的蛋白质语言模型如ESMEvolutionary Scale Modeling为我们打开了一扇新的大门。它的核心思想非常巧妙将蛋白质的进化信息“编码”进模型。在自然界中功能重要的蛋白质区域在进化过程中会受到更强的约束其氨基酸序列的变化会更保守。通过在海量数十亿计已知的天然蛋白质序列上进行无监督训练ESM这类模型学会了捕捉这种深层的进化模式和序列间的统计规律。它不再仅仅“看到”单个氨基酸而是理解了整个蛋白质“家族”在亿万年间进化留下的“语义”和“语法”。因此当你把一段全新的、未知的氨基酸序列输入ESM时它实际上是在用从整个生命进化史中学到的“知识”来解读这段序列。它能告诉你哪些区域可能暴露在表面哪些可能藏在内部哪些残基对功能至关重要甚至能直接预测出每个残基在三维空间中的坐标。这就像是一个精通所有人类语言和历史的学者看到一段从未见过的古老文字却能根据其字符的搭配规律推断出它可能表达的含义和背后的文化背景。ESM的出现极大地加速了蛋白质设计、药物靶点发现、酶工程等领域的研究让“读”懂蛋白质这本无字天书变得前所未有的高效和强大。2. ESM的核心Transformer架构如何“理解”蛋白质序列要理解ESM为何强大我们必须深入其核心——Transformer架构。这个在NLP领域掀起革命的模型为何能完美适配蛋白质序列分析关键在于其处理“长程依赖”和提取“上下文信息”的卓越能力。2.1 从词嵌入到残基嵌入序列的数字化表示在自然语言中单词首先被转化为数字向量即词嵌入Word Embedding。在ESM中这个过程变成了“残基嵌入”Residue Embedding。每个氨基酸如丙氨酸‘A’、丝氨酸‘S’被映射为一个高维向量例如1280维。这个向量并非随机赋值而是在模型预训练过程中学习得到的它编码了该氨基酸在亿万蛋白质序列上下文中的统计特性。例如经常在蛋白质活性中心共同出现的氨基酸它们的向量在空间中的距离会更近。2.2 自注意力机制捕捉全局的进化关联Transformer最革命性的组件是自注意力Self-Attention机制。对于蛋白质序列它的作用可以这样理解序列中第i个氨基酸的最终表示是由序列中所有其他氨基酸包括它自己的表示加权求和得到的。这个“权重”就是注意力分数它衡量了第j个氨基酸对理解第i个氨基酸的重要性。这在生物学上意义非凡。一个蛋白质的功能位点往往由空间上接近但序列上可能相隔很远的多个残基共同构成长程相互作用。传统的循环神经网络RNN在处理这种长距离依赖时信息会随着传递距离增长而衰减或丢失。而自注意力机制允许序列中的任意两个位置直接“对话”无论它们相距多远。这使得ESM能够直接捕捉到例如位于蛋白质序列开头和结尾的两个残基之间可能存在的功能性耦合这种耦合在进化中往往是共变的——一个位置发生突变另一个位置也会发生补偿性突变以维持功能。ESM通过注意力权重自动学习并凸显了这些关键的进化关联。2.3 多层编码器堆叠从局部模式到全局语义一个ESM模型通常由数十层Transformer编码器堆叠而成如ESM-2有150亿参数包含多达48层。信息在层与层之间流动和转化底层更多地关注局部模式比如相邻氨基酸的偏好性二肽、三肽频率学习基本的生化特性疏水性、电荷。中层开始识别二级结构元件如α螺旋、β折叠的倾向性片段。高层整合全局信息形成对蛋白质整体折叠类型、功能域、乃至与其他蛋白质相互作用界面的“理解”。每一层都在前一层的抽象表示基础上构建更复杂、更全局的表征。最终从最后一个Transformer层输出的每个氨基酸的表示向量是一个富含信息的“上下文感知嵌入”。这个嵌入是进行所有下游预测任务如结构预测、功能注释的基石。注意与NLP中的BERT使用[MASK]进行掩码语言模型训练类似ESM在预训练时也会随机掩码掉序列中的部分氨基酸让模型根据上下文去预测被掩码的原生氨基酸。这个过程迫使模型去学习氨基酸之间的深层依赖关系而不仅仅是记忆序列。3. 实战指南如何使用ESM进行蛋白质结构与功能预测理论很美妙但如何上手ESM系列模型主要是ESMFold和ESM-2已经由Meta AI开源并提供了非常友好的Python接口。下面我将带你走通一个完整的流程从环境搭建到得到预测结果。3.1 环境准备与模型加载首先你需要一个具备Python环境和一定计算资源推荐使用GPU因为推理速度会快很多的机器。最便捷的方式是使用Google Colab或类似的云端GPU环境。# 1. 创建并激活虚拟环境推荐 conda create -n esm_env python3.9 conda activate esm_env # 2. 安装PyTorch请根据你的CUDA版本到PyTorch官网选择对应命令 # 例如对于CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 3. 安装ESM库和生物信息学常用工具 pip install fair-esm pip install biopython安装完成后就可以在Python脚本中加载模型了。ESM-2提供了多种规模的预训练模型从800万参数到150亿参数不等。参数越多预测通常越准但所需内存和计算时间也呈指数级增长。对于大多数单链蛋白质的结构预测ESMFold基于ESM-3B模型是一个在精度和速度间取得很好平衡的选择。import torch import esm # 加载ESMFold模型和结构预测所需的字母表 model, alphabet esm.pretrained.esmfold_v1() model model.eval() # 设置为评估模式 # 如果有GPU将模型移到GPU上 if torch.cuda.is_available(): model model.cuda() print(模型已加载至GPU) else: print(使用CPU运行速度会较慢)3.2 输入序列处理与结构预测模型加载后你需要准备你的蛋白质序列。序列必须是标准的氨基酸单字母代码字符串并且长度最好在1024以内这是ESMFold训练时的主要范围虽然理论上能处理更长的但精度和内存消耗会成问题。# 你的目标蛋白质序列以胰岛素为例 sequence MALWMRLLPLLALLALWGPDPAAAFVNQHLCGSHLVEALYLVCGERGFFYTPKTRREAEDLQVGQVELGGGPGAGSLQPLALEGSLQKRGIVEQCCTSICSLYQLENYCN # 使用字母表将序列转换为模型可接受的格式 batch_converter alphabet.get_batch_converter() data [(protein1, sequence)] # 可以批量处理多个序列 batch_labels, batch_strs, batch_tokens batch_converter(data) # 将数据同样移至GPU如果可用 if torch.cuda.is_available(): batch_tokens batch_tokens.cuda() # 关键一步禁用梯度计算以节省内存进行推理 with torch.no_grad(): # 模型输出包含预测的蛋白质结构原子坐标 output model(batch_tokens)output是一个字典其中最重要的键是positions它包含了预测的蛋白质骨架原子N, Cα, C的三维坐标。此外还可能包含plddt预测的局部距离差异测试Per-Residue Confidence Score这是一个介于0-100之间的分数用于衡量每个残基位置预测的可信度分数越高越可信。3.3 结果可视化与解读得到坐标后我们可以用biopython和py3Dmol等库来可视化3D结构并分析pLDDT置信度。import py3Dmol import numpy as np # 从输出中提取预测的Cα原子坐标和pLDDT分数 ca_positions output[positions][-1, :, 1, :].cpu().numpy() # 取最后一层预测Cα原子 plddt_scores output[plddt][0].cpu().numpy() # pLDDT分数 # 创建一个PDB格式的字符串这里需要将坐标和序列信息组装成PDB格式过程略 # 假设我们已经生成了pdb_string view py3Dmol.view(width800, height600) view.addModel(pdb_string, pdb) view.setStyle({cartoon: {colorscheme: plddt}}) # 用pLDDT分数着色 view.zoomTo() view.show()在可视化窗口中蛋白质结构会以卡通形式显示颜色从蓝色高置信度pLDDT 90过渡到黄色、橙色直至红色低置信度pLDDT 50。通常蛋白质核心的疏水区域折叠稳定预测置信度高显示为蓝色而柔性loop区域或无序区域预测不确定性大显示为黄色或红色。实操心得对于长度超过400的蛋白质在Colab的免费GPU如T4上运行ESMFold可能会遇到内存不足OOM的问题。一个实用的技巧是使用chunk_size参数进行分块推理或者退而求其次使用更小的ESM-2模型来提取特征再结合其他轻量级结构预测方法。另外永远不要只看最终的三维结构一定要仔细检查pLDDT图谱。低置信度区域红色的局部结构很可能是错误的在后续的分子对接或功能分析中应谨慎对待或直接忽略。4. 超越结构预测ESM在蛋白质工程与设计中的高级应用预测已知序列的结构只是ESM能力的冰山一角。其真正的威力在于对序列空间的“理解”这使得它在蛋白质工程和从头设计De Novo Design中成为不可或缺的工具。4.1 零样本突变效应预测快速筛选功能突变体假设你有一个酶想通过定点突变来提高其热稳定性或催化活性。传统方法需要构建庞大的突变库并进行繁琐的实验筛选。利用ESM我们可以进行“零样本”Zero-shot预测。原理是模型在预训练时已经学习了自然序列的分布一个“好”的突变即能够保持折叠和功能的突变应该使得突变后的序列更“像”一个自然蛋白质从而在模型的表示空间中具有更高的“可能性”。# 使用ESM-2模型计算野生型和突变型序列的伪似然度 model, alphabet esm.pretrained.esm2_t36_3B_UR50D() # 加载一个ESM-2模型 batch_converter alphabet.get_batch_converter() wild_seq MALWMRLLPLLALLALWGPDPAAAFVNQHLCGSHLVEALYLVCGERGFFYTPKTRREAEDLQVGQVELGGGPGAGSLQPLALEGSLQKRGIVEQCCTSICSLYQLENYCN mutant_seq MALWMRLLPLLALLALWGPDPAAAFVNQHLCGSHLVEALYLVCGERGFFYTPKTRREAEDLQVGQVELGGGPGAGSLQPLALEGSLQKRGIVEQCCTSICSLYQLENYCN # 假设我们修改了某个位置 data [(wild, wild_seq), (mutant, mutant_seq)] labels, strs, tokens batch_converter(data) with torch.no_grad(): # 计算每个位置的氨基酸对数似然 results model(tokens, repr_layers[33]) # 获取最后一层的表示 logits results[logits] # 形状: (batch_size, seq_len, vocab_size) # 我们需要计算序列的伪似然这里是一个简化示例 # 实际中可以使用esm库的esm.pretrained.predict_sequence_logprob功能通过比较野生型和多个突变型序列的模型评分如伪似然值或序列熵的变化可以快速排名哪些突变可能是有益的、中性的或有害的从而将实验验证的目标从成千上万个缩小到几十个最有希望的候选。4.2 蛋白质表征提取为下游任务提供强大特征ESM输出的每个残基的上下文嵌入向量是一个信息极度稠密的表示。这个向量可以作为特征输入到各种下游任务的机器学习模型中显著提升其性能这被称为“迁移学习”。功能注释将整个蛋白质序列的嵌入向量取平均或池化输入一个分类器可以预测蛋白质的Gene OntologyGO术语、酶学委员会EC编号或是否参与特定通路。蛋白质-蛋白质相互作用预测将两个相互作用蛋白质的序列嵌入进行拼接或交叉注意力计算可以预测它们是否相互作用以及结合位点。抗原性预测在疫苗设计中利用ESM嵌入来预测病毒蛋白片段肽段的免疫原性。这些应用无需从头训练庞大的模型通常只需要一个相对较小的标注数据集几百到几千个样本来微调一个在ESM嵌入之上的浅层神经网络如多层感知机MLP就能达到甚至超越专门为这些任务设计的复杂模型的效果。4.3 引导蛋白质生成从功能需求反向设计序列这是最前沿也最激动人心的方向。既然ESM学会了蛋白质序列的“语言规则”我们能否让它像GPT生成文章一样生成具有特定功能或结构的新蛋白质序列答案是肯定的这类方法通常被称为“基于梯度的蛋白质设计”或“幻觉”Hallucination。其核心思想是定义一个“损失函数”来描述我们想要的设计目标例如结构要像一个特定的折叠支架表面要有一个特定的结合口袋形状。然后我们从一个随机序列或一个天然序列骨架开始不是优化模型参数而是将序列本身作为可优化变量。通过反向传播计算损失相对于序列中每个氨基酸的梯度然后沿着减少损失的方向更新序列在离散的氨基酸空间中进行采样。反复迭代这个过程最终“引导”模型生成一个全新的、符合我们功能需求的序列。# 概念性伪代码展示基于梯度的序列设计思路 import torch.nn.functional as F target_structure load_target_pocket() # 加载目标结合口袋的3D坐标 initial_sequence torch.randn(seq_len, 20).requires_grad_(True) # 将序列表示为可训练的张量 optimizer torch.optim.Adam([initial_sequence], lr0.01) for step in range(1000): optimizer.zero_grad() # 1. 将当前序列表示通过ESM模型得到结构预测 predicted_structure esm_model(softmax(initial_sequence)) # 2. 计算预测结构与目标结构之间的损失如RMSD loss compute_rmsd(predicted_structure, target_structure) # 3. 反向传播梯度会一直传递到initial_sequence loss.backward() # 4. 更新序列 optimizer.step() # 5. 将更新后的序列张量投影回合法的氨基酸概率分布 # 最终从优化后的initial_sequence中采样得到确定的新氨基酸序列 final_sequence sample_amino_acid(initial_sequence)目前像ProteinMPNN这样的模型专门优化了序列生成过程与ESMFold或AlphaFold2等结构预测模型结合形成了“结构预测-序列设计”的闭环已经成功设计出了在自然界中不存在的、具有全新功能的蛋白质。5. 避坑与优化ESM应用中的常见问题与解决方案在实际使用ESM的过程中你肯定会遇到各种挑战。下面我总结了一些常见坑点及其应对策略希望能帮你少走弯路。5.1 内存溢出OOM问题与处理策略这是使用大型ESM模型尤其是ESMFold进行长序列预测时最常遇到的问题。问题根因Transformer的自注意力机制计算复杂度与序列长度的平方成正比O(n²)。一个长度为L的序列注意力矩阵的大小是L×L。当L超过1000时这个矩阵会变得非常庞大轻易撑爆GPU内存例如L1500时单精度浮点数的注意力矩阵约占用150015004 bytes ≈ 9 GB这还不包括键、值矩阵和中间激活值。解决方案序列截断与分块对于多结构域蛋白质可以尝试根据域预测结果如使用Pfam数据库将序列在域边界处断开分别预测后再拼接。但这可能丢失域间相互作用信息。使用模型自带的chunk_size参数ESMFold的推理代码支持设置chunk_size。它将长序列分成重叠的小块分别计算注意力最后再整合。这能显著降低峰值内存但可能会轻微影响长程相互作用的建模精度。with torch.no_grad(): output model(batch_tokens, chunk_size128) # 尝试不同的chunk大小如64, 128降低精度使用混合精度推理torch.cuda.amp或直接将模型加载为半精度model.half()。这可以将内存占用减半但需注意数值稳定性。升级硬件或使用云端对于常规研究考虑使用配备更大显存如24GB以上的GPU或利用Google Colab Pro、AWS、Azure等云服务的付费GPU实例。退而求其次如果只想进行功能预测而非高精度结构预测可以使用参数量更小的ESM-2模型如ESM-2 650M来提取序列嵌入特征这几乎可以处理任何长度的序列。5.2 低置信度pLDDT区域的处理与解读pLDDT分数是评估预测质量的金标准但如何正确解读它至关重要。低pLDDT的可能原因本质无序区域蛋白质中确实存在天然无序区域IDRs它们没有固定的三维结构。ESM预测它们时自然会给出低置信度。这不是模型的错误而是反映了真实的生物学特性。数据稀缺该序列片段在训练数据中缺乏同源序列模型无法从进化信息中获得足够的约束。复合物或多链相互作用如果目标蛋白质是某个复合物的一部分单独预测其单链结构会缺失与配体或其他蛋白质链的相互作用信息导致界面区域置信度低。模型能力边界对于某些非常规折叠或全新折叠Fold模型可能无法准确预测。应对策略交叉验证将低置信度区域序列单独提交到其他预测服务器如AlphaFold2、RoseTTAFold或本地运行的ColabFold看结果是否一致。实验验证优先对于计划进行后续生化实验如突变、结合的关键功能区域如果预测置信度低必须优先通过实验如核磁共振、圆二色谱来验证其结构或无序状态。关注高置信度核心在药物设计中通常优先靶向pLDDT 70或80的高置信度区域这些区域的结构预测相对可靠。利用无序预测工具使用专门的蛋白质无序区域预测工具如IUPred2A、PONDR进行辅助判断。如果多个工具都预测该区域为无序那么ESM的低pLDDT很可能证实了这一点。5.3 超长序列、复合物与特殊修饰的处理ESM主要针对标准的、单链的、未修饰的蛋白质序列进行训练。面对更复杂的情况需要特别处理。超长序列如前所述主要挑战是内存。除了分块还可以考虑使用“递归”预测策略先预测整体拓扑再对局部低置信度区域进行精细化重预测。蛋白质复合物ESMFold本身是单链预测器。预测复合物结构时标准做法是将多条链的序列用特定的连接符如“:”拼接成一个长序列输入。但这只是一种启发式方法对于强相互作用的界面预测可能不准。专门为复合物设计的AlphaFold-Multimer或RoseTTAFold for complexes是更好的选择。翻译后修饰与非标准氨基酸ESM的词汇表只包含20种标准氨基酸和少数特殊字符如未知“X”、间隙“-”。它无法直接处理磷酸化、糖基化等修饰也无法理解非天然氨基酸。处理这类序列时通常将修饰位点用原始氨基酸代替但必须清楚这会导致该位置及其周围区域的预测不可靠。这是一个活跃的研究领域需要结合专门的力场或知识库。5.4 模型版本与生态工具的选择ESM家族在不断更新社区也涌现了大量工具。模型选择指南ESM-2适用于需要提取高质量序列嵌入的所有任务如功能预测、突变效应分析、进化分析。版本从8M到15B越大通常性能越好但650M或3B版本在大多数任务上已是性价比之选。ESMFold专为高精度单链蛋白质结构预测设计。它基于一个3B参数的ESM-2模型并集成了一个结构模块。在大多数情况下其精度接近AlphaFold2但速度更快。ESM-3最新一代规模更大在多项基准测试中刷新了记录。但模型文件巨大对计算资源要求极高更适合机构研究而非个人尝试。推荐生态工具ESM Metagenomic Atlas如果你有一个未知的序列可以将其与ESM构建的宏基因组蛋白质结构数据库进行比对寻找结构同源物。ProteinMPNN与ESMFold/AlphaFold2联用的最佳序列设计工具基于蛋白质结构的逆向序列设计。OpenFoldAlphaFold2的开源复现训练代码和数据完全开源适合深入研究模型细节或进行自定义训练。最后保持对结果的批判性思维至关重要。计算预测始终是实验的指南和补充而非替代。将ESM视为一个强大的“计算显微镜”它能让你看到以前看不到的蛋白质世界图景但最终生物学真相仍需在试管和细胞中得到验证。
)
