1. 项目概述从歌词生成到TensorFlow实践最近在整理一些老项目翻到了几年前用TensorFlow 1.x折腾的一个歌词生成模型。当时觉得挺有意思但代码写得比较乱文档也缺失了。正好看到现在网上关于“lyrics_generation”和“TensorFlow”的讨论又热了起来特别是很多新手在纠结TensorFlow和PyTorch哪个更适合入门。我决定把这个项目用现代的TensorFlow 2.x重新复现一遍一方面算是给自己做个技术归档另一方面也希望能给那些想用TensorFlow上手自然语言生成NLG的朋友提供一个清晰、可操作的案例。歌词生成这个任务很有意思它不像机器翻译那么严谨也不像对话生成那么需要逻辑它允许模型有一定的“创造性”和“模糊性”非常适合用来理解循环神经网络RNN或者Transformer在序列生成上的核心思想。这次复现我会聚焦于如何用TensorFlow构建一个端到端的歌词生成流水线从数据爬取清洗、模型构建、训练调优到最后的推理部署把每个环节的坑和技巧都摊开来聊聊。2. 项目整体设计与思路拆解2.1 为什么选择歌词生成作为练手项目很多人学深度学习一上来就奔着图像分类、目标检测去结果被复杂的模型结构和数据预处理劝退。歌词生成是一个被低估的入门好项目。首先数据相对容易获取网上有大量公开的歌词文本。其次任务目标直观给你一段开头让模型接着写下去。这能让你清晰地感受到语言模型是如何“学习”和“创造”的。最后它的评估既有客观指标如困惑度也有主观趣味性生成的歌词是否通顺、有韵味不会像纯学术任务那么枯燥。对于理解序列到序列Seq2Seq或自回归生成模型这是一个完美的沙盒。2.2 技术栈选型TensorFlow 2.x的当下之选看到热搜词里在讨论“tensorflow与pytorch的流行趋势 2024”和“那个适用于初级教学”我的看法是对于新手尤其是想扎实理解底层机制和工程部署的TensorFlow 2.x依然是一个极佳的选择。PyTorch的动态图确实在研究和快速原型上更灵活但TensorFlow 2.x通过tf.kerasAPI提供了难以置信的简洁性和一致性其静态图优化和强大的生产级工具链如TensorFlow Serving、TF Lite是它的护城河。这次复现我决定全面采用TensorFlow 2.x的tf.keras接口它比老版的tf.Session友好太多代码写起来几乎和PyTorch一样直观但又继承了TensorFlow的工程化优势。至于安装强烈建议使用虚拟环境这也是“虚拟环境安装tensorflow”成为热词的原因它能完美解决依赖冲突问题。2.3 核心模型架构演进思考最早的歌词生成多用基于LSTM的Seq2Seq模型加上注意力机制。这几年Transformer大火尤其是GPT这类decoder-only的模型在文本生成上表现惊人。但对于一个复现兼教学项目我打算采取一个循序渐进的路线先实现一个基于LSTM的语言模型作为基线再升级到一个小型的Transformer Decoder。这样做的目的是先让大家理解最基础的文本生成流程数据准备、词嵌入、循环网络、采样策略然后再引入更现代但也更复杂的自注意力机制。两个模型我都会用TensorFlow实现并对比它们的效果和特点。2.4 数据处理与评估策略设计歌词数据有其特殊性段落分明、常有重复的副歌、包含大量口语化和非标准用语。我们的数据处理流程需要包含爬虫获取原始文本、按歌曲和歌手进行清洗、处理特殊符号和换行、构建词汇表。评估方面除了标准的验证集损失和困惑度Perplexity我还会加入人工评估环节因为对于创作型文本有时候一个低困惑度但平庸的句子远不如一个稍高困惑度但有灵感的句子。我们会设计一些开头的“种子”文本让模型生成直观感受其创作能力。3. 核心细节解析与实操要点3.1 数据获取与清洗构建高质量的歌词语料库数据是模型的天花板。我选择从一些公开的歌词网站通过API或爬虫遵守robots.txt获取数据。关键步骤包括歌曲信息结构化不仅获取歌词文本还要记录歌手、专辑、流派等信息。这有助于后续做更细粒度的分析或训练特定风格的生成器。文本清洗标准化去除元信息删除像[Verse 1][Chorus]这样的标记但可以考虑将它们转换为特殊令牌让模型学习歌曲结构。统一格式将全角字符转为半角统一英文大小写通常转为小写但保留专有名词可能更有益。处理重复副歌歌词中副歌会重复出现这是重要特征不应简单去重而应保留其重复模式。分词Tokenization对于中文歌词需要分词。对于英文可以用空格分词但更推荐使用子词分词算法如Byte Pair Encoding (BPE)或SentencePiece这能有效解决未登录词OOV问题。TensorFlow Text库提供了很好的支持。注意爬虫需控制请求频率避免对目标网站造成压力。清洗后的文本建议保存为纯文本文件每行一首歌的歌词或一个段落方便后续读取。3.2 词汇表与数值化文本到张量的桥梁清洗后的文本需要转换成模型能处理的数字。这里涉及两个关键对象Tokenizer和Vocabulary。使用tf.keras.layers.TextVectorization这是TensorFlow 2.x中处理文本的利器。它可以自动构建词汇表并将文本序列转换为整数索引序列。我们需要设定一个最大的词汇表大小如20000超出部分的词会被标记为[UNK]未知词。# 示例初始化一个文本向量化层 vectorize_layer tf.keras.layers.TextVectorization( max_tokens20000, output_modeint, output_sequence_length50 # 设定序列长度不足填充过长截断 ) # 适配数据构建词汇表 vectorize_layer.adapt(train_text_ds) # train_text_ds 是tf.data.Dataset对象序列长度与填充歌词长短不一。我们需要设定一个固定的序列长度如50个词。短于此长度的序列需要在末尾填充Padding长于此的则需要截断Truncating。在训练时通常采用“后填充”和“前截断”或“后截断”。创建训练样本滑动窗口对于语言模型我们的目标是给定前N个词预测第N1个词。因此我们需要从整段歌词中创建多个重叠的固定长度片段。例如对于序列[A, B, C, D, E, F]和序列长度5可以创建样本([A,B,C,D], E)和([B,C,D,E], F)。tf.data.Dataset的window和flat_map方法可以优雅地实现这一点。3.3 模型构建核心LSTM与Transformer的抉择方案A基于LSTM的语言模型这是一个经典的架构易于理解。import tensorflow as tf from tensorflow.keras import layers def build_lstm_lm(vocab_size, embedding_dim256, lstm_units512): model tf.keras.Sequential([ layers.Embedding(input_dimvocab_size, output_dimembedding_dim), layers.LSTM(lstm_units, return_sequencesTrue), # 第一层LSTM layers.LSTM(lstm_units, return_sequencesTrue), # 可以堆叠多层 layers.Dense(lstm_units, activationrelu), layers.Dense(vocab_size) # 输出层每个时间步预测词汇表上的概率分布 ]) return model关键点return_sequencesTrue确保了每个时间步都有输出而不仅仅是最后一步。损失函数使用SparseCategoricalCrossentropy(from_logitsTrue)因为我们输出的是未归一化的logits。方案B基于Transformer Decoder的语言模型这是更现代的方案并行计算效率高能捕捉长距离依赖。def build_transformer_lm(vocab_size, seq_length50, d_model256, num_heads8, ff_dim1024, num_layers4): inputs layers.Input(shape(seq_length,)) x layers.Embedding(vocab_size, d_model)(inputs) # 位置编码至关重要因为Transformer本身没有序列顺序信息 positions tf.range(start0, limitseq_length, delta1) position_embedding layers.Embedding(input_dimseq_length, output_dimd_model)(positions) x x position_embedding # 构建多层Transformer Decoder Block # 注意这是一个简化的Decoder没有Encoder-Decoder注意力更像GPT for _ in range(num_layers): # 自注意力层需要因果掩码防止看到未来信息 attn_output layers.MultiHeadAttention(num_headsnum_heads, key_dimd_model//num_heads)(x, x, use_causal_maskTrue) x layers.LayerNormalization(epsilon1e-6)(x attn_output) # Add Norm # 前馈网络 ffn_output layers.Dense(ff_dim, activationrelu)(x) ffn_output layers.Dense(d_model)(ffn_output) x layers.LayerNormalization(epsilon1e-6)(x ffn_output) # Add Norm outputs layers.Dense(vocab_size)(x) model tf.keras.Model(inputsinputs, outputsoutputs) return model关键点use_causal_maskTrue是生成模型的核心它确保了在预测第t个词时模型只能看到1到t-1的词。位置编码让模型感知词序。实操心得对于新手强烈建议先从LSTM模型开始把数据流、训练循环、生成逻辑跑通。然后再挑战Transformer你会更深刻地理解注意力机制和位置编码的必要性。在资源有限的情况下比如个人电脑小型的LSTM模型可能比一个层数很浅的Transformer训练更快效果也不差。4. 实操过程与核心环节实现4.1 环境搭建与依赖安装为了避免“tensorflow安装”带来的各种依赖地狱使用虚拟环境是唯一推荐的选择。这里以conda为例venv或pipenv同理# 创建并激活一个名为lyrics_gen的Python3.9环境 conda create -n lyrics_gen python3.9 conda activate lyrics_gen # 安装TensorFlow。根据是否有GPU选择版本。 # CPU版本 pip install tensorflow2.13.0 # GPU版本需提前安装CUDA和cuDNN pip install tensorflow[and-cuda]2.13.0 # 安装其他辅助库 pip install numpy pandas requests beautifulsoup4 # 用于数据爬取和清洗 pip install tensorflow-text # 用于更高级的分词可选但推荐 pip install matplotlib # 用于画图验证安装python -c “import tensorflow as tf; print(tf.__version__)”。4.2 构建端到端的数据管道tf.dataTensorFlow的tf.dataAPI能高效构建数据输入流水线尤其适合处理大量文本数据。def prepare_dataset(text_lines, vectorize_layer, seq_length50, batch_size64, buffer_size10000): text_lines: 歌词文本列表每个元素是一首歌的字符串。 # 创建Dataset ds tf.data.Dataset.from_tensor_slices(text_lines) # 向量化文本转数字 ds ds.map(lambda x: vectorize_layer(x), num_parallel_callstf.data.AUTOTUNE) # 生成滑动窗口样本 (features, label) def split_input_target(chunk): input_text chunk[:-1] target_text chunk[1:] return input_text, target_text ds ds.flat_map(lambda x: tf.data.Dataset.from_tensor_slices(x).window(seq_length1, shift1, drop_remainderTrue)) ds ds.flat_map(lambda window: window.batch(seq_length1)) ds ds.map(split_input_target, num_parallel_callstf.data.AUTOTUNE) # 打乱、分批、预取 ds ds.shuffle(buffer_size).batch(batch_size).prefetch(tf.data.AUTOTUNE) return ds # 假设train_texts是清洗后的歌词列表 train_ds prepare_dataset(train_texts, vectorize_layer) val_ds prepare_dataset(val_texts, vectorize_layer) # 验证集这个管道实现了并行化处理和预加载能极大提升GPU利用率。4.3 模型训练与超参数调优有了数据和模型训练就相对标准了。但有几个细节需要注意损失函数与优化器使用SparseCategoricalCrossentropy(from_logitsTrue)作为损失。优化器首选AdamWAdam with weight decay它比普通Adam泛化能力更好。学习率可以使用余弦退火或带热重启的余弦退火tf.keras.optimizers.schedules.CosineDecayRestarts这对Transformer模型尤其有效。# 定义学习率调度 lr_schedule tf.keras.optimizers.schedules.CosineDecayRestarts( initial_learning_rate1e-3, first_decay_steps1000, t_mul2.0, m_mul0.5, ) optimizer tf.keras.optimizers.AdamW(learning_ratelr_schedule, weight_decay1e-4) model.compile(losstf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue), optimizeroptimizer, metrics[accuracy]) # 可以监控准确率但主要看loss回调函数Callbacks这是TensorFlow训练中的神器。ModelCheckpoint: 定期保存最佳模型。EarlyStopping: 当验证集损失不再下降时提前停止防止过拟合。TensorBoard: 可视化训练过程监控损失曲线、学习率变化等。callbacks [ tf.keras.callbacks.ModelCheckpoint(best_model.keras, monitorval_loss, save_best_onlyTrue), tf.keras.callbacks.EarlyStopping(monitorval_loss, patience5), tf.keras.callbacks.TensorBoard(log_dir./logs) ]开始训练history model.fit(train_ds, epochs50, validation_dataval_ds, callbackscallbacks)4.4 文本生成策略从贪婪搜索到核采样训练好的模型是一个概率分布预测器。如何从这个分布中“采样”出下一个词是生成文本的关键。这里介绍三种常见策略贪婪搜索Greedy Search直接选择概率最大的词。简单高效但容易导致重复、乏味的文本。def generate_greedy(model, start_string, num_generate100): input_eval vectorize_layer([start_string]) input_eval tf.expand_dims(input_eval, 0) text_generated [] for i in range(num_generate): predictions model(input_eval) # 去掉批次维度取最后一个时间步的预测 predictions tf.squeeze(predictions, 0)[-1, :] predicted_id tf.argmax(predictions).numpy() # 贪婪选择 # 将预测的词追加到输入继续预测 input_eval tf.concat([input_eval, tf.expand_dims([predicted_id], 0)], axis1) # 只保留固定长度模拟滑动窗口 input_eval input_eval[:, -seq_length:] text_generated.append(predicted_id) return vectorize_layer.get_vocabulary()[predicted_id] for id in text_generated]随机采样Random Sampling根据概率分布随机采样。多样性高但可能产生不连贯的胡言乱语。predicted_id tf.random.categorical(tf.expand_dims(predictions, 0), num_samples1)[-1,0].numpy()核采样Top-p Sampling这是目前主流的方法。它从累积概率超过阈值p的最小候选词集合中随机采样。平衡了生成质量和多样性。def top_p_sampling(logits, p0.9): sorted_indices tf.argsort(logits, directionDESCENDING) sorted_logits tf.gather(logits, sorted_indices) cumulative_probs tf.math.cumsum(tf.nn.softmax(sorted_logits)) # 找到第一个累积概率超过p的位置 indices_to_remove cumulative_probs p # 确保至少有一个token indices_to_remove tf.concat([[False], indices_to_remove[:-1]], axis0) # 将不需要的token logits设为负无穷 filtered_logits tf.where(indices_to_remove, -float(Inf), sorted_logits) # 从过滤后的分布中采样 sampled_index tf.random.categorical(tf.expand_dims(filtered_logits, 0), 1)[0,0] return sorted_indices[sampled_index]在生成循环中用top_p_sampling(predictions, p0.9)代替tf.argmax。实操心得对于歌词生成我通常使用温度调节Temperature的随机采样或核采样。温度参数T用于调整概率分布的平滑程度T1是原始分布T1分布更平更多样化T1分布更尖锐更确定、更保守。new_logits logits / T。结合温度如T0.8和核采样p0.9往往能得到既有创意又相对通顺的句子。5. 常见问题与排查技巧实录在复现和训练过程中你几乎一定会遇到下面这些问题。这里我把我的排查经验记录下来。5.1 模型不收敛或损失为NaN症状训练几个epoch后损失值变成NaN或者一直在高位震荡不下降。排查与解决检查数据首先确认输入数据中没有NaN或无穷大的值。检查vectorize_layer的词汇表是否正常构建输入序列是否包含过多的[UNK]。梯度爆炸这是RNN/LSTM的常见病。解决方案梯度裁剪Gradient Clipping在编译模型时设置optimizer tf.keras.optimizers.Adam(clipvalue1.0)或clipnorm1.0。降低学习率尝试将初始学习率调低一个数量级如从1e-3降到1e-4。使用更稳定的RNN变体比如GRU或者为LSTM设置recurrent_dropout。损失函数设置确保SparseCategoricalCrossentropy设置了from_logitsTrue。如果你的模型输出层用了softmax激活则这里要设为False。混用会导致数值不稳定。权重初始化对于深层Transformer检查初始化。tf.keras.initializers中的GlorotNormal或HeNormal通常是安全的选择。5.2 模型过拟合严重症状训练损失持续下降但验证损失很早就开始上升生成的文本像是在死记硬背训练集。排查与解决数据量歌词生成需要相当大的数据量。如果只有几千首歌过拟合几乎不可避免。尝试收集更多数据或者使用数据增强如随机删除、交换词语但对语义破坏需谨慎。模型复杂度你的模型可能太大了。减少LSTM的单元数、Transformer的层数(num_layers)或头数(num_heads)。正则化技术Dropout在Embedding层后、LSTM层之间dropout和recurrent_dropout参数、Transformer的FFN层后添加Dropout。权重衰减使用AdamW优化器并设置weight_decay参数如1e-4。早停EarlyStopping务必使用这是防止过拟合的最后一道防线。标签平滑Label Smoothing在损失函数中应用标签平滑可以减轻模型对训练数据的过度自信。loss tf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue, label_smoothing0.1)5.3 生成文本重复、无意义或陷入循环症状模型生成像“哈哈哈 哈哈哈 哈哈哈”或者“我爱你 我爱你 我爱你”这样的无限重复片段或者生成一堆乱码。排查与解决采样策略立即放弃贪婪搜索。这是贪婪搜索的典型缺陷。切换到核采样Top-p并配合温度Temperature。调整p值0.7~0.95和T值0.7~1.0直到效果满意。重复惩罚Repetition Penalty在采样时手动降低已经生成过的token的概率。可以在采样函数中实现一个简单的惩罚机制。def apply_repetition_penalty(logits, generated_ids, penalty1.2): for id in set(generated_ids): logits[id] / penalty # 让出现过的词概率降低 return logits检查训练数据如果训练数据本身就有大量重复比如很多歌的副歌完全相同模型就会学到这个模式。可以在预处理时对极端重复的段落进行轻微处理但需小心不要破坏歌曲结构。模型容量与训练程度模型太小或训练不足无法学到有效的语言模式就会输出高频词或乱码。确保模型有足够的容量并训练足够多的epoch。5.4 训练速度慢GPU利用率低症状训练一个epoch要很久使用nvidia-smi查看发现GPU利用率波动很大经常掉到很低水平。排查与解决数据管道瓶颈90%的情况出在这里。确保你使用了tf.data的prefetch、cache和num_parallel_calls参数。最佳实践在map、batch、shuffle之后一定要加.prefetch(tf.data.AUTOTUNE)。批次大小Batch Size在GPU内存允许的范围内尽可能增大batch_size。更大的批次能提高并行度。但注意太大的批次可能影响泛化性能有时需要相应增大学习率。序列长度seq_length是性能的关键。太短如20可能学不到长依赖太长如200会显著增加计算量和内存占用尤其是对于Transformer计算复杂度是序列长度的平方。从50-100开始尝试。使用混合精度训练TensorFlow 2.x支持自动混合精度能大幅提升训练速度并减少显存占用。from tensorflow.keras import mixed_precision policy mixed_precision.Policy(mixed_float16) mixed_precision.set_global_policy(policy)注意这可能需要你的GPU支持如Volta架构及以上。模型层面对于Transformer检查d_model嵌入维度和ff_dim前馈网络维度是否设置过大。对于LSTM检查lstm_units的数量。5.5 保存与加载模型后生成结果不一致症状训练时生成效果不错但保存模型再加载后用同样的种子文本生成结果完全不同或变差。排查与解决保存方式确保使用model.save(model.keras)推荐Keras格式或tf.saved_model.save保存整个模型而不是只保存权重。只保存权重需要你重新实例化模型结构如果代码有变动容易出错。随机种子文本生成涉及随机采样。确保在生成前固定TensorFlow、Python和Numpy的随机种子以保证可复现性。import random import numpy as np import tensorflow as tf SEED 42 tf.random.set_seed(SEED) np.random.seed(SEED) random.seed(SEED)预处理层状态TextVectorization层保存了词汇表。如果你用model.save保存了整个模型包含该层那么加载时词汇表会自动恢复。如果分开保存需要确保加载模型后vectorize_layer的词汇表与训练时完全一致。采样函数检查你的自定义采样函数如top_p_sampling在加载模型后是否被正确调用以及其内部逻辑是否引入了不确定性。这个项目复现下来最大的体会就是深度学习项目成功的关键往往不在最炫酷的模型而在于扎实的数据处理、稳定的训练流程和细致的调试。歌词生成就像一个有趣的实验室让你能直观地看到模型从“胡言乱语”到“略有章法”的进化过程。当你调整一个超参数看到生成歌词的风格从民谣变成了说唱那种感觉比单纯看准确率数字上涨要有趣得多。最后给想尝试的朋友一个建议先从一个小数据集比如某个你喜欢的歌手的全部作品和一个小模型开始快速迭代把整个流程跑通获得正反馈。然后再去挑战更大的数据和更复杂的模型这样学习曲线会平滑很多。