尧图网站建设 
LTX-2 微调选型LoRA 还是全量训练【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2你手里有了 LTX-2 音视频生成模型想让它学会自己的风格或能力。问题就摆在面前微调有三条路——LoRA、IC-LoRA、全模型训练各自占的显存、迭代速度、能改的东西都不一样。这篇文章先给你选型坐标再给每条路线的最小可跑命令看完直接选一条开跑。先回答三个问题定位你的路线决策维度你的情况对应路线显存预算单卡80GB 以内32GB 也行LoRA / IC-LoRA4-8 张 H100 80GB 可用全模型训练可行定制深度改风格、特定对象LoRA用参考视频/音频控制生成IC-LoRA要改模型的基础行为全模型训练迭代速度几天内验证想法LoRA / IC-LoRA如果只记一条默认从 LoRA 起步。配置文件里所有模式的training_mode默认都是lora官方注释的理由就三个词——更快、更省内存、防过拟合。路线一LoRA最省事的起点LoRALow-Rank Adaptation低秩适配不碰原模型权重只在旁边训练一小组低秩矩阵。产出是个小文件推理时想插就插、想拔就拔。适用场景文生视频、图生视频、音频到视频、视频延长、补绘、外扩……几乎所有模式都是 LoRA 路线configs 目录下每种模式都有现成配置例如 t2v_lora.yaml、i2v_lora.yaml、a2v_lora.yaml。最小可跑流程以 T2V 为例git clone https://gitcode.com/GitHub_Trending/lt/LTX-2 cd LTX-2 uv sync cd packages/ltx-trainer视频配好字幕后先预处理成 latentsVAE 压缩后的潜表示和文本嵌入uv run python scripts/process_dataset.py dataset.json \ --resolution-buckets 960x544x49 \ --model-path /path/to/ltx-2-checkpoint.safetensors \ --text-encoder-path /path/to/gemma-root把配置文件里模型、文本编码器、数据三个路径改掉开训uv run python scripts/train.py configs/t2v_lora.yaml产出物checkpoints/lora_weights_step_XXXXX.safetensors加上samples/目录里的验证视频。生产推理用 ltx-pipelines 包管线通过loras参数加载你的适配器。路线二IC-LoRA从成对数据里学变换IC-LoRAIn-Context LoRA上下文 LoRA的差别在于训练时把参考视频的 latents 拼进序列模型学的是看到这个参考就产出目标画面。风格迁移、深度图控制、姿态控制、上色这类任务用它。适用场景你有成对数据——每个目标视频对应一个参考视频或参考音频。现成配置v2v_ic_lora.yaml、a2a_ic_lora.yaml、av2av_ic_lora.yaml音视频双参考。和路线一的差别数据目录多一个reference_latents/元数据要有reference_video列。参考视频可以用 compute_reference.py 生成默认 Canny 边缘图想换深度、骨骼就改脚本里的compute_reference()函数。想省算力预处理时加--reference-downscale-factor 2把参考降采样。产出物同样是.safetensors适配器文件推理走 ltx-pipelines 的ICLoraPipeline。路线三全模型训练改基础行为才用全量微调更新全部参数。配置上只改一处model: training_mode: full适用场景基础模型行为本身不满意整体质量、某个领域的能力且你有 4-8 张 H100 80GB。单卡放不下必须上 FSDPFully Sharded Data Parallel把参数切分到多张卡上uv run accelerate config # 交互向导只需跑一次 CUDA_VISIBLE_DEVICES0,1,2,3 \ uv run accelerate launch --config_file configs/accelerate/fsdp.yaml \ scripts/train.py configs/t2v_lora.yamlconfigs/accelerate/下还有 ddp.yaml多卡数据并行和 fsdp_compile.yamlFSDP torch.compile编译加速按机器情况挑。产出物完整的checkpoints/model_weights_step_XXXXX.safetensors。注意它是个新底模不是挂在原模型上的适配器推理时整个换用。三个典型场景对号入座只换风格不改能力特定角色画风、渲染风格、某个主体选 LoRA。数据只要视频加字幕流程最短。要拿参考物控制生成深度图、姿态、参考镜头选 IC-LoRA。多一步成对参考的制备显存开销和 LoRA 接近。要改模型的基础行为新领域适配、整体质量全模型训练。别在单卡上碰它先确认多卡资源再用 LoRA 验证过数据没问题才启动。三条实战提醒显存不够就直接降级配置。32GB 卡如 RTX 5090用 t2v_lora_low_vram.yaml 替代标准配置INT8 量化省约一半模型显存8-bit AdamW 省约 75% 优化器状态LoRA rank 降到 16验证视频尺寸也调小了。预处理产物和 checkpoint 绑定。从 LTX-2.3 换到 LTX 2.5要重新预处理到新目录或加--overwrite——旧的.pt文件默认被跳过不处理会拿错特征。先小后大。小数据集跑几百步验证整条链路盯着samples/的验证视频看是否过拟合checkpoints.interval定期存档训练中断时它是你的回滚点。延伸阅读training-modes.md各模式的is_generated与条件组合说明选模式时的权威参考configuration-reference.md全部参数逐项解释要改具体项时查它training-guide.md多卡启动细节、WB 日志、模型上传dataset-preparation.md数据组织与预处理细节troubleshooting.md跑挂了先来这里翻下一步动作单卡环境先按t2v_lora.yaml跑通一两百步验证数据链路和验证视频没问题再决定要不要升级 IC-LoRA 或上全量。【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LTX-2 微调选型：LoRA 还是全量训练？
LTX-2 微调选型LoRA 还是全量训练【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2你手里有了 LTX-2 音视频生成模型想让它学会自己的风格或能力。问题就摆在面前微调有三条路——LoRA、IC-LoRA、全模型训练各自占的显存、迭代速度、能改的东西都不一样。这篇文章先给你选型坐标再给每条路线的最小可跑命令看完直接选一条开跑。先回答三个问题定位你的路线决策维度你的情况对应路线显存预算单卡80GB 以内32GB 也行LoRA / IC-LoRA4-8 张 H100 80GB 可用全模型训练可行定制深度改风格、特定对象LoRA用参考视频/音频控制生成IC-LoRA要改模型的基础行为全模型训练迭代速度几天内验证想法LoRA / IC-LoRA如果只记一条默认从 LoRA 起步。配置文件里所有模式的training_mode默认都是lora官方注释的理由就三个词——更快、更省内存、防过拟合。路线一LoRA最省事的起点LoRALow-Rank Adaptation低秩适配不碰原模型权重只在旁边训练一小组低秩矩阵。产出是个小文件推理时想插就插、想拔就拔。适用场景文生视频、图生视频、音频到视频、视频延长、补绘、外扩……几乎所有模式都是 LoRA 路线configs 目录下每种模式都有现成配置例如 t2v_lora.yaml、i2v_lora.yaml、a2v_lora.yaml。最小可跑流程以 T2V 为例git clone https://gitcode.com/GitHub_Trending/lt/LTX-2 cd LTX-2 uv sync cd packages/ltx-trainer视频配好字幕后先预处理成 latentsVAE 压缩后的潜表示和文本嵌入uv run python scripts/process_dataset.py dataset.json \ --resolution-buckets 960x544x49 \ --model-path /path/to/ltx-2-checkpoint.safetensors \ --text-encoder-path /path/to/gemma-root把配置文件里模型、文本编码器、数据三个路径改掉开训uv run python scripts/train.py configs/t2v_lora.yaml产出物checkpoints/lora_weights_step_XXXXX.safetensors加上samples/目录里的验证视频。生产推理用 ltx-pipelines 包管线通过loras参数加载你的适配器。路线二IC-LoRA从成对数据里学变换IC-LoRAIn-Context LoRA上下文 LoRA的差别在于训练时把参考视频的 latents 拼进序列模型学的是看到这个参考就产出目标画面。风格迁移、深度图控制、姿态控制、上色这类任务用它。适用场景你有成对数据——每个目标视频对应一个参考视频或参考音频。现成配置v2v_ic_lora.yaml、a2a_ic_lora.yaml、av2av_ic_lora.yaml音视频双参考。和路线一的差别数据目录多一个reference_latents/元数据要有reference_video列。参考视频可以用 compute_reference.py 生成默认 Canny 边缘图想换深度、骨骼就改脚本里的compute_reference()函数。想省算力预处理时加--reference-downscale-factor 2把参考降采样。产出物同样是.safetensors适配器文件推理走 ltx-pipelines 的ICLoraPipeline。路线三全模型训练改基础行为才用全量微调更新全部参数。配置上只改一处model: training_mode: full适用场景基础模型行为本身不满意整体质量、某个领域的能力且你有 4-8 张 H100 80GB。单卡放不下必须上 FSDPFully Sharded Data Parallel把参数切分到多张卡上uv run accelerate config # 交互向导只需跑一次 CUDA_VISIBLE_DEVICES0,1,2,3 \ uv run accelerate launch --config_file configs/accelerate/fsdp.yaml \ scripts/train.py configs/t2v_lora.yamlconfigs/accelerate/下还有 ddp.yaml多卡数据并行和 fsdp_compile.yamlFSDP torch.compile编译加速按机器情况挑。产出物完整的checkpoints/model_weights_step_XXXXX.safetensors。注意它是个新底模不是挂在原模型上的适配器推理时整个换用。三个典型场景对号入座只换风格不改能力特定角色画风、渲染风格、某个主体选 LoRA。数据只要视频加字幕流程最短。要拿参考物控制生成深度图、姿态、参考镜头选 IC-LoRA。多一步成对参考的制备显存开销和 LoRA 接近。要改模型的基础行为新领域适配、整体质量全模型训练。别在单卡上碰它先确认多卡资源再用 LoRA 验证过数据没问题才启动。三条实战提醒显存不够就直接降级配置。32GB 卡如 RTX 5090用 t2v_lora_low_vram.yaml 替代标准配置INT8 量化省约一半模型显存8-bit AdamW 省约 75% 优化器状态LoRA rank 降到 16验证视频尺寸也调小了。预处理产物和 checkpoint 绑定。从 LTX-2.3 换到 LTX 2.5要重新预处理到新目录或加--overwrite——旧的.pt文件默认被跳过不处理会拿错特征。先小后大。小数据集跑几百步验证整条链路盯着samples/的验证视频看是否过拟合checkpoints.interval定期存档训练中断时它是你的回滚点。延伸阅读training-modes.md各模式的is_generated与条件组合说明选模式时的权威参考configuration-reference.md全部参数逐项解释要改具体项时查它training-guide.md多卡启动细节、WB 日志、模型上传dataset-preparation.md数据组织与预处理细节troubleshooting.md跑挂了先来这里翻下一步动作单卡环境先按t2v_lora.yaml跑通一两百步验证数据链路和验证视频没问题再决定要不要升级 IC-LoRA 或上全量。【免费下载链接】LTX-2Official Python inference and LoRA trainer package for the LTX-2 audio–video generative model.项目地址: https://gitcode.com/GitHub_Trending/lt/LTX-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考