LLaMA-Factory 项目推荐

LLaMA-Factory 项目推荐【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory1. 项目基础介绍和主要编程语言LLaMA-Factory是一个高效的大型语言模型LLM微调平台旨在通过简单的 WebUI 界面实现对 100 多种 LLM 的快速微调。该项目的主要编程语言是 Python利用了 PyTorch 等深度学习框架来实现模型的训练和微调。2. 项目的核心功能LLaMA-Factory 提供了以下核心功能多模型支持支持多种大型语言模型如 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等。集成微调方法包括连续预训练、多模态监督微调、奖励建模、PPO、DPO、KTO、ORPO 等。资源扩展支持 16 位全调、冻结调优、LoRA 和 2/3/4/5/6/8 位 QLoRA 等。高级算法如 GaLore、BAdam、Adam-mini、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA、LoftQ、PiSSA 和 Agent 调优等。实用技巧如 FlashAttention-2、Unsloth、Liger Kernel、RoPE 缩放、NEFTune 和 rsLoRA 等。实验监控支持 LlamaBoard、TensorBoard、Wandb、MLflow 等。快速推理提供 OpenAI 风格的 API、Gradio UI 和 CLI支持 vLLM worker。3. 项目最近更新的功能LLaMA-Factory 最近更新的功能包括24/08/30支持微调 Qwen2-VL 模型。24/08/27支持 Liger Kernel通过设置enable_liger_kernel: true进行高效训练。24/08/09支持 Adam-mini 优化器参考示例使用。24/07/04支持无污染的打包训练通过设置neat_packing: true激活。24/06/16支持 PiSSA 算法参考示例使用。24/06/07支持微调 Qwen2 和 GLM-4 模型。24/05/26支持 SimPO 算法进行偏好学习参考示例使用。24/05/20支持微调 PaliGemma 系列模型需使用paligemma模板进行聊天完成。24/05/18支持 KTO 算法进行偏好学习参考示例使用。24/05/14支持在 Ascend NPU 设备上进行训练和推理查看安装部分了解详情。这些更新进一步增强了 LLaMA-Factory 的功能和灵活性使其成为一个更加强大和全面的 LLM 微调工具。【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考