LLaMA-Factory：统一高效的LLM/VLM微调工具
LLaMA-Factory: 统一高效地微调100+ LLMs & VLMs (ACL 2024)
LLaMA-Factory 是一个强大的工具，旨在简化和加速大规模语言模型（LLMs）和视觉语言模型（VLMs）的微调过程。它支持超过 100 种不同的模型架构，并集成了多种先进的微调技术和优化算法。
项目地址: https://github.com/hiyouga/LLaMA-Factory
核心特性
-
广泛的模型支持: 支持 LLaMA, LLaVA, Mistral, Mixtral-MoE, Qwen, Qwen2-VL, DeepSeek, Yi, Gemma, ChatGLM, Phi 等超过100个模型。
-
多种训练方法: 包括 (Continuous) pre-training, (multimodal) supervised fine-tuning, reward modeling, PPO, DPO, KTO, ORPO 等。
……