LLaMA-Factory 是一个为大语言模型LLM和视觉语言模型VLM设计的开源、低代码微调框架旨在让模型定制变得更简单、更高效。它由北京航空航天大学开发目前是社区中最受欢迎的微调框架之一。LLaMA-Factory 将复杂的模型微调过程集成在一个统一的框架内其核心功能覆盖从数据到部署的全流程。凭借其灵活高效的设计LLaMA-Factory 在许多场景下都能发挥作用。在医学、法律、金融、文化等专业领域通过微调大幅提升模型在该特定领域的表现能力。例如微调 Llama-3.1-70B 模型使其能进行医学诊断。针对文本生成、分类、问答、翻译等特定任务对模型进行定向优化。在消费级 GPU 等受限硬件上利用 QLoRA 等技术进行低成本、高效的模型微调。快速打造 AI 聊天机器人、企业知识库问答系统、AI 客服等应用。例如使用政务数据微调 DeepSeek-R1 模型打造专业的 AI 政务助手。微调视觉语言模型VLM实现图像理解、音视频处理等多模态应用。例如微调 Qwen-VL 模型构建自动图像标注流水线。在学术机构或企业实验室中研究新的微调算法、对齐技术等。AI 初学者与爱好者希望无需编写代码通过简便的 Web UI 快速入门大模型微调。机器学习工程师希望通过高效的 CLI 和模块化设计快速迭代模型优化和部署模型。研究人员利用其丰富的算法和灵活性进行前沿实验。初创公司在开发资源和工程师团队有限的情况下高效构建原型和MVP产品。企业技术团队为公司的特定业务场景定制模型如金融、医疗、政务领域无需从零造轮子。LLaMA-Factory 既为专业开发者提供了全面的技术模块和高性能的训练能力也为非技术背景的用户提供了一个非常友好的零代码平台。凭借其开源开放、易于上手和功能丰富的特点LLaMA-Factory 成功地降低了大型模型应用的门槛。算网 GPU 平台上线了寒武纪显卡适配的源码镜像 llamafactory-mlu简单操作即可开启大模型微调。首先打开官网https://sumw.com.cn/立即体验。输入手机号接收验证码登录。进入算力市场选择GPU。下拉找到镜像社区镜像点击选择 llamafactory-mlu 镜像选择版本确认租用。等待启动。点击jupyterlab登录。登录后界面是这样的。然后按下列步骤完成即可体验。该镜像已经装好了transformer、PEFT等需要适配MLU显卡的库只需要下载github的内容解压缩之后即可运行。详细快速部署指南如下一、 环境基准检查 (Pre-check)在部署前请确保你的系统环境满足以下唯一要求硬件寒武纪 MLU370 系列加速卡。系统驱动执行cnmon能够正常看到卡信息。Python 版本必须是 3.10驱动强绑定。底层框架已安装寒武纪官方版 PyTorch (torch_mlu)执行python -c import torch_mlu不报错。二、 下载与解压魔改包直接从 GitHub 下载你封装好的全套魔改源码cd /mnt/workspace # 切换到你的持久化存储目录# 1. 下载压缩包 (使用 ghfast 加速)wget https://ghfast.top/https://github.com/fzfz666/llamafactory-mlu/raw/main/LLaMA-Factory_mlu_Source_Only.tar.gz# 2. 解压tar -xzvf LLaMA-Factory_mlu_Source_Only.tar.gz# 3. 进入目录 (此时你应该能看到四个 _mlu 结尾的文件夹)cd Cambricon_LLM_Env三、 一键配置 Python 依赖环境这一步是关键我们要先安装基础依赖然后将我们的“魔改版源码”强制挂载到 Python 环境中。# 1. 配置阿里源加速pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/# 2. 锁定安装 Gradio 4.x (防止界面乱码)pip install gradio5.0.0# 3. 安装 LLaMA-Factory 的通用运行依赖 (如 datasets, trl, rouge-chinese 等)cd LLaMA-Factory_mlupip install -e .[metrics]cd ..# 4. 【核心步骤】强制将环境重定向到 MLU 魔改源码# 这一步会覆盖掉刚才安装的官方版确保 import 时调用的是 MLU 适配版cd transformers_mlu pip install -e . cd ..cd peft_mlu pip install -e . cd ..cd accelerate_mlu pip install -e . cd ..四、 运行微调 (以 Qwen2.5-0.5B 为例)1. 启动 WebUI 界面cd LLaMA-Factory_mluGRADIO_SERVER_PORT80 llamafactory-cli webui输入服务器 IP 即可用浏览器访问。必选设置计算精度必须选 fp16。FlashAttention必须关闭。模型路径填入你的 Qwen2.5 存放路径。2. 纯命令行快速验证 (推荐)如果你想直接看进度条执行这个脚本​​​​​​​cd LLaMA-Factory_mluCUDA_VISIBLE_DEVICES0 python src/train_bash.py \--stage sft \--do_train True \--model_name_or_path /你的路径/Qwen2.5-0.5B-Instruct \--finetuning_type lora \--template qwen \--dataset_dir data \--dataset alpaca_zh_demo \--cutoff_len 1024 \--learning_rate 5e-05 \--num_train_epochs 3.0 \--per_device_train_batch_size 4 \--gradient_accumulation_steps 4 \--lr_scheduler_type cosine \--logging_steps 5 \--save_steps 100 \--output_dir saves/qwen2.5_mlu_test \--fp16 True \--plot_loss True \--flash_attn disabled赶快试试吧