LLama-Factory使用教程-2025最新版

技术文档

配套课程《AIGC大模型理论与工业落地实战》；Deepseek相关课程更新中

前置条件：一台可用的gpu服务器、ubuntu操作系统

1. 下载LLama-Factory

1.1. 安装anaconda或者miniconda，创建环境

bash Miniconda3-latest-Linux-x86_64.shconda create -n sft python=3.11conda activate sft

1.2. 下载安装LLama-Factory

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install -e \".[torch,metrics]\"

2. 启动LLama-Factory图形化界面

llamafactory-cli webui

3. 打开图形化界面

访问http://127.0.0.1:7860；或者”服务器IP地址+7860端口”。例如这里的是：http://180.184.146.134:7860/；打开图形化界面

4.下载模型到本地

这里以Qwen2.5-vl-7b-instruct模型为例，因为服务器是国内，从魔塔下载模型参数：

pip install modelscopemodelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir /data2/users/yszhang/quickllm/qwen2.5-vl-instruct

执行上述指令后，模型参数被下载至：/data2/users/yszhang/quickllm/qwen2.5-vl-instruct文件夹：

(base) root@iv-ydg6wcq3ggay8n6dmn75:/data2/users/yszhang/quickllm/qwen2.5-vl-instruct# lltotal 16207084drwxr-xr-x 3 root root 4096 May 13 09:36 ./drwxr-xr-x 22 root root 4096 May 26 17:44 ../drwxr-xr-x 3 root root 4096 May 12 16:36 .cache/-rw-r--r-- 1 root root 1050 May 12 16:36 chat_template.json-rw-r--r-- 1 root root 1374 May 12 16:36 config.json-rw-r--r-- 1 root root 216 May 12 16:36 generation_config.json-rw-r--r-- 1 root root 1519 May 12 16:39 .gitattributes-rw-r--r-- 1 root root 1671839 May 13 09:23 merges.txt-rw-r--r-- 1 root root 3900233256 May 13 09:31 model-00001-of-00005.safetensors-rw-r--r-- 1 root root 3864726320 May 13 09:36 model-00002-of-00005.safetensors-rw-r--r-- 1 root root 3864726424 May 12 17:22 model-00003-of-00005.safetensors-rw-r--r-- 1 root root 3864733680 May 13 09:31 model-00004-of-00005.safetensors-rw-r--r-- 1 root root 1089994880 May 13 09:26 model-00005-of-00005.safetensors-rw-r--r-- 1 root root 57619 May 12 16:36 model.safetensors.index.json-rw-r--r-- 1 root root 350 May 12 16:36 preprocessor_config.json-rw-r--r-- 1 root root 18574 May 12 16:36 README.md-rw-r--r-- 1 root root 5702 May 12 17:30 tokenizer_config.json-rw-r--r-- 1 root root 7031645 May 12 16:40 tokenizer.json-rw-r--r-- 1 root root 2776833 May 13 09:23 vocab.json(base) root@iv-ydg6wcq3ggay8n6dmn75:/data2/users/yszhang/quickllm/qwen2.5-vl-instruct#

5. 配置模型和数据

在图形化UI界面设置模型名称、模型路径和数据集，这里我以LLama-Factory中自带的多模态数据集“mllm_demo”数据集为例：