LLaMA-Factory多机多卡训练实战_llamafactory 多机多卡

https://www.dong-blog.fun/post/1999

参考资料：https://llamafactory.readthedocs.io/zh-cn/latest/advanced/distributed.html

以训练qwen2.5vl 7b 为例子。

创建空间

创建数据集

如果数据集文件非常多,可以选择上tar.gz包,然后再数据集页面面,点击终端进入到/mnt/data目录。执行 tar-zxfxxx.tar.gz 命令解压,请解压到当前目录(/mnt/data目录是挂载盘目录)

上传模型

制作一个训练镜像

启动镜像，进入容器中设置数据集和平台匹配。

docker run -it --rm --gpus \'\"device=1,2,3\"\' --shm-size 16G kevinchina/deeplearning:llamafactory20250311-3 bash

如果镜像用的是ubuntu要执行一下命令,安装libibverbs1才能使用rdma网卡,加速训练sudo apt-get updatesudo apt-get install libibverbs1 -y

这个镜像里已经安装：

root@260e21033aae:/app# apt-get install libibverbs1 -yReading package lists... DoneBuilding dependency tree... DoneReading state information... Donelibibverbs1 is already the newest version (39.0-1).0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

在data里增加训练json数据集，/app/examples/train_lora中增加训练yaml文件。

docker commit 这个容器，将此镜像传到hub。

创建任务

为了多机多卡，需要在每台机器启动这个：

FORCE_TORCHRUN=1 NNODES=2 NODE_RANK=0 MASTER_ADDR=192.168.0.1 MASTER_PORT=29500 llamafactory-cli train examples/train_lora/qwen2vl_lora_sft_zizhi.yamlFORCE_TORCHRUN=1 NNODES=2 NODE_RANK=1 MASTER_ADDR=192.168.0.1 MASTER_PORT=29500 llamafactory-cli train examples/train_lora/qwen2vl_lora_sft_zizhi.yaml

训练指令写为下面这样，那三个变量由环境自动指定：

FORCE_TORCHRUN=1 \\NNODES=2 \\NODE_RANK=${RANK} \\MASTER_ADDR=${MASTER_ADDR} \\MASTER_PORT=${MASTER_PORT} \\llamafactory-cli train examples/train_lora/qwen2vl_lora_sft_zizhi.yaml

此外，为了为rDMA，需要设置这三个环境变量：

CUDA_DEVICE_MAX_CONNECTIONS=1NCCL_DEBUG=INFONCCL_IB_DISABLE=0