在LLaMA-Factory文件夹下运行以下命令可指定GPU启动webui,例如:有三张卡指定只用第三张卡这一张卡
FORCE_TORCHRUN=1 CUDA_VISIBLE_DEVICES=2 llamafactory-cli webui
一机多卡成功指定设备数量
也可以多卡,如两张卡 ,设备个数FORCE_TORCHRUN改为2,GPU序号CUDA_VISIBLE_DEVICES用逗号隔开
FORCE_TORCHRUN=2 CUDA_VISIBLE_DEVICES=0,1 llamafactory-cli webui