在Autodl上部署llamafactory微调大模型(包括如何打开webui的公共URL）_autodl部署llamafactory

租服务器这里就不说了，下面是租好后部署llamafactory的命令
git clone -b v0.9.2 https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

# 安装依赖

pip install -e .[torch,metrics]

（最好下载前开启学术加速，因为后面也要开，我这里忘记开了，但也下载好了）

llamafactory-cli version

（有版本号代表下载成功）

要使用公有连接要autodl-tmp/LLaMA-Factory/src/llamafactory/webui/interface.py文件下最后改成share=True

使用webui前开启学术加速，好像因为它会下载一个包，我也忘记了，不开代理可能会下载失败

source /etc/network_turbo

llamafactory-cli webui

可能会遇到

因为开启代理后无法访问端口，先取消学术加速，再打开webui

unset http_proxy && unset https_proxy

点击公用连接即可打开，选择YY，模型名称，模型路径，能加载模型即可

微调

数据集放在autodl-tmp/LLaMA-Factory/data/ef_train_zw.json

（数据集构建与格式参考https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md）

autodl-tmp/LLaMA-Factory/data/dataset_info.json文件中加入

建议输出目录手动设置一下（autodl的JupyterLab可能找不到保存的目录，因为它的初始目录就是/root下的）

设置好数据集和微调参数就可以训练啦~
 

PS:自学自用，如有错误，欢迎指正！