【本地部署微调大模型】Llama-factory框架，docker部署_llamafactory docker

llama-factory本地微调部署操作方法

0.硬件环境

GPU：RTX4060，8G显存；

1.下载并安装好docker

1.1.强制安装Hyper-V（利用批处理脚本）

• 因为windows家庭版不支持原生Hyper-V，需要手动部署；
  验证虚拟化支持性 按 Ctrl + Shift + Esc 打开任务管理器 → 性能 → CPU，检查“虚拟化”是否已启用。 若显示“已禁用”，需进入 BIOS 开启虚拟化；
• 创建批处理脚本，新建下面的文本文件，保存为.bat格式，然后右键选择“以管理员身份运行”

Batpushd \"%~dp0\"dir /b %SystemRoot%\\servicing\\Packages\\*Hyper-V*.mum >hyper-v.txtfor /f %%i in (\'findstr /i . hyper-v.txt 2^>nul\') do dism /online /norestart /add-package:\"%SystemRoot%\\servicing\\Packages\\%%i\"del hyper-v.txtDism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALLpause

创建完了之后需要重启系统，Hyper-V 将出现在开始菜单的 “Windows 工具” 中。
验证与使用
确认功能生效
搜索 “Hyper-V 管理器”，若能正常打开即表示成功。
若仍不可用，尝试更新系统至最新版本，或检查是否有第三方虚拟机软件冲突（如 VMware 需调整兼容性）。

1.2.验证WSL是否是2版本

打开powershell，运行：
wsl --status
如果显示默认版本不是2，则运行：
wsl --update

1.3.下载docker安装包

从官网下载安装包，然后按照提示按照，安装之后会重启，跳过登录；
验证是否安装成功，win+R，cmd输入：
docker -v

1.4.修改国内镜像地址

{ \"builder\": { \"gc\": { \"defaultKeepStorage\": \"20GB\", \"enabled\": true } }, \"experimental\": false, \"registry-mirrors\": [ \"https://inhj05a1.mirror.aliyuncs.com\", \"https://docker.m.daocloud.io\", \"https://docker.imgdb.de\", \"https://docker-0.unsee.tech\", \"https://docker.hlmirror.com\", \"https://docker.1ms.run\", \"https://func.ink\", \"https://lispy.org\", \"https://docker.xiaogenban1993.com\" ]}

修改完之后一定要记得点“Apply&restart”按钮保存修改设置

2.从llama-factory的官网下载项目到本地文件夹里

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

这里为了节省下载时间选择了浅克隆，也就是仅克隆最新版本的文件，会显著减少下载的时间和dai’k

3.打开docker文件夹并且运行起来

注意：此处要修改docker-compose.yml里面volumes里面的挂载项目

 volumes: - ../../hf_cache:/root/.cache/huggingface - ../../ms_cache:/root/.cache/modelscope - ../../om_cache:/root/.cache/openmind - ../../data:/app/data - ../../output:/app/output - ../../saves:/app/saves

非常奇怪的事情是llama-factory可视化微调的页面默认保存到saves里面了，所以本地的output里面没有看到微调的结果，因此这里需要加一个saves文件与容器的挂载；

修改完之后cmd打开终端
输入：docker compose up -d

4. 打开可视化微调的界面

执行下面的操作进入容器命令行
docker exec -it llamafactory bash

运行起来可视化微调界面，运行打开webui,将提示可打开http://127.0.0.1:7860；
llamafactory-cli webui

设置相关参数，启动微调

5.在vscode里面打开docker，安装docker的插件，然后就能看到容器里面的内容了

一般下载的模型在~root/.cache/huggingface/hub/models–deepseek-ai–DeepSeek-R1-Distill-Qwen-1.5B

如果出现问题了，解决方法：

# 需要修改yam文件的，先修改yam文件，修改完了之后需要强制清理缓存并重建容器~# 清理旧容器和卷docker compose down -v# 重新构建并启动docker compose up -d --build