> 技术文档 > llama-factory微调模型导出和使用_llamafactory导出模型

llama-factory微调模型导出和使用_llamafactory导出模型


1.启动项目

conda activate llama-factorycd LLaMA-Factory# 直接llamafactory-cli webui 也行CUDA_VISIBLE_DEVICES=7 GRADIO_SHARE=1 GRADIO_SERVER_PORT=7878 llamafactory-cli webui

2.准备导出

1).选择微调后模型对应的检查点路径文件

2).设置最大分块的大小,建议2-5GB

3).选择导出设备的类型

4).指定导出目录

3.导出

Export-->开始导出

 4.查看

5.调用

在webui页面中选择chat,模型路径:导出后模型的绝对路径。然后加载模型,稍等一会就可以对话了

6.完成使用