llama-factory微调模型导出和使用_llamafactory导出模型
1.启动项目
conda activate llama-factorycd LLaMA-Factory# 直接llamafactory-cli webui 也行CUDA_VISIBLE_DEVICES=7 GRADIO_SHARE=1 GRADIO_SERVER_PORT=7878 llamafactory-cli webui
2.准备导出
2).设置最大分块的大小,建议2-5GB
3).选择导出设备的类型
4).指定导出目录
3.导出
Export-->开始导出
4.查看
5.调用
在webui页面中选择chat,模型路径:导出后模型的绝对路径。然后加载模型,稍等一会就可以对话了