> 技术文档 > 零基础本地部署Qwen3模型(ollama+Open-WebUI)_ollama部署qwen3

零基础本地部署Qwen3模型(ollama+Open-WebUI)_ollama部署qwen3


环境准备

操作系统

建议使用linux如ubuntu等

安装ollama

ollama是一个轻量化本地部署模型工具,对普通用户友好。借助 Docker 容器简化流程,像在本地电脑运行小模型做测试、开发,一条  ollama run 模型名 命令就能快速启动 ,新手易上手。比如想体验 Qwen3 - 0.6B,装完 Ollama 直接敲命令就能下载运行。

curl -fsSL https://ollama.com/install.sh | sh
  • 方式二:离线安装

点击进入ollama项目离线安装包Releases · ollama/ollama

点击选择合适的版本进行下载,下载后直接解压即可使用

 tar -zxvf ollama-linux-amd64.tgz

解压后有两个文件夹,分别是bin目录和lib目录,其中bin目录下即存放着ollama的运行文件

修改环境变量

 vim ~/.bashrc

添加ollama可执行文件路径 

# ollamaexport PATH=$PATH:/data1/sx/jl/ollama/bin

验证安装

直接启动ollama服务

 ollama serve

模型下载与部署

使用ollama部署模型

可参考以下配置选择自己的模型

模型名称 显存需求(推理) 推荐 CPU 推荐 GPU 推荐内存 Qwen3-0.6B 1GB+ Xeon W-2400 系列 GTX 1050 4GB+ Qwen3-1.7B 2GB+ Xeon W-2400 系列 GTX 1660 8GB+ Qwen3-4B 8GB+ Xeon W-2400 系列 RTX 3090 16GB+ Qwen3-8B 14GB+ Xeon W-2400 系列 RTX 4080 16GB+ Qwen3-14B 24GB+ Xeon W-3400 系列 RTX 3090*2 32GB+ Qwen3-32B 58GB+ Xeon W-3400 系列 RTX 3090 * 4 64GB+ Qwen3-30B-A3B 55GB+ Xeon W-3400 系列 RTX 3090 * 4 64GB+ Qwen3-235B-A22B 350GB+ EPYC 7002 系列 H204/A1008 512GB+

这里为方便做测试,仅下载Qwen3-1.7B使用

ollama run qwen3:1.7b

ollama的使用类似于docker,上述命令执行后ollama会自行拉取qwen3-1.7B模型并部署到本地,下次再次执行该命令时就直接运行模型

默认情况下,模型的下载存放路径

 ~/.ollama/models

另外,用户可进入ollama官网查看ollama对各种开源模型的支持

qwen3:1.7b

以下是使用ollama运行模型,并使用模型的案例

可视化终端open-webui

上述我们使用ollama部署模型并使用模型的方式是使用交互式终端,如果我们想使用类似于gpt这种网页的方式使用我们本地部署的模型,需要使用另外一个工具open-webui,open-webui调用的是ollama的服务,因此需要事先安装好ollama

安装

open-webui的安装较为简单

方式一:在conda环境中安装

pip install open-webui

方式二:使用docker安装

可参考

在Ubuntu上部署Open WebUI和Ollama,打造你的私人GPT - 教程分享 / 云服务器 RCS - 雨云论坛

启动open-webui

如果你的服务器可直接使用浏览器,则直接启动即可,注意,一定要首先在后台启动ollama服务、

ollama serve

然后再启动open-webui

 open-webui serve

启动open-webui时可能会报错,这是因为第一次使用open-webui,open-webui需要从huggingface下载RAG模型,但是服务器连接外网不通畅导致,如果用户需要进行科学上网即可,如果用户不需要,忽略该错误(不影响本节使用)或者使用以下命令设置环境变量即可

export HF_HUB_OFFLINE=1

启动浏览器

在本地打开浏览器,首次打开需要进行注册,按照流程进行注册即可

http://localhost:8080/

如果open-webui安装在服务端,不能打开浏览器界面,需要在本地机器(如windows打开浏览器),则需要进行端口映射,如下,在本地cmd窗口执行

# 本地端口 8080 → 远程服务器 8080 端口ssh -L 8080:localhost:8080 username@server_ip
  • 8080:本地监听端口(可自定义)
  • 8080:远程服务器上 open-webui 服务的端口
  • username:你的服务器用户名
  • server_ip:服务器公网 IP 地址