本地大模型搭建教程:Ollama + WebUI,附ollama安装包_ollama webui安装
随着这一两年大模型的爆火,越来越多的开发者希望能够在本地环境中运行大模型,既可以提高数据安全性,又能更好地进行个性化开发。Ollama 作为目前最主流的大模型管理工具,已经是玩转大模型必不可获取的一步。无论你是刚刚接触大模型的新手,还是已经有一定经验的老手,这篇文章都将带你一步一步地了解如何轻松地在本地部署大模型。
ollama
- 下载地址:https://ollama.com/download
根据自己的本地环境,选择对应的版本即可
- 选择想要的模型:https://ollama.com/library
根据机器内存选择合适大小的模型参数,右侧复制命令
- 复制命令到 terminal 执行(windows 使用 cmd)
这一步会下载并启动,接下来就可以直接开始对话了
- 当然 ollama 提供了一些内置的命令
- 下载的模型文件目录可以通过 /show modelfile 查看
(鉴于很多朋友无法下载ollama,这里给大家整理好了ollama的安装包,扫描领取即可↓↓↓↓)
open-webui
命令行工具对非开发同学还是不太友好,毕竟在大模型应用满大街的今天,不管是 Independent developer,还是一些大型的商业公司,都一直在卷用户体验,webUI 也应势而生。
- 安装 docker:https://www.docker.com/
为了部署方便,这里直接使用 docker,本地有 docker 的话可以跳过这一步
- 安装 webUI:https://github.com/open-webui/open-webui
直接下载镜像并启动,命令如下:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 等待镜像启动成功,可以在面板看到如下,点击跳转即可到web界面
- 接下来就可以选择想要的模型,开始对话了
写在后面
除了 open-webui,Ollama 的生态还提供了各种其他的UI以及插件,部分也支持通过 api-key 直接远程访问商业大模型,甚至提供了移动端的访问接口,这无疑大大降低了大模型的使用门槛。
AI大模型学习路线
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
扫描下方csdn官方合作二维码获取哦!
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓