本文将介绍Ollama使用GPU运行模型的环境部署
1.背景介绍
对于像Llama 3 8B这样的小模型，使用CPU或集成显卡可以很好地工作。然而，如果您的计算机有Nvidia独立显卡，并且您希望运行更大的模型或实现更快的响应时间，您需要安装CUDA Toolkit以更好地利用独立显卡。
注意：使用GPU加速仅适用于具有计算能力5.0以上的Nvidia GPU。如果您使用的是AMD GPU，您可以查看支持的设备列表以确认您的显卡是否受Ollama支持。然而，CUDA Toolkit仅适用于Nvidia GPU，AMD GPU未深究。
GPU支持信息：ollama-doc/ollama/docs/Ollama 对GPU 支持信息.md at main · qianniucity/ollama-doc
Ollama支持的AMD GPU
系列 |
显卡和加速器 |
AMD Radeon RX |
7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 Vega 64 Vega 56 |
AMD Radeon PRO |
W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 V420 V340 V320 Vega II Duo Vega II VII SSG |
AMD Instinct |
MI300X MI300A MI300 MI250X MI250 MI210 MI200 MI100 MI60 MI50 |
Nvidia GPU用户应检查您的计算能力以确认您的显卡是否受支持：CUDA GPUs - Compute Capability | NVIDIA Developer
计算能力
|
系列 |
显卡 |
9.0 |
NVIDIA |
H100 |
8.9 |
GeForce RTX 40xx |
RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060 |
|
NVIDIA Professional |
L4 L40 RTX 6000 |
8.6 |
GeForce RTX 30xx |
RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 |
