程序员档案馆

> 有关“显存”的文章 - 第7页

使用vllm创建相同模型的多个实例，使用nginx进行负载均衡，提高模型吞吐量

背景要提高vllm部署的大模型吞吐量，可以从显存利用率优化、多实例部署、参数调优和流程优化等多个维度入手，以下是具体建议：一、提高 gpu-memory-utiliz...

Bloger 07-26 0 546 技术文档