华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）

文章目录

• • `重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版` [昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker 镜像](https://blog.csdn.net/xiezhipu/article/details/145467032) [昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理](https://blog.csdn.net/xiezhipu/article/details/145468018)
  • • • 引言
      • 什么是NPU？什么是昇腾Ascend 910B2？
      • 官方参考文档：昇腾社区
      • 昇腾推理引擎[mindie](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)
      • 环境准备
      • 镜像获取
      • 模型权重文件下载
      • 结论
      • 结论

重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版
昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker 镜像
昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理

引言

最近单位给整了一台上面带8块昇腾Ascend 910B2的服务器，现在需要在上面部署通义千问的Qwen2.5。

然后就开始各种网上找资料，各种踩坑。如今终于跑通了，就想从头记录一下。

什么是NPU？什么是昇腾Ascend 910B2？

NPU（Neural Processing Unit，神经网络处理单元）是一种专门设计用于加速机器学习尤其是深度学习算法的硬件处理器。随着人