(云计算)华为HCIP全笔记——FusionCompute篇(三)FC存储虚拟化:FC存储虚拟化架构、VIMS心跳与分布式锁、存储热迁移、RDM技术、普通延时置零产品、FC存储类型..._华为虚拟化compute 存储卷多链路配置 固定 循环
FusionCompute云操作系统软件(存储虚拟化)
存储虚拟化管理
兼容存储类型:
- SAN(Storage Area Network )
- NAS(Network Attached Storage)
- FusionStorage Block存储池
- 主机的本地硬盘
存储资源能力
- 精简制备磁盘
- 厚制备\\延迟置零磁盘
- 增量快照
- 存储冷热迁移
- 虚拟磁盘扩容
- 磁盘快照管理
存储配置管理
- 存储资源发现与管理
- 数据存储创建与管理
- 存储资源裸设备映射
FusionCompute中存储基本概念
存储资源:
- 存储资源表示物理存储设备,例如IP-SAN、FC-SAN、NAS等
存储设备:
- 存储设备需要扫描存储资源才能得到
存储设备表示存储资源中的管理单元,类似LUN、FusionStorage存储池、NAS共享目录等
数据存储:
- 数据存储需要存储设备进行分区规划后才能得到
数据存储表示虚拟化平台中可管理、操作的存储逻辑单元
存储虚拟化架构
FusionCompute存储类型
存储虚拟化的技术
VIMS虚拟集群存储文件系统
-
VIMS是一种高性能的集群文件系统,使虚拟化技术的应用超出了单个存储系统的限制,可让多个虚拟机共同访问一个整合的集群式存储池,从而显著提高了资源利用率。
-
VIMS是跨越多个存储服务器实现虚拟化的基础,它可启用存储热迁移 、DRS和High Availability等各种服务
VIMS是一种高性能的集群文件系统,使虚拟化技术的应用超出了单个存储系统的限制,可让多个虚拟机共同访问一个整合的集群式存储池,从而显著提高了资源利用率。
VIMS 是跨越多个存储服务器实现虚拟化的基础,它可启用存储热迁移、DRS(Storage Dynamic Resource Scheduler) 和High Availability 等各种服务。
VIMS分布式锁
-
一个VIMS卷同时被多个CNA节点挂载,因此每个CNA节点都可以访问VIMS卷上的文件。
为保证多节点读写同一文件的数据一致性,VIMS需要实现分布式文件锁。VIMS的DLM模块负责实现分布式文件锁,它提供集群概念上的锁服务,调用者通过DLM保证集群间的同步要求 -
VIMS采用分布式全对称锁机制。
在VIMS中有多个资源管理者(master),每个master只对应一个锁资源。
不同的master并不会集中在同一个节点上,无管理中心节点 -
正常情况下成为某个锁资源的master方式有两种:
-
第一个申请访问资源的节点
-
如果多节点同时访问某资源,一VIMS节点号较小的节点作为master
-
-
当节点发生故障时,此节点负责管理的资源会重新选举出master
VIMS心跳:
VIMS存在两种心跳,磁盘心跳用于检测主机是否可以正常读写共享存储,网络心跳用于检测主机间网络通信是否正常。
作为集群文件系统,挂载了VIMS卷的CNA节点从来都不是单独的个体,作为集群节点成员之一,通过网络心跳确保与其它节点进行正常的网络通信。
磁盘心跳:
- 磁盘心跳用于检测主机是否可以正常读写共享存储
网络心跳:
- 网络心跳用于检测主机间网络通信是否正常。
作为集群文件系统,挂在了VIMS卷的CNA节点从来都不是单独的个体,作为集群节点成员之一,通过网络心跳确保与其他节点进行正常的网络通信
FusionCompute磁盘技术:
在存储虚拟化中,所有用户存储都是以文件形式呈现,虚拟机磁盘、快照、虚拟机配置都对应一个独立的文件场景的磁盘文件分为以下几种:
- 普通磁盘
- 普通延迟置零磁盘
- 精简磁盘
- 差分磁盘
从数据安全性上又划分为:
- 持久化
- 非持久化
普通磁盘:
- 普通磁盘创建时大小与虚拟磁盘大小相同,并将文件所有位置填0,占用空间较大置备事件较长
- 该磁盘用于FusionSphere系统中的普通磁盘。
普通磁盘适用普通磁盘技术,创建时会进行全空间分配和置零操作,
能够提供最好的性能体验和数据安全性。 - 适用于对IOPS要求较高的场景。该磁盘创建所需时间会比创建其他类型的磁盘长
普通延时置零磁盘
- 普通延迟置零卷创建大小与虚拟磁盘大小相同,但不会进行填0操作,占用空间较大,置备时间较普通卷短
- 该磁盘用于FusionSphere系统中的普通延迟置零磁盘,可以提高存储设备的利用率。
普通延迟置零磁盘创建很快,创建时进行全空间分配,但未进行全置零动作,
性能较普通磁盘有所下降。 - 适用于对发放速度要求高,但对IOPS要求不高的场景
精简磁盘
-
精简磁盘创建时大小为0,精简磁盘创建时含少量元数据信息,
大小一般为几十k,创建时间均非常短。
随着用户写入数据,精简磁盘的大小与实际占用空间将逐步增加 -
该磁盘用于FusionSphere系统中的精简磁盘,可以提高存储设备的利用率。
精简磁盘适用动态磁盘技术,可以介绍存储空间。
该磁盘在创建时不进行空间分配,而是在用户IO写入磁盘文件时才进行空间动态分配,
性能较普通磁盘有所下降。 -
适用于用户对存储需求不明确,或是规划的容量比实际适用的容量多的场景
差分磁盘
-
差分磁盘必须基于一个已有的父磁盘来创建,它只记录相对于父磁盘的差异数据,
包括数据的增改差分磁盘不能脱离父磁盘而存在,
0如果父磁盘进行了修改,则差分磁盘的数据将不再可用 -
该磁盘用于FusionSphere系统中的快照、非持久化磁盘、连接克隆等功能,
起到保护源盘不再被修改,并可用跟踪虚拟机磁盘差异数据的作用。
持久化和非持久化磁盘
处于保护磁盘数据的目的,在启动虚拟机时,对这种非持久化磁盘先传教差分磁盘,
在虚拟机运行过程中,将有更改的数据全部写入差分磁盘,
在虚拟机关机后,将差分磁盘数据删除,达到还原磁盘的目的。
应用于公共计算机、计算机数据自动还原的场景
在创建独立持久磁盘时,快照不包含该磁盘,更改将立即并永久写入磁盘,回滚快照不会导致数据回滚
类似于U盘,应用于个人独有数据存放
快照
虚拟机可以将当前状态保存在快照文件中,包括磁盘内容、内存和寄存器数据。
用户可以通过恢复快照多次回到这一状态,虚拟机用户在执行一些重大、高危操作前,例如系统补丁,升级,破坏性测试前执行快照,可以用于故障时的快速还原。
-
FusionCompute支持普通快照、一致性快照以及内存快照。
-
创建快照
-
回滚快照
- 删除快照
链接克隆
链接克隆虚拟机可以基于同一个虚拟机模板,快速发放多个类似的虚拟机。
通过对虚拟机模板的系统卷创建多个差分磁盘,将每个差分磁盘挂载给独立的虚拟机。
- 应用于需要大量发放拥有相同或类似数据的虚拟机,且对性能要求不高。
在链接克隆场景下,将若干链接克隆虚拟机的共同模板中的热点数据放在主机内存中,达到快速读取的目的,能够极大提升虚拟机的启动和运行速度。
存储扩容
存储虚拟化技术原理
存储热迁移
- FusionSphere提供了虚拟机磁盘的冷迁移和热迁移,
- 冷迁移是在虚拟机关机时候,将其磁盘文件从一个存储移动到另一个存储。
- 热迁移可以在不中断业务的迁移下,将虚拟机磁盘从一个存储迁移至另一个存储。
裸设备映射(RDM)
- RDM为虚拟机提供了一种机制来直接访问物理存储子系统(仅限光纤通道或iSCSI)上的LUN,通过适用物理设备映射,可以让虚拟机识别SCSI磁盘
存储扩容
- FusionCompute提供了存储扩容的类型有虚拟卷扩容和数据存储扩容。
- FusionCompute支持离线或在线状态下对磁盘的容量扩充,对于普通磁盘,会将数据区域进行扩充,并进行写零。
- 对于普通延时置零磁盘,会将数据区域进行扩容,并进行空间预占。
- 对于精简磁盘,仅对数据区域进行扩容
- 数据存储扩容使得一个数据存储可以管理多个五路LUN空间,当需要扩容数据存储时,可以通过添加另外的物理LUN至数据存储对物理LUNjinX扩容再扩容数据存储,从而实现对数据存储灵活地进行空间扩容,有效提高数据存储扩展性
❤️HCIP专栏——前文链接
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(一)本篇涵盖 云计算概述,谈及虚拟化、云计算的介绍、云服务模式、部署模式的区别和主流云计算技术
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(二)本篇介绍服务器基础、硬件结构、RAID冗余阵列
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(三)本篇介绍网卡、华为服务器网卡类型、电源和风扇、服务器关键技术:BIOS、IBMC、BMC、IPMI
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(四)本篇介绍 存储技术、硬盘类型、存储架构:DAS、SAN、NAS等
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(五)本篇介绍存储形态、RAID技术特点与工作原理、RAID的常见级别介绍
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(六)本篇介绍存储协议,包含:SCSI、iSCSI、FC协议、iFCP协议、FCoE协议;FC协议与TCP协议
- (云计算HCIP)HCIP全笔记(七)本篇介绍网络技术基础,包含:网关、交换机、路由的介绍,OSI网络参考模型、TCP/IP协议栈、TCP和UDP协议、SSH协议
- (云计算HCIP)HCIP全笔记(八)本篇介绍网络技术基础,包含:网络交换的流程、交换机原理、VLAN技术、VLAN划分与接口类型、路由原理、路由转发流程、静态路由和默认路由
- (云计算HCIP)HCIP全笔记(九)本篇介绍操作系统基础,内容包含:操作系统组成、分类和定义,Linux的特性结构和Linux版本分类
- (云计算HCIP)HCIP全笔记(十)本篇介绍操作系统基础,内容包含:linux命令使用、linux文件相关命令、vim的使用、配置openEuler静态IP地址、设置主机名 等
- (云计算HCIP)HCIP全笔记(十一)本篇介绍虚拟化技术,内容包含:虚拟化介绍、虚拟化定义、虚拟化重要概念、虚拟机类型、虚拟化的特点:分区、隔离、封装、硬件独立
- (云计算HCIP)HCIP全笔记(十二)本篇介绍虚拟化技术,内容包含:虚拟化资源、CPU虚拟化、KUMA、KVM介绍、模拟CPU指令、敏感指令区分、内存虚拟化、TLB技术、影子页表技术
- (云计算HCIP)HCIP全笔记(十三)本篇介绍虚拟化技术,内容包含:虚拟化资源、虚拟化过程、I/O虚拟化、虚拟化架构KVM和Xen介绍、主流虚拟化技术介绍
- (云计算HCIP)HCIP全笔记(十四)本篇介绍云计算存储基础,内容包含:物理存储内/外存、集中式和分布式存储差异、虚拟化和非虚拟化存储、文件系统、华为虚拟化产品的存储架构
- (云计算HCIP)HCIP全笔记(十五)本篇介绍网络虚拟化,内容包含:网桥、虚拟交换模型、网络安全策略、安全组、Trunk口、流量走向、端口组…
- (云计算HCIP)HCIP全笔记(十六)本篇介绍虚拟机VM特性:内存复用、虚拟机克隆、虚拟机快照、NUMA架构、资源迁移、磁盘扩容、HA集群迁移、VNC登录…
😎👉HCIP——Fusioncompute篇
- (云计算)华为HCIP全笔记——FusionCompute篇(一):介绍华为云FusionSphere的架构组成、虚拟化套件特点,FusionCompute产品介绍
- (云计算)华为HCIP全笔记——FusionCompute篇(二)FC计算虚拟化:CNA介绍、GPU虚拟化、GPU直通技术、内存复用、NUMA亲和度调度、虚拟机HA、IMC策略…
💕👉博客专栏
- Golang专栏-包含基础、Gin、Goam等知识
- 云原生专栏-包含k8s、docker等知识
- 从0开始学习云计算-华为HCIP证书
- JUC专栏-带你快速领悟JUC的知识!
- JVM专栏-深入Java虚拟机,理解JVM的原理
- 基于Java研究 数据结构与算法-包含贪心算法、加权图、最短路径算法等知识
- Docker专栏-上手热门容器技术Docker
- SpringBoot专栏-学习SpringBoot快速开发后端
- 项目管理工具的学习-设计技术:Maven、Git、Gradle等相关管理工具
- JavaSE-全面了解Java基础
- JS专栏-使用JS作的一部分实例~
- 使用CSS所作的一部分案例