VMware ESXi 配置 NVMe over RoCE

NVMe over RoCE 的相关配置需要在 vCenter Server Client 下面操作,ESXi Host Client 下是没有相关选项的,至少图形界面是这样,用 esxicli 估计可以直接在 ESXi 下面配置。所以需要先用本地的盘部署一套VCSA,精简配置大约150GB就够了,等NVMe配置好再迁移到存储上。

  • 在配置-网络-RDMA 适配器下确认RDMA适配器(vmrdmaX)对应的物理网络适配器(vmnicX),可通过交换机 shutdown 等方法确认规划用于 NVMe 的端口对应的物理网络适配器名称。
    如 vmrdma0 对应 vmnic2、vmrdma3 对应 vmnic5。
  • 在配置-网络-虚拟交换机下添加网络,选择 VMkernel 网络适配器、选择新建标准交换机、输入MTU(Dorado 推荐5500),选择一个用于NVMe的物理网络适配器,VLAN ID 填写对应交换机的 NVMe over RoCE 用 VLAN,可用服务中仅勾选 NVMe over RDMA,配置静态IPv4地址。
  • 重复上述过程,为每个 NVMe 端口对应的物理网络适配器创建独立的虚拟交换机并配置独立的 VLAN、独立的 VMkernel 端口,实现每个 VMKernel 和物理网络适配器之间一一映射。
    如 vSwitch1 绑定物理网络适配器 vmnic2、VMkernel 端口 vmk1 192.168.123.11、VLAN ID  123;vSwitch2 绑定物理网络适配器 vmnic5、VMkernel 端口 vmk2 192.168.124.11、VLAN ID  124。
  • 在配置-存储-存储适配器-添加软件适配器,添加 NVMe over RDMA 适配器,选择对应的RDMA设备。重复该过程为每个 NVMe 的 RDMA适配器 添加 软件适配器。
    如为 vmrdma0 添加 vmhba64,为 vmrdma3 添加 vmhba65
  • 在配置-存储-存储适配器中,选中刚刚添加的vmhbaXX(VMware NVME over RDMA Storage Adapter),在控制器中添加控制器,填写子系统NQN(存储的NQN)、该网络对应VLAN下的存储IP,保持活动时间 Dorado 推荐5秒,重复此过程添加存储在该VLAN下的所有IP。
    如 vmhba64 添加有 192.168.123.101-104 四个控制器
  • 重复上述过程给剩下的 vmhbaXX 添加控制器。
    vmhba65 添加有 192.168.124.101-104 四个控制器
  • 复查所有访问路径 esxcli nvme fabrics connection list
  • 上述的每个控制器如果都可以访问同一个LUN,那么每一个都是一个多路径。7.0最多4条,8.0最多8条,8.0U1最多32条。
  • 最终结果如下表所示,8个路径 = 2个物理网络适配器 x 4个控制器
RDMA适配器VMkernel适配器VMkernel 适配器 IP物理适配器虚拟交换机VLAN存储适配器存储控制器 IP
vmrdma0vmk1192.168.123.11vmnic2vSwitch1123vmhba64192.168.123.101-104
vmrdma3vmk2192.168.124.11vmnic5vSwitch2124vmhba65192.168.124.101-104

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据