比如Intel J1900 四千兆的无风扇迷你电脑,AHCI(Intel Atom Processor E3800 Series SATA AHCI Controller 8086:0f23)不受ESXi支持,因此需要在ESXi的安装包中添加驱动。

准备工作:

  1. 下载安装VMware PowerCLI
  2. 下载ESXi Offline Bundle放到D:\VMware
  3. 从http://www.v-front.de/p/esxi-customizer-ps.html下载ESXi-Customizer-PS放到D:\vm
  4. 从https://vibsdepot.v-front.de/wiki/index.php/Sata-xahci下载sata-xahci Offline Bundle放到D:\vm

启动VMware PowerCLI,执行下面的命令

重启计算机,再打开VMware PowerCLI

用D:\vm下面新生成的iso安装ESXi

 

LSF的lsb.resources文件中可以针对用户进行资源使用限制,用户可以用USERS和PER_USER设置,这里列出不同设置下的意义。

USERS=all:所有用户使用资源总和不能超过限制
USERS=A B C:A B C三个用户(组)使用资源总和不能超过限制
PER_USER=all:每个用户使用资源不能超过限制,按照每个用户计算不管用户组
PER_USER=A B C:A B C三个用户(组)的每个用户使用资源不能超过限制,哪怕这里的A B C是用户组,但是还是按照每个用户计算

一台DDN 7700X,双控,每个控制器两个FDR IB口。两台IO节点,每台两个双口FDR IB卡,一个卡双口与存储两个控制器连接,另一个卡单口与集群IB网络连接。

存储和IO节点间是IB直接连接的,没有通过交换机,每条IB链路都是独立的,所以在每条IB链路上都需要有subnet manager。因每个opensm进程只能绑定一个物理端口,而 service opensmd 只能启动一个opensm进程,所以只能在每个io节点上启动两个opensm专门用于管理存储IB链路。

首先用ibstat查一下和存储连接IB口的Port GUID,在/etc/rc.local中添加opensm并且绑定guid,注意前面的sleep是必须的,否则opensm启动失败。

 

首先要给节点启用NUMA Affinity,在lsb.hosts的Host节中添加AFFINITY列,值为Y,如:

启用后用bhost -l -aff可以看到Affinity已经Enable

提交作业时-R参数添加affinity字段如affinity[core:membind=localprefer:distribute=pack]

两台Dell R730(2*E5-2670 v3,64GB内存),RAID卡为PERC H730P Mini(2GB Cache),每台5个Intel SSD 730 480GB做一个RAID5(Strip Size 128KB,Write Back,No Read Ahead),将两台节点上的SSD RAID做成一个GPFS测试。

测试命令 write rewrite read reread
iozone -i 0 -i 1 -r 128K -s 128G -t 2 -+m ./io 2595 2777 4514 4584
iozone -i 0 -i 1 -r 128K -s 2G -t 128 -+m ./io 3034 3823 4543 4582
iozone -i 0 -i 1 -r 128K -s 1G -t 256 -+m ./io 2963 3767 4505 4569
iozone -i 0 -i 1 -r 128K -s 512M -t 512 -+m ./io 2783 3549 2290 2307
iozone -i 0 -i 1 -r 128K -s 256M -t 1024 -+m ./io 2204 3743 2683 2715
iozone -i 0 -i 1 -r 64K -s 128G -t 2 -+m ./io 2504 3927 4474 4581
iozone -i 0 -i 1 -r 64K -s 2G -t 128 -+m ./io 3074 3752 4507 4584
iozone -i 0 -i 1 -r 64K -s 1G -t 256 -+m ./io 2949 3952 4509 4575
iozone -i 0 -i 1 -r 64K -s 512M -t 512 -+m ./io 2826 3565 4481 4554
iozone -i 0 -i 1 -r 64K -s 256M -t 1024 -+m ./io 2288 3647 2656 2751
iozone -i 0 -i 1 -r 32K -s 128G -t 2 -+m ./io 2507 3601 4379 4559
iozone -i 0 -i 1 -r 32K -s 2G -t 128 -+m ./io 3065 3518 4501 4587
iozone -i 0 -i 1 -r 32K -s 1G -t 256 -+m ./io 2956 3540 4516 4582
iozone -i 0 -i 1 -r 32K -s 512M -t 512 -+m ./io 2810 3587 4500 4550
iozone -i 0 -i 1 -r 32K -s 256M -t 1024 -+m ./io 2310 3224 2692 2734
iozone -i 0 -i 1 -r 16K -s 128G -t 2 -+m ./io 2517 3566 4404 4579
iozone -i 0 -i 1 -r 16K -s 2G -t 128 -+m ./io 3058 3524 4494 4571
iozone -i 0 -i 1 -r 16K -s 1G -t 256 -+m ./io 2557 2675 2669 2675
iozone -i 0 -i 1 -r 16K -s 512M -t 512 -+m ./io 2406 2491 2553 2530
iozone -i 0 -i 1 -r 16K -s 256M -t 1024 -+m ./io 2056 1953 2125 2178
iozone -i 0 -i 1 -r 8K -s 128G -t 2 -+m ./io 3179 3620 4421 4513
iozone -i 0 -i 1 -r 8K -s 2G -t 128 -+m ./io 2794 2868 3082 3045
iozone -i 0 -i 1 -r 8K -s 1G -t 256 -+m ./io 1327 1366 1348 1352
iozone -i 0 -i 1 -r 8K -s 512M -t 512 -+m ./io 1242 1269 1304 1253
iozone -i 0 -i 1 -r 8K -s 256M -t 1024 -+m ./io 1214 1121 1164 1151
iozone -i 0 -i 1 -r 4K -s 128G -t 2 -+m ./io 2370 2816 3809 3854
iozone -i 0 -i 1 -r 4K -s 2G -t 128 -+m ./io 1462 1485 1594 1596
iozone -i 0 -i 1 -r 4K -s 1G -t 256 -+m ./io 675 684 716 729
iozone -i 0 -i 1 -r 4K -s 512M -t 512 -+m ./io 623 627 639 643
iozone -i 0 -i 1 -r 4K -s 256M -t 1024 -+m ./io 645 618 575 575

Dell R730(2*E5-2670 v3,64GB内存,H730P),4个Intel SSD 730 480GB做JBOD,系统中将四个SSD做成GPFS测试

 测试命令 write rewrite read reread
iozone -i 0 -i 1 -r 128K -s 128G -t 1 1939 1899 2132 2142
iozone -i 0 -i 1 -r 128K -s 2G -t 64 1900 1925 2076 2127
iozone -i 0 -i 1 -r 128K -s 1G -t 128 1971 1898 2145 2141
iozone -i 0 -i 1 -r 128K -s 512M -t 256 1642 1872 991 1047
iozone -i 0 -i 1 -r 64K -s 128G -t 1 1960 1866 2139 2138
iozone -i 0 -i 1 -r 64K -s 2G -t 64 1871 1891 2110 2140
iozone -i 0 -i 1 -r 64K -s 1G -t 128 1948 1895 2152 2141
iozone -i 0 -i 1 -r 64K -s 512M -t 256 1555 1830 1066 1073
iozone -i 0 -i 1 -r 32K -s 128G -t 1 1904 1916 2063 2110
iozone -i 0 -i 1 -r 32K -s 2G -t 64 1937 1867 2142 2129
iozone -i 0 -i 1 -r 32K -s 1G -t 128 1886 1916 2038 2112
iozone -i 0 -i 1 -r 32K -s 512M -t 256 1855 1843 2067 2043
iozone -i 0 -i 1 -r 16K -s 128G -t 1 1881 1909 2037 2136
iozone -i 0 -i 1 -r 16K -s 2G -t 64 1962 1870 2100 2052
iozone -i 0 -i 1 -r 16K -s 1G -t 128 1320 1305 1331 1320
iozone -i 0 -i 1 -r 16K -s 512M -t 256 1251 1266 1258 1266
iozone -i 0 -i 1 -r 8K -s 128G -t 1 1858 1873 2111 2142
iozone -i 0 -i 1 -r 8K -s 2G -t 64 1437 1455 2047 1510
iozone -i 0 -i 1 -r 8K -s 1G -t 128 671 661 680 681
iozone -i 0 -i 1 -r 8K -s 512M -t 256 629 637 641 643
iozone -i 0 -i 1 -r 4K -s 128G -t 1 1458 1620 1764 1878
iozone -i 0 -i 1 -r 4K -s 2G -t 64 750 758 792 794
iozone -i 0 -i 1 -r 4K -s 1G -t 128 337 332 341 339
iozone -i 0 -i 1 -r 4K -s 512M -t 256 316 316 316 317

Dell Compellent SCv2080,双控,每控制器8GB缓存,满配84颗4TByte 3.5-inch 7.2Krpm NL-SAS。建立4个Volumes,每个Volumes容量50TB,模式为RAID 10-DM和RAID 6-10,所以实际测试的是RAID 10-DM的性能。四个卷全部映射给两台Dell R730(2*E5-2670 v3,64GB内存,单卡双口8Gb FC)IO服务器,与存储通过两台8Gb光纤交换机冗余连接。四个卷做成一个GPFS进行测试。每个IO节点通过2个万兆做LACP和核心交换机连接,6个刀片计算节点通过1个万兆和刀箱交换机连接,刀箱交换机通过2个万兆做LACP和核心交换机连接。

io为两个IO节点测试,blade为6个刀片节点测试,测试进程平均分配,单位MB/sec

 测试命令 write rewrite read reread
iozone -i 0 -i 1 -r 128K -s 128G -t 2 -+m ./io 1555 1574 2587 2600
iozone -i 0 -i 1 -r 128K -s 12G -t 20 -+m ./io 1573 1591 2560 2573
iozone -i 0 -i 1 -r 128K -s 6G -t 40 -+m ./io 1587 1602 2829 2817
iozone -i 0 -i 1 -r 128K -s 3G -t 80 -+m ./io 1600 1602 2882 2889
iozone -i 0 -i 1 -r 128K -s 1G -t 288 -+m ./io 1586 1600 2827 2841
iozone -i 0 -i 1 -r 128K -s 4G -t 252 -+m ./io 1564 1613 2844 2803
iozone -i 0 -i 1 -r 128K -s 4G -t 252 -+m ./io 1578 1616 2799 2805
iozone -i 0 -i 1 -r 128K -s 2G -t 504 -+m ./io 1050 1591 1710 1689
iozone -i 0 -i 1 -r 128K -s 1G -t 1008 -+m ./io 486 963 284 277
iozone -i 0 -i 1 -r 64K -s 4G -t 252 -+m ./io 1587 1611 2841 2848
iozone -i 0 -i 1 -r 64K -s 2G -t 504 -+m ./io 1093 1586 1751 1717
iozone -i 0 -i 1 -r 64K -s 1G -t 1008 -+m ./io 306 379 91 91
iozone -i 0 -i 1 -r 32K -s 4G -t 252 -+m ./io 1585 1612 2871 2875
iozone -i 0 -i 1 -r 32K -s 2G -t 504 -+m ./io 1161 1550 1764 1775

HP MSA 2040 SAN,双控制器,每控制器4GB缓存。两台IO节点与存储双控通过16Gb FC冗余链接。

测试命令:iozone -i 0 -i 1 -r 128K -s 256G -t 2 -+m ./iolist -C
每个IO节点一个iozone进程,更多的进程更慢

write rewrite read reread
900GByte 2.5-inch 10Krpm 6Gb/s SAS
每5个盘做一组RAID5,4组RAID5
2421 2421 2419 2418
4TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS
每6个盘做一组RAID6,2组RAID6
1249 1228 1276 1279

 

HPC集群中一些系统维护工作不需要立刻执行,而希望在不影响用户正常使用的情况下见缝插针的进行,这个时候可以将这些维护工作做成作业,通过作业调度系统来调度完成。下面以通过LSF作业调度系统升级Infiniband卡固件和驱动为例:

  1. 允许root用户提交作业
    1. 修改lsf.conf,添加一行
    2. 重启相关服务让修改生效
  2. 编写升级脚本
  3. 将升级所需文件复制到所有节点
  4. 编写作业提交脚本
    如果队列之间有抢占,系统维护作业需要提交到低优先级队列,提交到高优先级队列会造成重启时还有被抢占挂起的作业
    首先关闭节点,再进行维护作业,完成后再打开节点