存储为浪潮AS500H(NetApp E2600),24个900GB 2.5-inch 10Krpm SAS。IO节点为两台浪潮NF5270M3,每台2*E5-2620v2 64GB内存 双端口MiniSAS卡。每台IO节点均和存储的两个控制器通过MiniSAS直接连接。24个盘做成一个DDP,保留盘1个或2个,划分两个卷,每个控制器一个,每个IO节点一个,持续写入约220MB,持续读取约610MB。可以说结果一塌糊涂!
分类: Hardware
LSI MeagRAID CacheCade 测试
Dell R720xd,2*E5-2620,16GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.11
SSD: Intel SSD 530 Series (240GB, 2.5in SATA 6Gb/s, 20nm, MLC)
Iozone 3.414,测试命令iozone -i 0 -i 1 -i 2 -r 1m -s 64G,结果单位Kbytes/sec
Raid5:15个2.5" SAS2 10Krpm 900GB,每5个硬盘为一个Raid5共3个,每个Raid5在GPFS里面做成一个NSD,三个NSD做成一个GPFS文件系统
无CacheCade
write: 2157086
rewrite: 2164703
read: 1920239
reread: 2034515
random read: 126223
random write: 927219
有CacheCade
write: 2142893
rewrite: 2142537
read: 963505
reread: 970880
random read: 71778
random write: 862301
pagepool设置1GB或12GB测试了一下,对结果没有显著影响。
虽然结论仍然是当SSD性能落后于被加速的机械硬盘时性能反而下降,但是您肯定想问为啥测试结果和以前的这篇文章差距如此巨大?以前是刚装好就测试的,这次是高负载使用了一段时间以后测试的,还有就是GPFS的小版本有点不同。
LSI MeagRAID CacheCade 的 IO Policy
Dell R720xd,2*E5-2620,16GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.11
SSD: Intel SSD 530 Series (240GB, 2.5in SATA 6Gb/s, 20nm, MLC)
配置好CacheCade后,机械盘的IO Policy无论设置为Direct IO还是Cached IO,其结果都是一样的。
也就是说一旦配置好CacheCade后,所有机械盘阵列均能够被CacheCade加速
LSI MeagRAID SAS2208 性能测试
Dell R720,E5-2620,16GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.11
Raid5:5个2.5" SAS2 10Krpm 600GB为一个Raid5做成一个NSD,用这个NSD做成一个GPFS文件系统
Iozone 3.414,测试命令iozone -i 0 -i 1 -i 2 -r 1m -s 64G,结果单位Kbytes/sec
write: 393595
rewrite: 406162
read: 431798
reread: 434553
random read: 97135
random write: 238970
LSI MeagRAID CacheCade测试
Dell R720xd,E5-2620*2,32GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.7
SSD: Plextor M5pro 256GB
Iozone 3.414,测试命令iozone -i 0 -i 1 -i 2 -r 1m -s 64G,结果单位Kbytes/sec
说明:Dell PERC H720P是CacheCade 1.1,SSD只支持读缓存不支持写缓存
Raid1:2个2.5" SAS2 10Krpm 600GB组成Raid1,文件系统ext4
无CacheCade
write: 187650
rewrite: 186938
read: 175573
reread: 176657
random read: 70806
random write: 130185
有CacheCade
write: 189204
rewrite: 185290
read: 174780
reread: 175871
random read: 95549
random write: 129789
通过SSD缓存随机读取明显提升
Raid5:15个2.5" SAS2 10Krpm 900GB,每5个硬盘为一个Raid5共3个,每个Raid5在GPFS里面做成一个NSD,三个NSD做成一个GPFS文件系统
无CacheCade
write: 1017661
rewrite: 1010487
read: 1253673
reread: 1371768
random read: 103493
random write: 504399
有CacheCade
write: 469138
rewrite: 459371
read: 559042
reread: 566837
random read: 53655
random write: 362697
当SSD性能落后于被加速的机械硬盘时性能反而下降
超微存储优化4U机架
SC847DE16-R1K28LPB,这货能装72块热插拔3.5"硬盘,即使是IBM EXP5060也只能在4U里面放60块3.5"硬盘。但是怎么前后还是36个槽位啊,仔细看每个槽位拉出来里面有两个盘,超微太有才了。
曙光TC4600刀片的一些问题
刀箱管理模块功能非常简单,不支持SNMP、NTP和syslog
无法批量修改BIOS设置,只能每台机器进console启动的时候修改,官方承认此点
启动顺序配置好以后可能会变
刀箱千兆交换机外部端口不支持LACP,官方承认此点并表示只能在曙光的交换机之间做链路聚合,而且效果很差4*1G聚合后带宽不足2G,不支持STP
刀箱千兆交换机SNMP的端口编号和实际端口号对应混乱,对应关系见下表
LSI MeagRAID Raid卡高级软件功能
CacheCade:可将热点数据自动迁移到SSD盘上,老的1.x版本只支持SSD用于读缓存,新的Pro 2.0支持SSD用于读写缓存。
FastPath:可以大幅度降低SSD的存取延迟。如果CacheCade可用则FastPath也一定可用,CacheCade需要FastPath。
强烈建议仔细阅读:https://sites.google.com/a/storaid.org/storaid/storage-raid/lsi-raid-software-stack/megaraid-stack
HP 网络打印机配置事项
在产品安全功能中设置密码
启用 SNMP 只读访问,如禁用 SNMP 将导致很长的打印延迟
IBM X3550/X3650 M2 的改进
X3550 M2/X3650 M2比它们的上一代X3550/X3650进行了很多改进:
导轨:X3650和X3550的导轨和电缆支架是完全不同的。X3650的导轨还不错,电缆支架不怎么好且笨重,在机柜里如果上方也是X3650,电缆支架的一个部件将无法安装。x3550的导轨就不好用。X3650 M2和X3550 M2的导轨则完全相同是通用的,一个人安装起来非常方便,电缆支架也比较清爽。
CPU:X3650的CPU散热器是2U高度的,x3550的是1U高度的,安装第二颗CPU均需安装电源模块。X3650 M2和X3550 M2的CPU散热器均是1U高度的,X3650 M2的CPU空气挡板将风压缩到1U的高度吹过CPU散热器,安装第二颗CPU均无需电源模块。
远程控制:X3650和X3550的远程控制模块RSA是要单独购买的,X3650 M2和X3550 M2的远程管理模块IMM是标配的,不过如果需要远程KVM和远程软驱光驱的话还要Virtual Media Key,否则就只能看看机器的硬件状态。
硬盘:X3650 M2和X3550 M2已经不在支持3.5英寸的硬盘了,内部结构根本就没有留下空间安装长的3.5英寸硬盘。X3650 M2、X3550 M2和DS3500使用的2.5英寸硬盘托架和X3650、X3550和DS3000的完全不同,不能通用。
电源:X3650的电源是2U高度的,x3550的是1U高度的,两者显然不通用。X3650 M2和X3550 M2的电源则是完全一样的,不过这也造成了X3650 M2电源上方的空间其实浪费了。
ServeRAID:X3650和X3550的标配ServeRAID 8k(-l)是Adaptec OEM的,ServeRAID 8k(-l)的主芯片是在固化在主板上的,可装卸的部分是RAID卡的DIMM内存。X3650 M2和X3550 M2则是在电源后方提供了一个标准的PCI-E x8的插槽插普通SAS卡,标配的ServeRAID-BR10i是LSI SAS 3082E-R,主芯片LSI 1068E,有两个x4 SFF8087 miniSAS接口,仅支持3Gb/s。整体感觉LSI比Adaptec的好用,启动速度快,非RAID成员的硬盘可以直接使用,支持2TB的SATA盘。
SAS背板:X3650无论是3.5英寸还是2.5英寸的盘架,背板上都有一个SAS扩展器芯片(SAS Expander IC),这样无论是6个盘还是8个盘背板与SAS卡的连接都是一个x4 SFF8087。X3650 M2取消了SAS扩展器芯片(SAS Expander IC),每四个盘组成一组,每个盘通过背板直接与SAS卡的相连,每个盘均占用x4 SFF8087 miniSAS中的一个通道。
主板:X3650和X3550的主板不同,X3550的内存插槽要少。而X3650 M2和X3550 M2的主板则相同,X3550 M2的扩展性就很接近X3650 M2了。