Dell R720xd,2*E5-2620,16GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.11
SSD: Intel SSD 530 Series (240GB, 2.5in SATA 6Gb/s, 20nm, MLC)
Iozone 3.414,测试命令iozone -i 0 -i 1 -i 2 -r 1m -s 64G,结果单位Kbytes/sec

Raid5:15个2.5" SAS2 10Krpm 900GB,每5个硬盘为一个Raid5共3个,每个Raid5在GPFS里面做成一个NSD,三个NSD做成一个GPFS文件系统

无CacheCade
write: 2157086
rewrite: 2164703
read: 1920239
reread: 2034515
random read: 126223
random write: 927219

有CacheCade
write: 2142893
rewrite: 2142537
read: 963505
reread: 970880
random read: 71778
random write: 862301

pagepool设置1GB或12GB测试了一下,对结果没有显著影响。

虽然结论仍然是当SSD性能落后于被加速的机械硬盘时性能反而下降,但是您肯定想问为啥测试结果和以前的这篇文章差距如此巨大?以前是刚装好就测试的,这次是高负载使用了一段时间以后测试的,还有就是GPFS的小版本有点不同。

Dell R720xd,2*E5-2620,16GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.11
SSD: Intel SSD 530 Series (240GB, 2.5in SATA 6Gb/s, 20nm, MLC)

配置好CacheCade后,机械盘的IO Policy无论设置为Direct IO还是Cached IO,其结果都是一样的。
也就是说一旦配置好CacheCade后,所有机械盘阵列均能够被CacheCade加速

Dell R720,E5-2620,16GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.11
Raid5:5个2.5" SAS2 10Krpm 600GB为一个Raid5做成一个NSD,用这个NSD做成一个GPFS文件系统

Iozone 3.414,测试命令iozone -i 0 -i 1 -i 2 -r 1m -s 64G,结果单位Kbytes/sec
write: 393595
rewrite: 406162
read: 431798
reread: 434553
random read: 97135
random write: 238970

Dell R720xd,E5-2620*2,32GB RAM,PERC H720P Mini (LSI SAS2208 ROC)
Red Hat Enterprise Linux Server release 6.3
General Parallel File System (GPFS) 3.5.0.7
SSD: Plextor M5pro 256GB
Iozone 3.414,测试命令iozone -i 0 -i 1 -i 2 -r 1m -s 64G,结果单位Kbytes/sec
说明:Dell PERC H720P是CacheCade 1.1,SSD只支持读缓存不支持写缓存

Raid1:2个2.5" SAS2 10Krpm 600GB组成Raid1,文件系统ext4

无CacheCade
write: 187650
rewrite: 186938
read: 175573
reread: 176657
random read: 70806
random write: 130185

有CacheCade
write: 189204
rewrite: 185290
read: 174780
reread: 175871
random read: 95549
random write: 129789

通过SSD缓存随机读取明显提升

Raid5:15个2.5" SAS2 10Krpm 900GB,每5个硬盘为一个Raid5共3个,每个Raid5在GPFS里面做成一个NSD,三个NSD做成一个GPFS文件系统

无CacheCade
write: 1017661
rewrite: 1010487
read: 1253673
reread: 1371768
random read: 103493
random write: 504399

有CacheCade
write: 469138
rewrite: 459371
read: 559042
reread: 566837
random read: 53655
random write: 362697

当SSD性能落后于被加速的机械硬盘时性能反而下降

CacheCade:可将热点数据自动迁移到SSD盘上,老的1.x版本只支持SSD用于读缓存,新的Pro 2.0支持SSD用于读写缓存。
FastPath:可以大幅度降低SSD的存取延迟。如果CacheCade可用则FastPath也一定可用,CacheCade需要FastPath。

强烈建议仔细阅读:https://sites.google.com/a/storaid.org/storaid/storage-raid/lsi-raid-software-stack/megaraid-stack

LSISAS3801E是LSI唯一一款带有外置SAS接口PCIe的半高SAS HBA卡。类似的LSISAS31601E是全高卡,Adaptec 1045只有一个SFF8088。

LSISAS3801E芯片是LSISAS1068E,至少从FreeBSD 6.4开始支持了。
LSISAS3801E的手册中只标明支持SATA 1.0a,但是LSISAS1068E的技术手册中说明支持SATA II(包括热插拔、NCQ等),一些OEM产品的手册也印证了。