Component

GRAID - 適用於NVMe SSD的資料保護方案

Nov 23, 2020

前言

NVMe的崛起

早期，大多數SSD仍是使用如SATA或SAS等傳統介面與電腦的匯流排連接，但因為快閃記憶體(NAND Flash)的特性，SSD的效能很快就達到了這些基於硬碟所設計介面的效能瓶頸，因此Intel於2009年開始著手尋找適合記憶體特性的替代方案，也就是NVMe（Non-Volatile Memory Express）．有別於基於SATA序列（Serial）介面的AHCI需要多顆硬碟共用一個PCIe控制器，NVMe裝置是透過PCIe（Peripheral Component Interconnect Express）這種高速介面直接與系統連接，且NVMe的佇列數量與深度都大幅提升，可以完全發揮快閃記憶體高併發與低延遲的特性，這促使越來越多在意IO效能的應用採用NVMe SSD，但如何在進行資料保護後仍能保持如此高的效能，也為適合傳統硬碟的RAID技術帶來新的挑戰。

詞彙學習：
《什麼是NVMe？》
《花你一分鐘，一次看懂關於PCIe》
《技嘉小百科，告訴你RAID(容錯式獨立磁碟陣列)是什麼？》

既有的NVMe資料保護方案

軟體RAID

相較於應用於硬碟的軟體RAID，既有應用於NVMe的軟體RAID概念並沒有太大的改變，主要都是透過主機的CPU來處理NVMe指令與運算校驗碼，較大的差別在於NVMe是透過PCIe連接儲存裝置，頻寬較高且延遲較低，且指令設計更簡潔，因此透過CPU直接處理RAID的流程是最有效率的．以RAID0的讀取為例，應用程式讀取任一個4K區塊時，會產生一個讀取NVMe的指令，而軟體RAID模組收到後只需要稍微轉譯並產生新的NVMe指令排入指定SSD的指令佇列，SSD就可以將資料直接透過DMA搬移至應用程式可以存取的緩衝區裡。

圖1. 軟體RAID架構

但軟體RAID最大的問題，在需要運算校驗碼的RAID模式，如RAID5或RAID6，以RAID5為例，一個4k隨機寫的請求，會額外產生兩個讀取與一個寫入的指令，另外還要計算校驗碼，如果要完全發揮所有NVMe SSD的效能，將會佔用掉非常大量的CPU資源，不巧的是，會使用NVMe SSD作為儲存媒體的應用，往往也會消耗大量的CPU資源，這將迫使使用者採用非常高階的CPU，導致系統的建置成本大幅上升。

硬體RAID

硬體RAID在傳統硬碟的場景下是一個很好的解決方案，所有RAID的邏輯都在硬體控制器上完成，可以卸載掉主機CPU的運算，但也正是因為如此，所有的讀寫資料皆必須經過RAID控制器，而目前市面上常見NVMe SSD的傳輸介面都是PCIe Gen3 x4，若是使用規格稍好的SSD，RAID控制器連接到主機的Gen3 x8或x16就容易成為效能瓶頸。另外，由於SSD都必須與硬體RAID控制器直接連接，而控制器本身的PCIe通道非常有限，這直接限制了一個控制器能夠保護的SSD數量，除非另外增加PCIe Switch，這又會對伺服器系統層面的設計與成本帶來相當大的影響。

圖2. 硬體RAID架構

GRAID - 新一代的 NVMe RAID 技術

在早期，就已經有硬體輔助軟體RAID的概念，這類解決方案帶有附加硬體，例如採用RAID BIOS的HBA，或者僅將RAID BIOS整合至主機板，但仍然是使用CPU來處理RAID的邏輯，並無法解決軟體RAID在NVMe環境下面臨的主要問題，而當 NVMe SSD 到達百萬 IOPS 等級的時候，設計出如此高速的硬體加速卡變得極為困難而且開發週期難以跟上 SSD 效能的成長速度，因此，結合可程式化AI晶片的軟體RAID技術 - GRAID應運而生。《詞彙學習：帶您了解什麼是人工智慧(AI)》

圖3. GRAID架構

GRAID主要的概念，是在作業系統上實現一個虛擬的NVMe控制器，並安裝一個內含高效能 AI 處理器的PCIe裝置處理該虛擬NVMe控制器所有的 RAID 運算，這個架構有許多優點：
• 完全發揮 NVMe SSD 的性能，6百萬隨機 IOPS 是目前業界最高的效能數字
• 不會與軟體RAID一樣佔用大量的CPU
• 擺脫硬體 RAID 卡的諸多限制，如計算性能、PCIe 頻寬等
• 即插即用，在沒有PCIe Switch的系統也可以保護透過PCIe直接連接CPU的SSD，無需改變硬體設計
• SCI（Software Composible Infrastructure）架構，亦可保護透過NVMeoF連接進來的外部 NVMe SSD
• 高可擴充性 - 可以輕易疊加新的軟體功能如壓縮、加密等

測試案例

測試伺服器規格	GIGABYTE R282-Z92 + 2 x AMD EPYC™ 7282 16 cores processor at 2.8GHz 1 x GRAID NVMe RAID Controller 10 x 480G Intel^® Optane™ SSD 905P NVM Express* (NVMe*) drives 1 x NVIDIA Mellanox MCX515A-CCAT ConnectX-5 EN Network Interface Card 100GbE 128 GB RAM
作業系統	Centos 8
測試工具	fio-3.7
測試RAID模式	RAID10, RAID5
隨機讀寫測試參數	[global] ioengine=libaio direct=1 iodepth=128 group_reporting=1 time_based=1 runtime=300 randrepeat=1 bs=4K numjobs=32 cpus_allowed=0-31 cpus_allowed_policy=split rw= [randread, randrw] rwmixread=70
連續讀寫測試參數	[global] ioengine=libaio direct=1 iodepth=64 group_reporting=1 time_based=1 runtime=300 randrepeat=1 bs=1M numjobs=7 cpus_allowed=0-6 cpus_allowed_policy=split rw=[read, write] offset_increment=200G size=200G loops=128

測試結果

圖4. GRAID 4K隨機讀取效能

圖5. GRAID 4K隨機讀寫效能

圖6. GRAID RAID10與RAID5循序寫效能

技嘉科技全快閃伺服器

技嘉科技R系列伺服器 – R282-Z92為採用第二代AMD EPYCTM處理器的全快閃伺服器；第二代AMD EPYCTM處理器基於7nm先進製程技術將內核數量提升至64組、PCIe通道高達128條並支援新一代PCIe 4.0傳輸介面；基於這些技術優勢，R282-Z92提供了強大的運算效能能即時處理大量的資料運算；此外，妥善運用豐富的PCIe通道提供可彈性運用的PCIe擴展槽，並於機箱前側支援24顆2.5吋U.2儲存裝置以因應需要大量即時讀取/寫入資料的需求。技嘉科技R282-Z92擁有高密度運算、存儲容量配置與I/O效能倍速提升的最佳化設計，能滿足日益嚴苛的工作負載需求，例如軟體定義和虛擬化基礎架構、大量數據資料分析或是全閃高效能儲存服務等。

R282-Z92 機架式伺服器	雙路第二代 AMD EPYC™ 7002 系列處理器 32組 DDR4記憶體插槽 2組 1Gb/s 網路連接埠 24組 2.5" NVMe 熱插拔 SSD硬碟槽 (前側) 2組 2.5" SATA/SAS 熱插拔 HDD/SSD硬碟槽 (後側) 1組 PCIe 3.0 M.2插槽 2組 PCIe 4.0 擴展槽 1600瓦 80 PLUS 白金級冗餘備援電源供應

結論

本白皮書介紹了NVMe SSD對傳統RAID技術所帶來的影響與其適合的RAID架構，透過測試結果，可以看到GRAID在最精簡高效的平台上，仍能完全發揮NVMe SSD效能的情況下保護使用者的資料，並釋放出CPU的運算資源供應用程式以符合各種使用情境如 5G、IOT 及 AI 運算等。
技嘉科技即將推出此GRAID解決方案，欲諮詢更多方案訊息請郵件至marketing@gigacomputing.com

詞彙學習：
《帶您了解什麼是5G》
《什麼是IoT？》

影片加映：圖睿科技汪木金總經理為您演繹企業級AI磁碟陣列新未來