Các tùy chọn Backplane NVMe của Dell PowerEdge

Dell cung cấp nhiều backplane lưu trữ khác nhau trong các máy chủ PowerEdge 16G của họ. Khi cấu hình R760, có gần 50 tùy chọn khung gầm ổ đĩa. Mặc dù một số trong số này là hỗ trợ cũ (ví dụ: PERC 11), điểm mấu chốt là quyết định về khung gầm là một quyết định lớn. Điều này thậm chí còn chưa tính đến hỗ trợ SSD NVMe E3.S sắp ra mắt, đây là cách duy nhất để có SSD Gen5 trong máy chủ PowerEdge. Chúng tôi đã xem xét E3.S trong Dell PowerEdge R660 nếu bạn muốn tìm hiểu thêm về lợi ích của các yếu tố hình thức Gen5 và EDSFF.

Quay lại nhiệm vụ trước mắt. Đối với bài đánh giá này, chúng tôi muốn hiểu những tác động của việc chọn tùy chọn Direct Drives của Dell so với tùy chọn thẻ HWRAID PERC 12. Như đã đề cập, trọng tâm rõ ràng ở đây chỉ là xem xét SSD NVMe Gen4 U.2/U.3. Hiện tại, chúng tôi bỏ qua các tùy chọn khung gầm cho SATA/SAS và HDD 3,5 inch. Các cấu hình đó đơn giản hơn nhiều.

Trong R760, Dell cung cấp một vài tùy chọn khung gầm để có các ổ đĩa NVMe Gen4 trên bo mạch. Tùy chọn Direct Drives có thể được cấu hình để hỗ trợ 8 hoặc 16 ổ đĩa. Đối với cấu hình HWRAID, Dell cung cấp thẻ PERC 12 HWRAID theo cách tương tự, với một thẻ RAID cho mỗi lô 8 SSD. Quyết định này rất quan trọng vì nó là nền tảng để cho phép R760 được trang bị đầy đủ 16 SSD NVMe đạt được hiệu suất tốt nhất có thể.

Tổng quan về Dell PERC 12

Bộ điều khiển RAID Dell PowerEdge (PERC) 12 dựa trên chip Broadcom SAS4116W. Mặc dù có SAS trong tên sản phẩm, bộ điều khiển là một thiết bị RAID-on-Chip (ROC) ba chế độ. Bộ điều khiển RAID tương tự được sử dụng trong dòng Broadcom MegaRAID. Chúng tôi gần đây đã đánh giá MegaRAID 9670W làm nổi bật các khả năng chính. Tuy nhiên, với Dell PERC 12, các khác biệt thiết kế thiết yếu sẽ phát huy tác dụng tùy thuộc vào máy chủ Dell và dòng sản phẩm lưu trữ mà bạn quan tâm.

Đối với PowerEdge, hầu hết các cấu hình sẽ sử dụng thẻ PERC 12 "H965i Front". Trong bài đánh giá hệ thống R760 với HWRAID, chúng tôi có hai thẻ H965i Front này trong hệ thống, mỗi thẻ cho mỗi bộ 8x SSD Solidigm P5520. Điều đáng nói là các thẻ này nhỏ hơn đáng kể so với thẻ bổ sung. Thiết kế PCB và quản lý nhiệt thực sự ấn tượng. Các thẻ này được gắn trực tiếp vào backplane NVMe 8 ổ đĩa và kết nối với bo mạch chủ bằng hai cáp PCIe x8. Điều này giải phóng các khe cắm PCIe ở phía sau máy chủ cho các thiết bị khác.

Nói về thẻ bổ sung, PERC 12 H965i tiêu chuẩn là thẻ nửa chiều cao, nửa chiều dài bao gồm quạt tích hợp. Phiên bản PERC 12 này sẽ xuất hiện trong một số cấu hình PowerEdge và cũng có thể tìm thấy trong một số Dell PowerVault MD JBOD mới. Cuối cùng, có H965i MX, là một PCB dài, hẹp được thiết kế cho các khung gầm mô-đun như MX7000.

So sánh Dell PERC 11 và PERC 12

Thẻ Dell PERC 11 đã hỗ trợ SSD NVMe, nhưng không may, lợi ích của RAID phần cứng phải trả giá bằng hiệu suất đáng kể. Sự sụt giảm đó chính là lý do tại sao ngành công nghiệp rất hào hứng với chip Broadcom mới và phiên bản thẻ của Dell, PERC. Dell đã công bố một số số liệu về sự khác biệt giữa PERC 11 và PERC 12, thật đáng kinh ngạc.

Lợi ích về độ trễ của PERC 12 rõ ràng là hiện hữu; nhưng hãy nhìn vào hiệu suất trong điều kiện xấu nhất, hiệu suất trong quá trình khôi phục. PERC 12 tăng vài nghìn phần trăm cải thiện, và ngay cả thời gian khôi phục RAID cũng thấy những lợi ích đáng kể.

Nhìn vào các số liệu băng thông và IOPS mà Dell trích dẫn, chúng ta có thể thấy một bước tiến lớn mà thẻ PERC 12 thực hiện so với PERC 11. Trên diện rộng, tất cả các khối lượng công việc này đều thấy mức cải thiện tối thiểu 2 lần ở thẻ PERC 12. Tất nhiên, chúng tôi đã thực hiện thử nghiệm của mình để kiểm tra hiệu suất PERC 12, và chúng tôi sẽ đi đến đó.

So sánh hiệu suất Dell Direct Drives và Dell PERC 12

Để so sánh hiệu suất lưu trữ trong Direct Drives so với PERC 12, chúng tôi đã cấu hình các "anh em họ" máy chủ R760 của mình với SSD Solidigm P5520 7,68TB. Dell R760 với Direct Drives có 8 khoang NVMe. R760 với PERC 12 có 16 khoang NVMe với hai thẻ RAID H965i Front.

Nhìn bề ngoài, có thể không rõ ràng rằng có những hạn chế hiệu suất nhất định ở cả hai phía. Bắt đầu với phương pháp Direct Drives, mỗi SSD có kết nối PCIe x4 riêng, nghĩa là tám SSD có 32 làn PCIe dành riêng cho chúng.

Điều này cho phép băng thông đáng kinh ngạc, thường trên 52GB/s nếu mỗi ổ đĩa Gen4 có thể bão hòa kết nối 6,5GB/s của nó. So với cấu hình PERC 12 H965i, mỗi nhóm tám SSD giao tiếp trực tiếp với thẻ RAID, thẻ này kết nối trở lại bo mạch chủ bằng kết nối PCIe x16. Điều này cắt giảm một nửa băng thông mà cấu hình Direct Drives hỗ trợ. Vì vậy, rõ ràng là các kết nối NVMe gốc sẽ thắng? Không hẳn.

Khi xử lý nhiều thiết bị NVMe trong hệ thống đa CPU, ánh xạ NUMA giữa ổ đĩa và CPU, cũng như các ngắt hệ thống, sẽ đóng vai trò. Điều này có thể được tối ưu hóa nhưng đòi hỏi phải điều chỉnh đáng kể. Không phải tất cả các ứng dụng đều tính đến điều này.

Ảo hóa là một lĩnh vực khó quản lý ánh xạ NUMA vì các tài nguyên được chia sẻ được cân bằng theo thời gian thực, đôi khi đến một CPU có thể không có quyền truy cập trực tiếp vào các tài nguyên PCIe được gán đó. Các thẻ RAID phần cứng giảm thiểu nhiều vấn đề này và tối ưu hóa cho các ngắt hệ thống và chuyển đổi ngữ cảnh, giúp giải phóng tài nguyên CPU. Ánh xạ NUMA cũng trở nên ít phức tạp hơn, vì thay vì có 16 SSD riêng lẻ được chia trên hai CPU, bạn chỉ có một thẻ lưu trữ cho mỗi CPU để quản lý.

Kế hoạch thử nghiệm của chúng tôi tập trung vào hai lĩnh vực. Lĩnh vực đầu tiên là các khối lượng công việc Vdbench đo hiệu suất JBOD với tám SSD được chuyển qua cho cả hai R760. Trên R760 Direct Drives có tám SSD gốc, trong khi trên R760 HWRAID, PERC 12 chuyển qua tám thiết bị lưu trữ thô. Cả hai đều được thử nghiệm như hiện tại mà không có tối ưu hóa. Giai đoạn thử nghiệm thứ 2 cho thấy hiệu suất mở rộng của giải pháp PERC 12 từ một thẻ đơn đến cấu hình hai thẻ được tối ưu hóa.

Đơn vị đánh giá Direct Drives PowerEdge R760 của chúng tôi có cấu hình sau:

• Hai Intel Xeon Gold 6430 (32 lõi/64 luồng, 1,9GHz cơ bản)
• 1TB RAM DDR5
• 8 SSD Solidigm P5520 7,68TB Gen4
• RHEL 9

Đơn vị đánh giá HWRAID NVMe PowerEdge R760 có cấu hình sau:

• Hai Intel Xeon Gold 6430 (32 lõi/64 luồng, 1,9GHz cơ bản)
• 1TB RAM DDR5
• 16 SSD Solidigm P5520 7,68TB Gen4
• Hai PERC 12 H965i
• RHEL 9

Phân tích khối lượng công việc Vdbench

Khi đo lường hiệu suất lưu trữ, thử nghiệm ứng dụng là tốt nhất, sau đó là thử nghiệm tổng hợp. Mặc dù không phải là đại diện hoàn hảo cho khối lượng công việc thực tế, các bài kiểm tra tổng hợp giúp thiết lập cơ sở cho các thiết bị lưu trữ với yếu tố lặp lại giúp dễ dàng so sánh "táo với táo" giữa các giải pháp cạnh tranh. Các khối lượng công việc này cung cấp một loạt các hồ sơ thử nghiệm từ các bài kiểm tra "bốn góc" và các bài kiểm tra kích thước truyền dữ liệu cơ sở dữ liệu phổ biến đến các bản ghi theo dõi từ các môi trường VDI khác nhau.

Các bài kiểm tra này tận dụng trình tạo khối lượng công việc Vdbench điển hình với một công cụ scripting để tự động hóa và thu thập kết quả trên một cụm thử nghiệm tính toán lớn. Điều này cho phép chúng tôi lặp lại cùng các khối lượng công việc trên nhiều thiết bị lưu trữ khác nhau, bao gồm các mảng flash và các thiết bị lưu trữ riêng lẻ. Quy trình thử nghiệm của chúng tôi cho các điểm chuẩn này lấp đầy toàn bộ bề mặt ổ đĩa bằng dữ liệu và sau đó phân vùng một phần ổ đĩa bằng 25% dung lượng ổ đĩa để mô phỏng cách ổ đĩa có thể phản hồi với khối lượng công việc ứng dụng. Điều này khác với các bài kiểm tra entropy hoàn chỉnh, sử dụng 100% ổ đĩa và đưa chúng vào trạng thái ổn định. Do đó, các số liệu này sẽ phản ánh tốc độ ghi bền vững cao hơn.

Hồ sơ:

• Đọc và Ghi ngẫu nhiên 4K: 100% Đọc hoặc Ghi, 128 luồng, 0-120% iorate
• Đọc tuần tự 64K: 100% Đọc, 32 luồng, 0-120% iorate
• Ghi tuần tự 64K: 100% Ghi, 16 luồng, 0-120% iorate
• Hỗn hợp ngẫu nhiên 4K 70R/30W và 90R/10W, 64 luồng, 0-120% iorate

Nhìn vào bài kiểm tra đầu tiên của chúng tôi tập trung vào băng thông truyền đọc, chúng ta có thể thấy lợi thế kênh PCIe mà phương pháp Direct Drives có với 32 làn PCIe so với PERC 12 đơn lẻ với 16 làn. Điều này tương đương với 41,6GB/s từ Direct Drives so với 28GB/s từ PERC 12 ở chế độ JBOD.

Chuyển từ băng thông đọc sang ghi, lợi thế của các làn PCIe bổ sung giảm đi vì tốc độ ghi của Solidigm P5520 thấp hơn tốc độ đọc của nó. Ở đây, cấu hình Direct Drives đo được 18,3GB/s so với 20,3GB/s từ PERC 12.

Trong khối lượng công việc đọc ngẫu nhiên 4K của chúng tôi, 8 SSD Solidigm P5520 trong Direct Drive PowerEdge R760 đo được 5,55 triệu IOPS đỉnh, so với 4,34 triệu IOPS trên cấu hình PERC 12.

Trong ghi ngẫu nhiên 4K, sự khác biệt này lại thu hẹp lại, với Direct Drives đo được 3,96 triệu IOPS so với 4,15 triệu IOPS trên PERC 12.

Trong bài kiểm tra đầu tiên trong hai khối lượng công việc hỗn hợp, chúng ta xem xét truyền ngẫu nhiên 4K với tỷ lệ Đọc/Ghi 70/30. Ở đây, cấu hình Direct Drives PowerEdge R760 đo được 4,47 triệu IOPS đỉnh, so với PERC 12 với 3,66 triệu IOPS.

Tăng tỷ lệ đọc lên 90% trong cùng bài kiểm tra truyền 4K, chúng tôi đo được 5,04 triệu IOPS từ máy chủ Direct Drives so với 3,62 triệu IOPS từ hệ thống PERC 12.

Phân tích khối lượng công việc FIO

Để đo lường hiệu suất của các ổ đĩa của các dịch vụ Direct Drive và PERC 12 HWRAID của Dell, các điểm chuẩn được chia thành các cấu hình sau. Cấu hình đầu tiên bao gồm cấu hình JBOD đo lường từng ổ đĩa bên ngoài RAID, RAID10 và sau đó là cấu hình RAID5.

Đối với phương pháp Direct Drives, SSD hiển thị với hệ điều hành như bình thường; đối với PERC 12, chúng được truyền qua HBA dưới dạng thiết bị lưu trữ thô. Các cấu hình này được thực hiện thông qua một quy trình scripting để tiền xử lý flash, chạy các bài kiểm tra mà chúng đã được tiền xử lý và chuyển sang hỗn hợp tiền xử lý/khối lượng công việc tiếp theo.

• Tiền xử lý tuần tự
• Các bài kiểm tra tuần tự trên JBOD, 8DR10, 8DR5 (PERC đơn và kép)
• Tiền xử lý ngẫu nhiên
• Các bài kiểm tra ngẫu nhiên tối ưu trên JBOD, 8DR10, 8DR5 (PERC đơn và kép)
• Các bài kiểm tra khôi phục ngẫu nhiên trên 8DR10, 8DR5 (PERC đơn và kép)
• Độ trễ ghi ngẫu nhiên cho tối ưu và khôi phục cho 8DR5 (PERC đơn)

Với PERC 12 H965i có khe cắm PCIe Gen4 x16, hiệu suất đỉnh của nó sẽ vào khoảng 28GB/s theo một hướng, và đó là giới hạn của khe Gen4. Dell đã áp dụng một cách tiếp cận độc đáo đối với giới hạn băng thông này bằng cách cung cấp cấu hình PERC 12 kép trong PowerEdge R760 của họ. Thay vì 16 khoang SSD đều được kết nối với một thẻ duy nhất, tải được chia, mỗi PERC 12 kiểm soát bộ 8 SSD riêng của nó. Cách tiếp cận này bỏ qua giới hạn băng thông đồng thời tăng đáng kể thông lượng khả dụng tối đa dưới các khối lượng công việc đòi hỏi.

Nhìn vào hiệu suất truyền tuần tự trước tiên, chúng ta có thể thấy lợi thế băng thông mà cấu hình Direct Drives có, với tốc độ đọc đo được 54,4GB/s so với PERC 12 đơn lẻ đo được 28,1GB/s. Tốc độ ghi gốc cũng có lợi thế, với tốc độ đo được 33,4GB/s so với 28,3GB/s từ PERC 12 đơn lẻ với tám ổ đĩa phía sau nó. Tốc độ ghi nói chung sẽ không có sự khác biệt lớn ở đây vì, nói chung, lớp SSD này có tốc độ đọc vượt xa tốc độ ghi.

Chuyển trọng tâm sang hiệu suất truyền ngẫu nhiên, chúng ta bắt đầu thấy sự thay đổi về nơi lợi thế của thẻ RAID có thể phát huy tác dụng liên quan đến cân bằng NUMA. Với hiệu suất đọc, các SSD Solidigm 7,68TB P5520 đo được 7,96 triệu IOPS trong bài kiểm tra đọc 4K của chúng tôi, với cấu hình JBOD PERC 12 đo được 7 triệu IOPS. Tốc độ ghi qua cấu hình Direct Drives giảm xuống còn 3,4 triệu IOPS trong khi PERC 12 duy trì 5,97 triệu IOPS. Với khối lượng công việc OLTP 4K, điều này trở nên rõ rệt hơn với Direct Drives đo được 3,6 triệu IOPS so với 10,2 triệu IOPS từ PERC 12.

Trong khi suy nghĩ truyền thống cho rằng RAID phần cứng không có giá trị với SSD hiện đại, chúng ta có thể thấy điều đó không còn đúng nữa. Vâng, thiết lập NVMe Direct Drives có thể được điều chỉnh, nhưng đó là một mục tiêu di động trên nhiều SSD được cân bằng trên hai CPU.

Điều này trái ngược trực tiếp với thẻ RAID phần cứng PERC 12, quản lý tất cả sự phức tạp đó và chỉ kết nối với một CPU. Để mở rộng, thẻ PERC thứ 2 trong Dell PowerEdge R760 kết nối với CPU khác, cung cấp khả năng cân bằng cho các khối lượng công việc lớn hơn được chia trên hai nhóm ổ đĩa đó. Cần lưu ý rằng khoảng 10 triệu IOPS, hệ thống bắt đầu bão hòa CPU, đó là lý do tại sao chúng tôi không thấy khả năng mở rộng tuyến tính ở một số khu vực với thẻ PERC 12 bổ sung.

Mặc dù chúng tôi không xem xét các tùy chọn RAID phần mềm với cấu hình Direct Drives PowerEdge R760, chúng tôi đã có cơ hội xem hiệu suất cấu hình RAID trên PERC 12 hoạt động tốt như thế nào trong trạng thái suy giảm. Mặc dù hiệu suất giảm đáng kể so với hiệu suất tối ưu, cả RAID10 và RAID5 đều mang lại hiệu suất mạnh mẽ trong khi khôi phục các nhóm RAID của chúng.

Mặc dù hiệu suất RAID tối ưu là một khía cạnh quan trọng của việc lựa chọn giải pháp lưu trữ, việc xem xét hiệu suất của nó trong các điều kiện không tối ưu có thể quan trọng không kém. Để làm được điều đó, chúng tôi đã đo lường độ trễ ghi 4K trong RAID5 trong điều kiện tối ưu và hiệu suất khôi phục khi một ổ đĩa bị lỗi. Nếu hiệu suất hoặc độ trễ bị ảnh hưởng lớn, khả năng phản hồi của ứng dụng có thể trở thành vấn đề. Mặc dù hiệu suất khôi phục giảm so với tối ưu, độ trễ của hiệu suất không tăng so với đường cơ sở.

Suy nghĩ cuối cùng

Thẻ RAID NVMe PERC12 mới của Dell đã thay đổi cuộc chơi cho các tùy chọn lưu trữ NVMe trong máy chủ PowerEdge. Trong quá khứ, một số khách hàng đã ngần ngại chuyển đổi từ SSD SAS hoặc chọn ổ đĩa NVMe được kết nối với các SDS hoặc hypervisor khác nhau. Tuy nhiên, sự ra đời của thẻ PERC 12 đã thay đổi phương trình cho PowerEdge, làm cho nó trở thành một lựa chọn khả thi hơn.

Lý do PERC 12 hoạt động tốt cũng là do cách bố trí của máy chủ PowerEdge. R760 của chúng tôi có hai thẻ PERC 12 (H965i Front), mỗi thẻ có 16 làn. Điều này cho phép chúng tôi sử dụng 8 SSD Solidigm với mỗi thẻ, cung cấp băng thông tối đa lên tới 28GB/s mỗi thẻ. Kết nối tất cả 16 SSD với một thẻ RAID duy nhất sẽ dẫn đến mất một nửa hiệu suất tiềm năng.

Bạn có thể hỏi, "Tại sao không phải 24 SSD với HWRAID?" Hãy nhớ rằng mọi hệ thống đều có một điểm nghẽn ở đâu đó. Trong trường hợp này, chúng ta có thể dễ dàng làm bão hòa CPU, vì vậy x86 bên trong máy chủ trở thành yếu tố giới hạn. Nếu chúng ta nói về một giải pháp phân cụm, thì chúng ta cũng sẽ đạt đến mạng. Một vài SSD có thể dễ dàng lấp đầy 200GbE hoặc thậm chí 400GbE. Với dung lượng SSD hiện nay lên tới 30,72TB, nhu cầu có một máy chủ đầy ổ đĩa cho các vấn đề về dung lượng hệ thống cũng ít hơn.

Nếu bạn đọc bài đánh giá thẻ RAID dòng Broadcom 9600 của chúng tôi, chúng tôi đã bắt đầu khá hoài nghi rằng chip mới sẽ thực sự cung cấp tất cả các lợi ích về khả năng phục hồi dữ liệu và khôi phục của HWRAID mà không làm giảm hiệu suất của SSD NVMe. Chúng tôi đã ngạc nhiên với kết quả trong bài đánh giá đó và còn ngạc nhiên hơn ở đây, với PERC 12 có thể nhân đôi trong R760 để có được hiệu suất hàng đầu gấp đôi. Mặc dù Dell Direct Drives vẫn có thể được ưa chuộng trong nhiều trường hợp sử dụng, như lưu trữ định nghĩa bằng phần mềm, tùy chọn PERC 12 sẽ cực kỳ phổ biến cho hầu hết các trường hợp sử dụng doanh nghiệp.

Công ty TNHH Công nghệ Qianxing Jietong Bắc Kinh
Sandy Yang/Giám đốc Chiến lược Toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Trọng tâm kinh doanh:
Phân phối Sản phẩm ICT/Tích hợp Hệ thống & Dịch vụ/Giải pháp Cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
"Sử dụng Công nghệ để Xây dựng Thế giới Thông minh" Nhà cung cấp Dịch vụ Sản phẩm ICT Đáng tin cậy của Bạn!