Dell PowerEdge NVMe Backplane Options

Dell cung cấp các nền lưu trữ khác nhau trong các máy chủ 16G PowerEdge của họ. Khi cấu hình R760, có gần 50 tùy chọn khung ổ đĩa. Trong khi một số trong số này là hỗ trợ di sản (PERC 11,ví dụ)Điều này thậm chí không tính đến hỗ trợ E3.S NVMe SSD sắp tới, đó là cách duy nhất để có được Gen5 SSD trong máy chủ PowerEdge.E3.S trong Dell PowerEdge R660nếu bạn muốn tìm hiểu thêm về lợi ích của Gen5 và các yếu tố hình thức EDSFF.

Trở lại với nhiệm vụ hiện tại. Đối với bài đánh giá này, chúng tôi muốn hiểu ý nghĩa của việc chọn tùy chọn ổ đĩa trực tiếp của Dell so với tùy chọn thẻ PERC 12 HWRAID. Như đã đề cập,sự tập trung rõ ràng ở đây chỉ trong xem xét Gen4 U.2/U.3 NVMe SSD. Hiện tại, chúng tôi đang bỏ qua các tùy chọn khung cho SATA / SAS và ổ cứng 3,5 inch.

Trong R760, Dell cung cấp một vài tùy chọn khung để có được ổ đĩa NVMe Gen4 trên tàu. tùy chọn Direct Drives có thể được cấu hình để hỗ trợ ổ đĩa 8 hoặc 16.Dell cung cấp thẻ PERC 12 HWRAID theo cùng một cách, với một thẻ RAID cho mỗi lô 8 ổ SSD. Quyết định này rất quan trọng vì nó là cơ bản để cho phép một R760 đầy đủ với 16 ổ SSD NVMe đạt được hiệu suất tốt nhất có thể.

Dell PERC 12 Tổng quan

Dell PowerEdge RAID Controller (PERC) 12 dựa trên silicon Broadcom SAS4116W. Mặc dù SAS trong tên sản phẩm, bộ điều khiển là một thiết bị RAID-on-Chip (ROC) ba chế độ.Cùng một bộ điều khiển RAID được sử dụng trong dòng Broadcom MegaRAIDChúng tôi gần đây đã xem xétMegaRAID 9670WTuy nhiên, với Dell PERC 12, những sự khác biệt thiết kế thiết yếu được đưa vào chơi tùy thuộc vào máy chủ và gia đình lưu trữ Dell mà bạn quan tâm.

Đối với PowerEdge, hầu hết các cấu hình sẽ tận dụng thẻ PERC 12 của H965i Front.một cho mỗi bộ 8x Solidigm P5520 SSDĐáng chú ý là các thẻ này nhỏ hơn đáng kể so với thẻ bổ sung. Thiết kế PCB và quản lý nhiệt thực sự ấn tượng.Các thẻ này được gắn trực tiếp vào 8-drive NVMe backplane và kết nối với bo mạch chủ với hai cáp x8 PCIeĐiều này giải phóng các khe cắm PCIe ở phía đọc của máy chủ cho các thiết bị khác.

Nói về thẻ bổ sung, PERC 12 H965i tiêu chuẩn là một thẻ nửa chiều cao, nửa chiều dài bao gồm một quạt trên tàu.Phiên bản này của PERC 12 sẽ xuất hiện trong một số cấu hình PowerEdge và cũng có thể được tìm thấy trong một sốDell PowerVault MD JBODsCuối cùng, có một H965i MX, đó là một PCB dài, hẹp được thiết kế cho một cái gì đó giống như khung MX7000.

Dell PERC 11 vs PERC 12

Thẻ Dell PERC 11 đã hỗ trợ SSD NVMe, nhưng không may, lợi ích của RAID phần cứng đã có chi phí hiệu suất rộng lớn.Đó chính xác là lý do tại sao ngành công nghiệp rất phấn khích với phiên bản mới của Broadcom và Dell., PERC.Dell đã công bố một số số liệuvề sự khác biệt giữa PERC 11 và PERC 12, rất đáng kinh ngạc.

Những lợi ích về độ trễ của PERC 12 rõ ràng rõ ràng; nhưng hãy nhìn vào hiệu suất trong điều kiện xấu nhất, hiệu suất trong quá trình xây dựng lại. PERC 12 nhận được một vài ngàn phần trăm cải thiện,và ngay cả thời gian xây dựng lại RAID thấy lợi ích đáng kể.

Nhìn vào băng thông và IOPS số Dell trích dẫn, chúng ta có thể một lần nữa thấy bước tiến lớn PERC 12 thực hiện so với PERC 11.tất cả các khối lượng công việc này nhìn thấy một sự cải thiện tối thiểu 2X trong thẻ PERC 12Tất nhiên, chúng tôi đã làm thử nghiệm của chúng tôi để kiểm tra hiệu suất PERC 12, và chúng tôi sẽ đến đó.

Dell Direct Drives so với Dell PERC 12 Performance

Để so sánh hiệu suất lưu trữ trong ổ đĩa trực tiếp so với PERC 12, chúng tôi cấu hình máy chủ R760 của chúng tôiSolidigm P5520 7.68TB SSD. Dell R760 với ổ đĩa trực tiếp có 8x NVMe bay. R760 với PERC 12 có 16x NVMe bay với hai thẻ RAID phía trước H965i.

Bắt đầu với cách tiếp cận Direct Drives, mỗi SSD có kết nối x4 PCIe của riêng nó,có nghĩa là tám ổ SSD có 32 làn đường PCIe dành riêng cho chúng.

Điều này cho phép băng thông đáng kinh ngạc, nói chung là trên 52GB / s nếu mỗi ổ đĩa Gen4 có thể bão hòa kết nối 6,5GB / s của nó.mỗi nhóm tám SSD giao diện trực tiếp với thẻ RAID, kết nối trở lại với bo mạch chủ với một kết nối x16 PCIe. điều này cắt giảm một nửa băng thông cấu hình ổ đĩa trực tiếp hỗ trợ.Không hẳn..

Khi xử lý nhiều thiết bị NVMe trong một hệ thống đa CPU, việc lập bản đồ NUMA giữa ổ đĩa và CPU, cũng như gián đoạn hệ thống, được sử dụng.Điều này có thể được tối ưu hóa xung quanh nhưng đòi hỏi điều chỉnh đáng kểKhông phải tất cả các ứng dụng đều tính đến điều này.

Tự ảo hóa là một trong những nơi khó khăn để quản lý bản đồ NUMA vì các tài nguyên được chia sẻ được cân bằng trong thời gian thực,đôi khi đến một CPU có thể không có quyền truy cập trực tiếp vào các tài nguyên PCIe được chỉ định. Thẻ RAID phần cứng làm giảm bớt nhiều vấn đề này và tối ưu hóa cho sự gián đoạn hệ thống và chuyển đổi ngữ cảnh, giải phóng các tài nguyên CPU.như thay vì có 16 SSD riêng lẻ chia thành hai CPU, bạn chỉ có một thẻ lưu trữ cho mỗi CPU để quản lý.

Kế hoạch thử nghiệm của chúng tôi tập trung vào hai lĩnh vực. Thứ nhất là khối lượng công việc Vdbench đo hiệu suất JBOD với tám ổ SSD được truyền qua hoặc R760.trong khi trên HWRAID R760, PERC 12 đi qua tám thiết bị lưu trữ thô. Cả hai đều được thử nghiệm như vậy mà không có tối ưu hóa.Giai đoạn thử nghiệm thứ 2 cho thấy hiệu suất mở rộng của giải pháp PERC 12 từ một thiết lập thẻ hai tối ưu hóa.

Đơn vị xem xét Direct Drives PowerEdge R760 của chúng tôi có cấu hình sau:

• Intel Xeon Gold 6430 kép (32 lõi / 64 luồng, cơ sở 1.9GHz)
• RAM DDR5 1TB
• 8 Solidigm P5520 7.68TB Gen4 SSD
• RHEL 9

Đơn vị xem xét HWRAID NVMe PowerEdge R760 có cấu hình sau:

• Intel Xeon Gold 6430 kép (32 lõi / 64 luồng, cơ sở 1.9GHz)
• RAM DDR5 1TB
• 16 Solidigm P5520 7.68TB Gen4 SSD
• H965i
• RHEL 9

Phân tích khối lượng công việc Vdbench

Khi so sánh các thiết bị lưu trữ, thử nghiệm ứng dụng là tốt nhất, tiếp theo là thử nghiệm tổng hợp.Các thử nghiệm tổng hợp giúp các thiết bị lưu trữ cơ sở với một yếu tố lặp lại giúp dễ dàng so sánh táo với táo giữa các giải pháp cạnh tranhCác khối lượng công việc này cung cấp một loạt các hồ sơ kiểm tra từ các thử nghiệm "bốn góc" và các thử nghiệm kích thước chuyển dữ liệu chung để theo dõi các lần thu thập từ các môi trường VDI khác nhau.

Những thử nghiệm này tận dụng bộ tạo tải công việc Vdbench điển hình với một động cơ kịch bản để tự động hóa và thu thập kết quả trên một cụm thử nghiệm tính toán lớn.Điều này cho phép chúng tôi lặp lại cùng một khối lượng công việc trên các thiết bị lưu trữ khác nhau, bao gồm các mảng flash và các thiết bị lưu trữ riêng lẻ. Our testing process for these benchmarks fills the entire drive surface with data and then partitions a drive section equal to 25 percent of the drive capacity to simulate how the drive might respond to application workloadsĐiều này khác với các thử nghiệm entropy hoàn chỉnh, sử dụng 100% ổ đĩa và đưa chúng vào trạng thái ổn định.

Hình dạng:

• Đọc và viết ngẫu nhiên 4K: 100 phần trăm đọc hoặc viết, 128 chủ đề, 0-120 phần trăm iorate
• 64K đọc theo thứ tự: 100 phần trăm đọc, 32 chủ đề, 0-120 phần trăm iorate
• 64K Sequential Write: 100 phần trăm Write, 16 chủ đề, 0-120 phần trăm iorate
• 4K 70R / 30W và 90R / 10W Random Mix, 64 chuỗi, 0-120 phần trăm iorat

Nhìn vào thử nghiệm đầu tiên của chúng tôi tập trung vào băng thông chuyển đổi đọc, chúng tôi có thể thấy lợi thế kênh PCIe mà cách tiếp cận Direct Drives có với 32 làn PCIe so với PERC 12 duy nhất với 16 làn.Điều này làm cho 41.6GB / s từ ổ đĩa trực tiếp so với 28GB / s từ PERC 12 trong chế độ JBOD.

Chuyển từ băng thông đọc sang ghi, lợi thế của các làn đường PCIe bổ sung giảm khi tốc độ ghi của Solidigm P5520 thấp hơn tốc độ đọc của nó.Ở đây cấu hình Drive trực tiếp đo 18.3GB/s so với 20.3GB/s từ PERC 12.

Trong khối lượng đọc 4K ngẫu nhiên của chúng tôi, 8 ổ SSD Solidigm P5520 trong Direct Drive PowerEdge R760 đo đỉnh IOPS 5,55M, so với 4,34M IOPS trên thiết lập PERC 12.

Trong ghi ngẫu nhiên 4K, sự khác biệt đó lại thu hẹp, với ổ đĩa trực tiếp đo 3,96M IOPS so với 4,15M IOPS trên PERC 12.

Trong lần đầu tiên của hai khối lượng công việc hỗn hợp của chúng tôi, chúng tôi nhìn vào một chuyển giao ngẫu nhiên 4K với một 70/30 đọc / ghi trải.so với PERC 12 với 3.66M IOPS.

Tăng tỷ lệ đọc lên 90% trong cùng một thử nghiệm chuyển giao 4K, chúng tôi đo 5,04M IOPS từ máy chủ Direct Drives so với 3,62M IOPS từ hệ thống PERC 12.

Phân tích khối lượng công việc FIO

Để đo hiệu suất của các ổ đĩa của Direct Drive và PERC 12 HWRAID của Dell, các điểm chuẩn được chia thành các cấu hình sau.Đầu tiên bao gồm một cấu hình JBOD đo mỗi ổ đĩa bên ngoài RAID, RAID10, và sau đó cấu hình RAID5.

Đối với phương pháp Direct Drives, SSD hiển thị cho hệ điều hành như bình thường; đối với PERC 12, chúng được truyền qua HBA như các thiết bị lưu trữ thô.Các cấu hình này đã đi qua một quy trình kịch bản để điều kiện trước flash, chạy các bài kiểm tra mà họ đã được điều kiện, và chuyển sang hỗn hợp điều kiện trước / khối lượng công việc tiếp theo.

• Chế độ điều kiện trước theo trình tự
• Các thử nghiệm theo trình tự trên JBOD, 8DR10, 8DR5 (PERC đơn và kép)
• Điều kiện trước ngẫu nhiên
• Các thử nghiệm tối ưu ngẫu nhiên trên JBOD, 8DR10, 8DR5 (Perc đơn và kép)
• Các thử nghiệm tái tạo ngẫu nhiên trên 8DR10, 8DR5 (PERC đơn và kép)
• Tạm thời ghi ngẫu nhiên cho tối ưu và xây dựng lại cho 8DR5 (Single PERC)

Với PERC 12 H965i có khe cắm x16 PCIe Gen4, hiệu suất đỉnh của nó sẽ là khoảng 28GB / s theo một hướng, và đó là nơi khe cắm Gen4 đứng đầu.Dell đã có một cách tiếp cận độc đáo với giới hạn băng thông này bằng cách cung cấp một cấu hình PERC 12 kép trong PowerEdge R760 của họThay vì 16 ổ SSD được kết nối với một thẻ duy nhất, tải được chia, với mỗi PERC 12 kiểm soát bộ 8 ổ SSD của riêng nó.Cách tiếp cận này bỏ qua giới hạn băng thông trong khi tăng đáng kể tốc độ thông lượng tối đa có sẵn dưới khối lượng công việc đòi hỏi.

Nhìn vào hiệu suất truyền trình tự đầu tiên, chúng ta có thể thấy lợi thế băng thông mà cấu hình Direct Drives có, với tốc độ đọc đo 54.4GB / s so với PERC 12 duy nhất đo 28.1GB / s. Tốc độ ghi bản địa cũng có lợi thế, với nó đo 33,4GB / s so với 28,3GB / s từ PERC 12 duy nhất với tám ổ đĩa phía sau nó.sẽ không thấy sự khác biệt lớn ở đây như, nói chung, lớp SSD này có tốc độ đọc vượt xa tốc độ ghi.

Chuyển trọng tâm của chúng tôi sang hiệu suất chuyển giao ngẫu nhiên, chúng tôi bắt đầu thấy một sự thay đổi về những lợi thế của thẻ RAID có thể đến với sự cân bằng NUMA.SSD P5520 68TB đo 7.96M IOPS trong bài kiểm tra đọc 4K của chúng tôi, với cấu hình PERC 12 JBOD đo 7M IOPS. Tốc độ ghi qua cấu hình Direct Drives giảm xuống còn 3.4M IOPS trong khi PERC 12 duy trì 5.97M IOPS.Với khối lượng công việc OLTP 4K, điều này trở nên rõ rệt hơn với các ổ đĩa trực tiếp đo 3,6M IOPS so với 10,2M IOPS từ PERC 12.

Trong khi suy nghĩ truyền thống là RAID phần cứng không có giá trị với SSD hiện đại, chúng ta có thể thấy điều đó không còn đúng nữa.nhưng nó là một mục tiêu di chuyển qua nhiều SSD cân bằng trên hai CPU.

Điều này trái ngược trực tiếp với thẻ PERC 12 HWRAID, quản lý tất cả sự phức tạp và kết nối với chỉ một CPU.thẻ PERC thứ 2 trong Dell PowerEdge R760 kết nối với CPU khác, cung cấp sự cân bằng cho khối lượng công việc lớn hơn phân chia giữa hai nhóm đĩa này.đó là lý do tại sao chúng tôi không thấy quy mô tuyến tính trong một số khu vực với thẻ PERC 12 bổ sung.

Mặc dù chúng tôi đã không xem xét các tùy chọn RAID phần mềm với cấu hình Direct Drives PowerEdge R760, nhưng chúng tôi đã có cơ hội để xem cấu hình RAID hoạt động tốt như thế nào trên PERC 12 trong trạng thái xuống cấp.Trong khi hiệu suất đã thấy một sự sụt giảm đáng kể so với hiệu suất tối ưu của nó, cả RAID10 và RAID5 đều cung cấp hiệu suất tốt trong khi xây dựng lại các nhóm RAID của họ.

Trong khi hiệu suất RAID tối ưu là một khía cạnh quan trọng của việc lựa chọn một giải pháp lưu trữ, xem nó hoạt động như thế nào trong điều kiện tối ưu có thể cũng quan trọng như vậy.chúng tôi đo độ trễ ghi 4K trong RAID5 trong điều kiện tối ưuNếu hiệu suất hoặc độ trễ bị ảnh hưởng lớn, khả năng đáp ứng của ứng dụng có thể trở thành một vấn đề.Trong khi tái tạo hiệu suất giảm so với tối ưu, độ trễ của hiệu suất không tăng so với đường cơ bản.

Những suy nghĩ cuối cùng

Dell mới PERC12 thẻ NVMe RAID thay đổi trò chơi cho các tùy chọn lưu trữ NVMe trong máy chủ PowerEdge.một số khách hàng ngần ngại chuyển từ SSD SAS hoặc chọn ổ đĩa NVMe được kết nối với các SDS hoặc siêu thị khác nhauTuy nhiên, việc giới thiệu thẻ PERC 12 đã thay đổi phương trình cho PowerEdge, làm cho nó trở thành một lựa chọn khả thi hơn.

Lý do PERC 12 hoạt động tốt như vậy cũng là do bố cục của máy chủ PowerEdge. R760 của chúng tôi có hai thẻ PERC 12 (H965i Front), mỗi thẻ có làn x16.Điều này cho phép chúng tôi sử dụng 8 Solidigm SSD với mỗi thẻKết nối tất cả 16 ổ SSD với một thẻ RAID duy nhất sẽ dẫn đến mất một nửa hiệu suất tiềm năng.

Bạn có thể hỏi, tại sao không phải 24 ổ SSD với HWRAID? Hãy nhớ rằng mọi hệ thống đều có một nút thắt ở đâu đó. trong trường hợp này chúng ta có thể bão hòa CPU khá dễ dàng,Vì vậy, x86 trong máy chủ trở thành yếu tố gatingNếu chúng ta đang nói về một giải pháp cụm, thì chúng ta cũng sẽ gắn kết mạng. Một số SSD có thể dễ dàng lấp đầy 200GbE hoặc thậm chí 400GbE.có ít nhu cầu có một máy chủ đầy đủ ổ đĩa cho các vấn đề dung lượng hệ thống cũng.

Nếu bạn đọcXem xét thẻ RAID Broadcom 9600 Series,chúng tôi bắt đầu khá hoài nghi rằng silic mới sẽ thực tế cung cấp tất cả các dữ liệu khả năng phục hồi và xây dựng lại các lợi ích của HWRAID mà không phải là đầu gối hồ sơ hiệu suất NVMe SSD.Chúng tôi đã rất ngạc nhiên với kết quả trong bài đánh giá đó và thậm chí hơn nữa ở đây, với PERC 12 có thể tăng gấp đôi trong R760 để có được gấp đôi hiệu suất hàng đầu.Tùy chọn PERC 12 sẽ cực kỳ phổ biến cho hầu hết các trường hợp sử dụng trong doanh nghiệp.

Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com

Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!