tin tức công ty về Panmnesia và Meta lấy chip duy nhất, xem dựa trên CXL của các trung tâm dữ liệu AI

Meta và nhà cung cấp công nghệ CXL Panmnesia cho rằng các trung tâm dữ liệu AI cần được xem như một tài nguyên xử lý phối hợp duy nhất, chứ không phải là một tập hợp các máy chủ độc lập được đặt cùng nhau.

Trung tâm dữ liệu AI nên là một tài nguyên được kết nối chặt chẽ, với một miền nhất quán duy nhất, giống như một chip CPU. Điều này khác với các trung tâm dữ liệu doanh nghiệp hiện có, được kết nối lỏng lẻo, dựa trên yêu cầu, có nhiều miền nhất quán. Các trung tâm dữ liệu AI có thể thực thi một tác vụ duy nhất trên hàng trăm, thậm chí hàng nghìn GPU, tương tự như khối lượng công việc tính toán hiệu năng cao liên quan đến các lõi xử lý, bộ nhớ và liên kết mạng được phối hợp.

Panmnesia và Meta đã cùng nhau đề xuất một kiến trúc trung tâm dữ liệu AI thế hệ tiếp theo như vậy, trong đó trung tâm dữ liệu hoạt động như một chip duy nhất. Công trình này xuất hiện trên NREE, một tạp chí của Nature Portfolio.

Myoungsoo Jung
Myoungsoo Jung, Giám đốc điều hành của Panmnesia, cho biết: “Khi các hệ thống AI tiếp tục mở rộng quy mô, khả năng kết nối nhanh chóng và hiệu quả một số lượng lớn các thiết bị tăng tốc và bộ nhớ đang trở nên quan trọng như hiệu năng của từng thiết bị tăng tốc. Nghiên cứu này phác thảo một hướng đi cho cơ sở hạ tầng AI thế hệ tiếp theo, nơi CXL cho phép toàn bộ trung tâm dữ liệu hoạt động như một hệ thống tính toán duy nhất.”

Các thành phần trên một chip xử lý duy nhất, lõi, v.v., được thiết kế và đặt sao cho chúng có các đường dẫn liên kết đồng nhất trong một miền nhất quán duy nhất và thực hiện công việc của chúng một cách có thời gian, phối hợp và kiểm soát. Ngược lại, các trung tâm dữ liệu hiện có có bộ xử lý máy chủ và lưu trữ trên các kệ tủ với các liên kết mạng và bộ chuyển mạch trong và giữa các tủ. Không có cấu trúc điều khiển để quá trình xử lý của máy chủ được phối hợp.

Trung tâm dữ liệu giống như chip
Panmnesia cho biết: “Trong các trung tâm dữ liệu hiện tại, các thiết bị tăng tốc bên trong một tủ được kết nối bằng các kết nối mở rộng nhanh, trong khi các kết nối ra khỏi tủ — và các kết nối với các thiết bị khác ngoài thiết bị tăng tốc — phụ thuộc vào các mạng mở rộng chậm hơn. Các phép đo của các môi trường như vậy cho thấy phân phối độ trễ đuôi nặng, với độ trễ khứ hồi ở phân vị thứ 99 gấp khoảng năm lần giá trị trung vị. Đây là điều cản trở toàn bộ tác vụ và càng có nhiều thiết bị tham gia, điều này càng xảy ra thường xuyên và nghiêm trọng hơn.”

Để trung tâm dữ liệu AI hoạt động hiệu quả và nhanh chóng, cần có sự kiểm soát và phối hợp cả trong và giữa các tủ GPU, bộ nhớ và lưu trữ của chúng. Trong cơ sở hạ tầng AI quy mô lớn, việc giảm sự biến đổi độ trễ giữa các thiết bị để toàn bộ trung tâm dữ liệu hoạt động có thể dự đoán được cũng quan trọng như việc cải thiện hiệu năng của từng thiết bị hoặc tốc độ liên kết.

Panmnesia LAU
Meta và Panmnesia đang đề xuất sử dụng CXL làm cơ sở cho điều này, với các khái niệm mới cho phép nó hoạt động ở cấp độ nhiều tủ GPU. CXL mở rộng cung cấp sự nhất quán bộ nhớ đệm giữa các tủ thiết bị tăng tốc trong sơ đồ của họ, hỗ trợ số lượng thiết bị lớn hơn so với GB200 NVL72 và UALink dựa trên NVLink ở quy mô tủ của Nvidia.

Điều này xác định các quy tắc cơ bản để kết nối các thiết bị với nhau nhưng không phải định tuyến dữ liệu và độ trễ. Họ đề xuất ba yếu tố phần cứng chuyên dụng để giảm và giới hạn sự biến đổi độ trễ:
Bộ chuyển mạch không chặn có độ phân tán cao: kết nối nhiều thiết bị cùng lúc, giảm số lượng bước nhảy và giữ cho độ dài đường dẫn tương tự nhau bất kể nguồn.
Đơn vị tăng tốc liên kết (LAU): di chuyển việc xử lý giao thức lặp đi lặp lại tại mỗi điểm kết nối vào một đường ống phần cứng chuyên dụng, làm cho hành vi ở cấp độ bước nhảy trở nên đều đặn hơn và giới hạn sự biến đổi độ trễ.
Bộ điều khiển fabric: áp dụng cùng một chính sách sắp xếp để xử lý các yêu cầu trên toàn bộ hệ thống, sao cho các giao dịch được xử lý nhất quán bất kể thiết bị nào chúng đi qua.

Bộ chuyển mạch không chặn có độ phân tán cao của Panmnesia
Bộ điều khiển fabric (bộ điều khiển CXL/PCIe kết hợp) và LAU đã hoàn thành xác thực silicon, và bộ chuyển mạch fabric đã được chế tạo thành chip silicon vật lý, với silicon tiền phát hành hiện đang được cung cấp. Điều này chứng tỏ rằng kiến trúc được đề xuất có thể được áp dụng ở cấp độ silicon có thể sản xuất được.

Kiến trúc của họ nhóm các CPU, thiết bị tăng tốc, bộ nhớ và bộ chuyển mạch theo chức năng vào các khay, nhóm các khay thành các pod và kết nối các pod thông qua một fabric — một hệ thống phân cấp khay-pod-fabric đều đặn được thiết kế để bảo tồn các đường dẫn giao tiếp và thời gian cố định, nhất quán hơn.

Bộ điều khiển Fabric của Panmnesia
So với thiết kế của Nvidia, trong đó một CPU được kết nối với hai thiết bị tăng tốc qua NVLink-C2C, bên trong tủ được kết nối bằng NVLink, và các máy chủ và tủ được kết nối bằng mạng mở rộng như Ethernet hoặc InfiniBand, sơ đồ của họ:
Cung cấp tăng 8 lần số lượng thiết bị tăng tốc được một CPU duy nhất phối hợp trực tiếp; từ 2 lên 16,
Cho phép tới 960 thiết bị tăng tốc hoạt động cùng nhau trong một miền nhất quán duy nhất,
Giảm độ trễ truy cập dữ liệu từ cấp độ micro giây xuống vài trăm nano giây; giảm khoảng một bậc độ lớn,
Đơn vị thay thế lỗi trở thành một thiết bị bị lỗi duy nhất thay vì một máy chủ. Việc tách các tài nguyên theo loại cho phép hệ thống chỉ thay thế các thiết bị bị lỗi thay vì toàn bộ máy chủ, tránh lãng phí tài nguyên và các lần dừng hoạt động kéo dài.

Panmnesia đã triển khai các thành phần cốt lõi của kiến trúc trong silicon, hoàn thành xác thực và hiện đang chuẩn bị chúng để cung cấp thương mại. Các phát triển trong tương lai đang xem xét các kết nối quang để tăng tốc độ và khả năng mở rộng.

Ghi chú cuối bài
Tham chiếu bài báo NREE có sẵn.

Công ty TNHH Công nghệ Bắc Kinh Qianxing Jietong
Sandy Yang/Giám đốc Chiến lược Toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Trọng tâm kinh doanh:
Phân phối Sản phẩm ICT/Tích hợp Hệ thống & Dịch vụ/Giải pháp Cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
“Sử dụng Công nghệ để Xây dựng Thế giới Thông minh”Nhà cung cấp Dịch vụ Sản phẩm ICT Đáng tin cậy của Bạn!