Lĩnh vực flash và bộ nhớ toàn cầu đã chứng kiến hoạt động mạnh mẽ vào cuối tuần qua, với một tranh chấp Micron-Apple, cuộc đàm phán mua chip của Anthropic với SK Hynix, một quan hệ đối tác mới giữa Nvidia-SK Hynix,SK Hynix tiến bộ 3D DRAM, và đổi mới tập hợp bộ nhớ CXL của Samsung.
SK Hynix thống trị các tiêu đề ngành công nghiệp gần đây.được hỗ trợ bởi việc thuê chiến lược của 3D chồng chất DRAM-on logic kỹ sư thiết kế thông qua San Jose UCông ty con của Hoa Kỳ, việc tuyển dụng nhắm mục tiêu những nhân tài có khả năng thiết kế 3D DRAM logic với nhiều khách hàng ở Mỹ.
Kiến trúc mới đặt các lớp DRAM 3D trên các bộ xử lý bán dẫn hệ thống.Tích hợp DRAM và logic trên một chip duy nhất mang lại kết nối giữa chip nhanh hơn và tiêu thụ năng lượng thấp hơn so với liên kết gói trên gói (PoP) truyền thống của bộ nhớ và gói logic riêng biệt.
Jukan lưu ý rằng công nghệ nhắm vào các thiết bị tải trọng công việc AI đòi hỏi băng thông bộ nhớ cao và tiêu thụ năng lượng thấp,đáng chú ý nhất là các bộ xử lý ứng dụng di động cho điện thoại thông minh, định vị Apple là khách hàng tiềm năng chính của SK Hynix.
Tập đoàn SK đã mở rộng quan hệ đối tác chiến lược với Nvidia thông qua thư mục ý định chính thức, hình thành một hợp tác trị giá hơn 500 tỷ đô la.SK Telecom sẽ xây dựng một nhà máy AI Nvidia Vera Rubin DSX 2 gigawatt như một nhà cung cấp đám mây mới để đáp ứng nhu cầu tính toán toàn cầuCác chip Vera Rubin sẽ áp dụng bộ nhớ HBM4 của SK Hynix, với nhà máy AI đầu tiên dự kiến sẽ ra mắt vào năm 2027.
Đối tác nhằm mục đích đẩy nhanh sự phát triển cơ sở hạ tầng AI quy mô lớn, bao gồm các dịch vụ AI chủ quyền, vật lý, đại lý và doanh nghiệp,và giải quyết nhu cầu AI gia tăng trên khắp Hàn Quốc và khu vực châu Á - Thái Bình Dương rộng lớn hơnSK Hynix cũng sẽ ra mắt quan hệ đối tác bộ nhớ AI dài hạn với Nvidia, đảm bảo nguồn cung bộ nhớ AI thế hệ tiếp theo ổn định cho Nvidia trong khi mở rộng năng lực sản xuất của SK Hynix.Cả hai bên sẽ cùng phát triển và tối ưu hóa HBM và các giải pháp bộ nhớ AI khác cho đào tạo LLM, các kịch bản AI cơ thể và vật lý.
Chủ tịch Tập đoàn SK Chey Tae-won cho biết sự hợp tác sẽ tận dụng bộ nhớ AI của SK Hynix và thế mạnh cơ sở hạ tầng của SK Telecom để xây dựng một nhà máy AI đẳng cấp thế giới.chuyển đổi Hàn Quốc từ một quốc gia áp dụng AI thành một trung tâm đổi mới AI toàn cầu.
Cựu Giám đốc điều hành Intel Pat Gelsinger đã công khai chỉ trích HBM trong một cuộc trò chuyện bên cạnh lò sưởi của ngành công nghiệp Hàn Quốc, gọi nó là một giải pháp bộ nhớ không hoàn hảo.giới hạn kết nối bị hạn chế bởi GPU edge shoreline, hiệu quả năng lượng kém, và bit không hiệu quả, hy sinh khoảng bốn bit bộ nhớ cho mỗi bit hoạt động hiệu quả.
SK Hynix SVP Hoshik Kim một phần ủng hộ quan điểm của Gelsinger, nói rằng HBM không thể giải quyết cơ bản nút thắt tường bộ nhớ vốn có của AI.Ông đã làm rõ HBM chỉ phục vụ như một biện pháp giảm nhẹ tạm thời., trong khi SK Hynix tích cực phát triển các giải pháp thay thế để giải quyết thách thức tường bộ nhớ cốt lõi.
Theo Bloomberg, công ty AI hàng đầu của Hoa Kỳ Anthropic đang đàm phán với SK Hynix về việc cung cấp chip bộ nhớ chuyên dụng để hỗ trợ các bộ xử lý AI nội bộ tùy chỉnh của mình.Chủ tịch Tập đoàn SK Chey Tae-won tiết lộ tin tức tại Hội nghị thượng đỉnh AI San Francisco tháng 7 năm 2024, nơi Giám đốc điều hành Anthropic Dario Amodei cũng phát biểu, ca ngợi các mục tiêu phát triển phần cứng đầy tham vọng của Anthropic trong bối cảnh các nỗ lực rộng rãi của ngành công nghiệp để phá vỡ sự thống trị GPU của Nvidia.Amodei đã không trả lời công khai cho các bình luận.
Samsung đã đạt được hiệu suất DRAM gần như bản địa cho khối lượng công việc suy luận AI bằng cách sử dụng bộ nhớ tập hợp CXL bên ngoài để tải cache KV, theo blog công nghệ chính thức của mình.LLM dựa vào bộ nhớ cache KV để lưu trữ các khóa và giá trị chú ý được tính toán để cắt giảm độ trễ suy luận và tính toán dư thừa, nhưng các mô hình lớn đòi hỏi hàng trăm gigabytes bộ nhớ cache, dễ dàng vượt quá bộ nhớ bộ xử lý AI trên máy.SSD thông thường hoặc giải phóng dựa trên mạng làm giảm giới hạn dung lượng nhưng giới thiệu thời gian muộn và băng thông chi phí.
Công nghệ CXL phá vỡ các hạn chế vật lý DRAM truyền thống thông qua các kết nối liên kết PCIe có dung lượng băng thông cao, cho phép tích hợp bộ nhớ có thể mở rộng trên nhiều thiết bị thông qua các công tắc CXL.CMM-D của Samsung (CXL Memory Module-DRAM) được xây dựng đặc biệt cho kiến trúc bộ nhớ mở rộng này.
Samsung đã thử nghiệm các mô-đun CMM-D của mình với GPU Nvidia RTX PRO 6000 Blackwell trên PCIe Gen5, xây dựng một bộ nhớ CXL 1TB với tối ưu hóa phần mềm vLLM và LMCache.Các thử nghiệm xác minh rằng nhóm hỗ trợ tải cache KV quy mô lớn với hiệu suất gần DRAMTrong các thiết lập GPU duy nhất, việc tích hợp CXL tối ưu hóa phù hợp với hiệu suất DRAM như backend LMCache.Nó giữ lại 92% thông lượng DRAM gốc với dung lượng bộ nhớ lớn hơn nhiều.
Các thử nghiệm tiếp theo so sánh một thiết lập DRAM cục bộ 512GB và 1TB CXL pool dưới tải cache KV tăng.DRAM cục bộ bị giảm hiệu suất nghiêm trọng do tính toán lại bộ nhớ cache lặp đi lặp lại khi công suất vượt quáCác chi tiết đầy đủ của thử nghiệm có sẵn trong giấy trắng có thể tải xuống của Samsung.
Samsung lưu ý rằng việc triển khai chuyển đổi CXL hiện tại đòi hỏi kernel cấp máy chủ và điều chỉnh phần mềm cho LMCache và các thành phần khác.Việc tập hợp bộ nhớ dựa trên 0 cho thấy tiềm năng ứng dụng mạnh mẽ, với sự trưởng thành hệ sinh thái đang diễn ra thông qua Intel DMR, AMD Venice và nền tảng chuyển đổi CXL 3.0 mới để loại bỏ các hạn chế kỹ thuật hiện có.
Cuối cùng, một sự chia rẽ ngày càng lớn đã xuất hiện giữa Micron và Apple.Jukan của Citrini tiết lộ Apple đang vận động hành lang Nhà Trắng để được chấp thuận triển khai CXMT DRAM của Trung Quốc trong các thiết bị của mình, trong khi Micron đang đệ đơn kháng cáo để ngăn chặn việc áp dụng chip CXMT.bắt nguồn từ nhiệm kỳ của ông Sandisk khi Apple buộc giá bộ nhớ flash thấp trong một thị trường người muaVới thị trường bộ nhớ hiện tại ủng hộ các nhà cung cấp, Mehrotra được cho là không sẵn sàng giảm giá và hạn chế cung cấp cho Apple.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Vietnamese
