NetApp sẽ mua lại DataPelago, nhà sáng tạo ra Nucleus Universal Data Processing Engine (UDPE) tăng tốc tính toán đa dạng cho phân tích và AI tạo ra.
Được xây dựng trên mã nguồn mở Gluten, Velox và Substrait, Nucleus tăng tốc độ mạnh mẽ Spark và Trino để cung cấp hiệu suất chi phí vượt trội. Nó kết nối liền mạch với các nhà hồ hiện có, SQL, Python, Airflow,Biểu đồĐược thành lập vào năm 2021 bởi Giám đốc điều hành Rajan Goyal và CPO Anand Iyer, DataPelago đã thoát khỏi sự tàng hình vào tháng 10 năm 2024 và huy động tổng cộng hơn 75 triệu đô la.bao gồm một vòng tài trợ 47 triệu đô la vào năm 2024.
Giám đốc điều hành NetApp George Kurian tuyên bố rằng phần cứng AI tiên tiến đòi hỏi cơ sở hạ tầng dữ liệu có khả năng tương đương để mở khóa giá trị dữ liệu doanh nghiệp,và việc mua lại tăng cường khả năng của NetApp để cung cấp xử lý dữ liệu nhanh chóng để phân biệt cạnh tranh.
Một blog của DataPelago lưu ý rằng Nucleus sẽ được nhúng trong nền tảng dữ liệu của NetApp, cho phép áp dụng rộng rãi hơn nhiều so với việc khởi nghiệp có thể đạt được một cách độc lập.DataPelago đứng thứ tư trong Khoa học dữ liệu trên danh sách các công ty sáng tạo nhất thế giới năm 2026 của Fast Company.
Không giống như các kiến trúc truyền thống chuyển bộ dữ liệu sang các cụm CPU / GPU bên ngoài, Nucleus chạy tính toán tăng tốc trực tiếp ở tầng lưu trữ.Dự đoán nhanh hơn 5 lần, bộ lọc nhanh hơn 10,1 lần và tổng hợp nhanh hơn 4,3 lần.
1.DataApp: Mô-đun tích hợp có thể cắm để tiêm gia tốc vào Spark, Trino và các động cơ khác.
2.DataOS: Lớp dàn nhạc lập bản đồ các nhiệm vụ dữ liệu một cách năng động đến các máy gia tốc hỗn hợp để điều chỉnh hiệu suất có thể mở rộng.
3.DataVM: Máy ảo tùy chỉnh với ISA cụ thể cho miền, cung cấp trừu tượng thực thi thống nhất cho CPU, GPU, FPGA và silicon tùy chỉnh.
Dòng thực thi dữ liệu cốt lõi
1. Truy cập dữ liệu thông qua các kết nối framework: Được triển khai dưới dạng các plugin Spark JAR tương thích với các kết nối dữ liệu tiêu chuẩn, hỗ trợ Parquet, ORC, Iceberg, Delta Lake, JSON và mục tiêu lưu trữ bao gồm S3, GCS,ADLS, HDFS và các mảng on-prem. Tăng tốc mở rộng đến tích hợp lưu trữ trong khi giữ lại ngữ nghĩa truy vấn gốc thông qua các lớp I / O công cụ tiêu chuẩn.
2. Query lập kế hoạch và tối ưu hóa: Máy chủ tạo ra một kế hoạch vật lý; DataApp chuyển đổi nó thành một đại diện trung gian thông qua Gluten / Substrait.Một trình tối ưu hóa thông minh xây dựng biểu đồ luồng dữ liệu tối ưu và phân bổ tài nguyên CPU / GPU cho việc thực hiện DataOS / DataVM.
3.Cross-hardware tối ưu hóa chuyển dữ liệu: Hỗn hợp operator / kernel và thực thi trực tuyến loại bỏ hoàn toàn sự hiện thực hóa trung gian để cắt giảm I / O overhead.Bộ nhớ chia sẻ không sao chép giảm trùng lặp dữ liệu CPU-GPU, trong khi DataVM® ISA tận dụng LLVM, CUDA và ROCm để định tuyến các nhiệm vụ đến phần cứng tối ưu thông qua xử lý vector hóa cột.Những điều chỉnh này nâng mức sử dụng GPU lên 80~90% bằng cách giảm thiểu việc xáo trộn dữ liệu giữa các miền.
Nucleus hoạt động trên cơ sở và trên các đám mây công cộng lớn.nó cũng tích hợp với Snowflake bằng cách tăng tốc độ xử lý định dạng bảng mở và đường ống Spark / Trino phía trên / phía dưới cung cấp cho khoDataPelago cho biết Nucleus cắt giảm chi phí cơ sở hạ tầng lên đến 80% và cung cấp hiệu suất nhanh hơn 10 lần so với các đường ống cũ. Bằng cách loại bỏ sự trùng lặp dữ liệu bắt buộc giữa các hệ thống hoạt động và AI,nó loại bỏ nút thắt chính làm chậm việc triển khai AI doanh nghiệp, với việc triển khai trực tiếp tại các doanh nghiệp lớn trên toàn cầu trên các lĩnh vực dọc.
Giám đốc điều hành DataPelago Rajan Goyal cho biết sứ mệnh cốt lõi của công ty là giải quyết các nút thắt xử lý dữ liệu cản trở đổi mới AI.Sáp nhập với NetApp kết hợp công nghệ tăng tốc đột phá của nó với danh mục đầu tư cơ sở hạ tầng dữ liệu rộng lớn của NetAppCác doanh nghiệp đã đầu tư rất nhiều vào GPU và mô hình nhưng vẫn phải chịu đựng các silo dữ liệu phân mảnh khiến phần cứng bị sử dụng kém, và ngăn xếp kết hợp hợp lý hóa việc triển khai AI quy mô lớn.
NetApp đóng khung việc mua lại như một nâng cấp danh mục đầu tư mang tính bước ngoặt, đưa xử lý tăng tốc GPU trực tiếp vào các luồng công việc lưu trữ để cung cấp kích hoạt dữ liệu doanh nghiệp không sao chép thực sự cho AI.Tài chính giao dịch vẫn chưa được tiết lộ; với sức kéo doanh nghiệp của Nucleus, sự phối hợp chặt chẽ với NetApp AIDE và nhu cầu AI tăng lên, giá trị mua có thể hạ cánh ở mức gấp 4 lần 5 lần tổng số tài trợ 75 triệu đô la của DataPelago.DataPelago sẽ hoạt động như một công ty con thuộc sở hữu hoàn toàn của NetApp.
Sự khác biệt chính: Nucleus vs KV Cache vs NetApp AIDE
1Phân biệt.Nucleus và KV Cache: Nucleus tối ưu hóa việc hấp thụ dữ liệu trước khi suy luận, chuyển đổi và truy vấn trước khi dữ liệu đến máy chủ GPU.Nvidia KV Cache là một tối ưu hóa bộ nhớ trong GPU chỉ hoạt động sau khi dữ liệu đến trên phần cứng GPU để tăng hiệu quả tạo token. Nucleus tăng tốc độ phân phối dữ liệu đến máy tính; KV Cache tối ưu hóa thời gian chạy mô hình sau khi dữ liệu đổ bộ vào máy gia tốc.
2.NetApp AIDE vs Nucleus UDPE: AIDE là ONTAP / AFX khóa AI xử lý trước cho LLM và đại lý, hoạt động như ETL độc quyền với cơ sở dữ liệu vector tích hợp, phân loại siêu dữ liệu,Dịch vụ RAG và tích hợp Nvidia AI Enterprise (bao gồm các dịch vụ vi mô vector hóa NIM). Nucleus là không lưu trữ và tăng tốc các khối lượng công việc Spark / Trino chung. tích hợp Nucleus với AIDE sẽ tăng cường chuyển đổi, đào tạo, tinh chỉnh và kết luận,cho phép tăng tốc khối lượng công việc lakehouse trực tiếp trên lưu trữ NetApp AFX; một giải pháp AIDE+Nucleus kết hợp từ đầu đến cuối là có thể dự đoán được.
CPO NetApp Syam Nair nhận xét Nucleus cung cấp tăng tốc được xác định bởi phần mềm tại bộ nhớ, cho phép chuẩn bị dữ liệu không sao chép, quản trị và kích hoạt AI trên các CPU và GPU.NetApp quản lý nhiều dữ liệu đa môi trường doanh nghiệp hơn bất kỳ đối thủ nào, và làn sóng cạnh tranh AI tiếp theo phụ thuộc vào việc xử lý dữ liệu tại nguồn của nó
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Vietnamese
