Công ty quản lý dữ liệu không cấu trúc Komprise đã phát triển một công nghệ được cấp bằng sáng chế có khả năng phân chia dữ liệu không cấu trúc lớn.Giải pháp này phân phối khối lượng công việc trên nhiều công cụ tính toán trong quá trình truyền dữ liệu đến GPU xử lý AI, tăng tốc độ xử lý tổng thể đáng kể.
Được đăng ký chính thức với bằng sáng chế US-12566637-B2, công nghệ Komprise Elastic Shares (KES) được đệ trình bởi CTO Komprise Michael Peercy và nhóm nghiên cứu của ông.Tiêu đề chính thức của nó là Hệ thống và phương pháp để phân chia một cây không rõ để thực hiện các hoạt động bởi nhiều công cụ tính toán.
Peercy cho biết: "Elastic Shares cho phép khách hàng của chúng tôi tận dụng đầy đủ tài nguyên máy tính, bộ nhớ và mạng có giá trị.Giúp các doanh nghiệp đạt được lợi thế cạnh tranh nổi bật.
Đối với các bộ dữ liệu quy mô petabyte được truyền đến các máy chủ AI để phân tích, suy luận LLM hoặc tính toán đại lý AI,một công cụ tính toán duy nhất đòi hỏi nhiều giờ để đi qua cây thư mục hoặc tiền tố lưu trữ đối tượngMột công cụ tính toán có thể được định nghĩa là một máy chủ độc lập, luồng riêng lẻ, nhóm luồng, quy trình hoặc cụm quy trình, với các nguyên tắc hoạt động nhất quán trong tất cả các kịch bản.Mặc dù người dùng có thể triển khai nhiều động cơ cho tính toán song song trước, phân bổ tĩnh thường gây ra sự không hiệu quả. Kích thước nhánh không đồng đều dẫn đến một số nút tính toán kết thúc sớm và bị ngưng hoạt động trong khi chờ các nút chậm hơn hoàn thành các nhiệm vụ được chỉ định.
Hiển thị bằng sáng chế US-12566637-B2.
Nhóm của Peercy đã phát minh ra một trình lập kế hoạch công việc thông minh được nhúng trong một trong các công cụ tính toán để theo dõi trạng thái nút trong thời gian thực.khối lượng công việc ban đầu được phân bổ giữa các công cụ tính toán có sẵnMột khi bất kỳ nút nào hoàn thành phân vùng được gán, nó sẽ trở lại nhóm tài nguyên để nhận các nhiệm vụ đang chờ.liên tục gán khối lượng công việc mới cho các nút tính toán miễn phí, và rút ngắn thời gian xử lý tổng thể.
Theo một bài đăng trên blog chính thức của Komprise, KES phân phối lại khối lượng công việc dữ liệu không cấu trúc trên các cụm máy chủ theo cách trực tuyến.Công nghệ đạt được tốc độ gần như tuyến tính cho xử lý dữ liệu quy mô lớn mà không yêu cầu thông tin được mua trước về dung lượng bộ dữ liệu, cấu trúc nội bộ hoặc thời gian xử lý.
Nói một cách đơn giản: mỗi nút tính toán tự động nhận được các nhiệm vụ mới ngay sau khi hoàn thành các bài tập hiện tại, duy trì việc sử dụng đầy đủ tài nguyên cho đến khi hoàn thành toàn bộ công việc dữ liệu.
Michael Peercy.
Tài liệu bằng sáng chế chỉ ra rằng các nhiệm vụ di chuyển dữ liệu quy mô lớn giữa các máy chủ tập tin hoặc khối lượng lưu trữ thường phải đối mặt với những hạn chế thời gian eo hẹp.quá trình hoặc máy chủ độc lập, thiếu thông lượng đủ để hoàn thành khối lượng công việc nặng nhanh chóng, làm cho xử lý song song nhiều động cơ trở thành một giải pháp thiết yếu.
Tài liệu này giải thích thêm rằng cấu trúc cây thư mục chỉ có thể được xác định trong quá trình đi qua từ các nút gốc đến các nút lá.như ưu tiên thư mục cha mẹ trước thư mục con và tệpĐiều này đòi hỏi phân đoạn khối lượng công việc động thời gian thực thay vì phân vùng tĩnh cứng, phải thích nghi với các kiến trúc dữ liệu đa dạng và không rõ.
Công nghệ được cấp bằng sáng chế này áp dụng cho các tệp, thư mục, đối tượng lưu trữ và tiền tố đối tượng.nó tương thích với tất cả các hình thức máy tính, bao gồm các luồng, quy trình và cụm dịch vụ backend.
Komprise nhấn mạnh ba lợi thế chính của công nghệ KES:
-
Phân vùng nhiệm vụ động: Các tài nguyên máy tính có giá trị cao được phân bổ lại ngay lập tức với các nhiệm vụ mới khi chúng trở nên không hoạt động.
-
Xử lý dữ liệu mù: Hệ thống hỗ trợ tính toán tập dữ liệu mà không cần nhận thức trước về kích thước dữ liệu, cấu trúc nội bộ và độ trễ xử lý biến, hoàn toàn phù hợp với các kịch bản truyền dữ liệu trực tuyến AI.
-
Sự tái cân bằng tài nguyên thông minh: Nó tự động tối ưu hóa các chiến lược phân bổ để thích nghi với các hệ thống phân cấp dữ liệu không cấu trúc với mật độ nhánh không thể đoán trước.
Công nghệ sáng tạo được cấp bằng sáng chế này cung cấp tối ưu hóa thực tế và hiệu quả cho máy tính dữ liệu không cấu trúc quy mô lớn.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Vietnamese
