Vietnamese
Tại Google Cloud Next, Google đã tiết lộ các máy gia tốc AI thế hệ thứ tám của mình: TPU v8t ¢ Sunfish ¢ cho đào tạo và TPU v8i ¢ Zebrafish ¢ cho suy luận, cùng với vải trung tâm dữ liệu Virgo mới.Được thiết kế phù hợp với thời đại AI, các chip này được tối ưu hóa cho đào tạo mô hình hỗn hợp chuyên gia lớn (MoE) và mã thông báo độ trễ thấp phục vụ với giá hiệu quả về chi phí.v8t và v8i khác nhau trong bộ nhớ, SRAM, chuyên ngành topology và phần cứng.
Một v8t superpod hỗ trợ 9.600 chip với 2 PB HBM và cung cấp 121 EFLOPS tính toán FP4, gần gấp ba lần hiệu suất của thế hệ Ironwood trước đó.152 chip với 288 GB HBM và 384 MB SRAM trên chip, cung cấp 80% hiệu quả chi phí kết luận tốt hơn so với Ironwood.cung cấp băng thông không chặn 47 Pb / s với thông lượng cao hơn 4 lần mỗi máy gia tốc và độ trễ thấp hơn 40%.
Kiến trúc TPU cơ bản so với GPU
TPU là các ASIC tùy chỉnh được đặc trưng bởi các đơn vị nhân ma trận lớn (MXU), SRAM được quản lý bởi phần mềm và biên dịch trước thời gian.TPU có tính năng lưu lượng dữ liệu xác định với mảng tâm thu, loại bỏ cache jitter và overhead lập trình warp để sử dụng FLOPS cao hơn trên khối lượng công việc ma trận dày đặc.Sự thưa thớt bất thường và mạng lưới đồ thị phức tạp, trong khi cũng cung cấp hỗ trợ hệ sinh thái phần mềm hẹp hơn do JAX và XLA thống trị.
Sự khác biệt về cấu trúc trong hỗ trợ thưa thớt phân biệt rõ ràng giữa TPU và GPU.TPU hệ thống tâm thu hoạt động trong khóa cứngAWS Trainium2 sử dụng một nền tảng trung gian với các máy khử nén thưa thớt chuyên dụng để duy trì thông lượng mảng.
Các TPU tích hợp SparseCores để xử lý các nhiệm vụ thu thập phân tán bất thường để nhúng bảng và định tuyến MoE.bao gồm khối lượng công việc khuyến nghị và gửi mã thông báo chuyên gia mà các MXU tiêu chuẩn không thể xử lý hiệu quả.
TPU v8t: Động cơ tăng tốc đào tạo
Chip đào tạo v8t trang bị bộ nhớ HBM3e 216 GB và SRAM 128 MB. Độ chính xác của FP4 bản địa tăng gấp đôi tốc độ thông lượng mỗi chu kỳ, đẩy tính toán một chip lên 12,6 PFLOPS.Nó giữ lại một kết nối torus 3D và nâng cấp 19.2 Tb / s băng thông ICI, lý tưởng cho các giao tiếp tập thể dựa trên vòng trong đào tạo quy mô lớn.
SparseCores được thừa kế tối ưu hóa truyền dữ liệu không đều của MoE.TPUDirect RDMA và TPUDirect Storage bỏ qua CPU máy chủ để cho phép truy cập trực tiếp bộ nhớ TPUNgoài ra, v8t sử dụng CPU Axion dựa trên Arm của Google làm bộ xử lý chủ,cô lập jitter máy chủ và tăng cường sự ổn định trước xử lý cho đào tạo đa chip đồng bộ.
TPU v8i Zebrafish : Động cơ tăng tốc suy luận
Được xây dựng cho khối lượng công việc suy luận gắn với băng thông bộ nhớ, v8i ưu tiên tạo token chậm.Nó có 384 MB SRAM ¢ gấp ba lần so với Ironwood ¢ để lưu trữ KV cache trên chip và giảm đọc lặp đi lặp lại HBM. Với hai TensorCores và 288 GB HBM3e, nó đạt được tính toán 10.1 PFLOPS FP4, chồng chéo các nhiệm vụ suy luận lô ngắn cho việc sử dụng bền vững cao hơn.
Thay thế SparseCores, Collectives Acceleration Engine (CAE) chuyên dụng cắt giảm độ trễ đồng bộ trên chip lên đến 5 lần, tối ưu hóa các hoạt động tập thể hàng loạt nhỏ thường xuyên.V8i từ bỏ torus 3D cho topology Boardfly dựa trên Dragonfly, giảm tối đa chip-to-chip hops từ 16 xuống còn 7 và giảm MoE all-to-all latency bằng 50%.
Đệ thống phân cấp vải Virgo & Jupiter
Virgo đóng vai trò là mô mô mở rộng nội bộ trung tâm dữ liệu, áp dụng kiến trúc không chặn hai lớp để loại bỏ quá mức đăng ký cho lưu lượng AI đông-tây.nó cho phép millisecond-level lỗi chuyển hướng và duy trì 97% goodput cho v8t superpods. Kết hợp với Jupiter Google Long distance cross-data-center fabric hệ thống kết nối lớp hỗ trợ hơn một triệu chip TPU trong một cụm logic duy nhất với 1.7 ZFLOPS tổng tính toán FP4.
Hiệu suất, TCO và vị trí thị trường
Tỷ lệ hiệu suất cao và sử dụng Model FLOPs ổn định (MFU) mang lại cho TPU những lợi thế chi phí hấp dẫn.v8t hiệu suất FP4 mật độ nằm giữa GB200 và GB300, trong khi Google thống trị trong nhóm quy mô lớn với một pods chip duy nhất 9.600, vượt xa miền NVLink 72-GPU của NVIDIA.
Nhìn về phía trước, Vera Rubin, Rubin Ultra và Kyber của NVIDIA sẽ thu hẹp khoảng cách hiệu suất của TPU từ năm 2026 đến năm 2027.thiếu thốn phần cứng và khả năng tương thích hệ sinh thái hạn chếTuy nhiên, Google vẫn duy trì điểm mạnh trong việc phân nhóm lớn, độ trễ xác định và hiệu quả chi phí cho khối lượng công việc của Bộ Nội vụ.
Google đang mở rộng cả cơ sở hạ tầng TPU và NVIDIA GPU. Meta có kế hoạch một thỏa thuận chấp nhận TPU trị giá hàng tỷ đô la bắt đầu từ năm 2027.TPU v8 đảm bảo khả năng cạnh tranh của Google với NVIDIA Grace-Blackwell cho việc triển khai AI quy mô lớn.
Công ty công nghệ Bắc Kinh Qianxing Jietong Co., Ltd.
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!
Sandy Yang - Giám đốc chiến lược toàn cầu
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Trang web: www.qianxingdata.com/www.storagesserver.com
Tập trung kinh doanh:
Phân phối sản phẩm ICT / tích hợp hệ thống & dịch vụ / giải pháp cơ sở hạ tầng
Với hơn 20 năm kinh nghiệm phân phối CNTT, chúng tôi hợp tác với các thương hiệu hàng đầu toàn cầu để cung cấp các sản phẩm đáng tin cậy và dịch vụ chuyên nghiệp.
Sử dụng công nghệ để xây dựng một thế giới thông minh Nhà cung cấp dịch vụ sản phẩm ICT đáng tin cậy của bạn!