Dutch
Op Google Cloud Next onthulde Google zijn achtste-generatie AI-versnellers: de TPU v8t ¢Sunfish ¢ voor training en de TPU v8i ¢Zebrafish ¢ voor inferentie, naast de nieuwe Virgo datacenterfabriek.Geschikt voor het tijdperk van agentische AI.Deze chips zijn geoptimaliseerd voor grote mix-of-experts (MoE) -modelopleiding en low-latency-token met kostenefficiënte prijzen.V8t en V8i verschillen in geheugen, SRAM, topologie en hardware specialisatie.
Een v8t superpod ondersteunt 9.600 chips met 2 PB HBM en levert 121 EFLOPS van FP4 computing, bijna drie keer de prestaties van de vorige Ironwood generatie.152 chips met 288 GB HBM en 384 MB on-chip SRAMHet weefsel van de Maagd verbindt meer dan 134.000 V8t-chips.47 Pb/s niet-blokkerende bandbreedte met 4x hogere doorvoer per versneller en 40% lagere latentie.
Fundamentele TPU-architectuur versus GPU
TPU's zijn aangepaste ASIC's die worden gekenmerkt door grote matrix multiply units (MXU's), software-beheerde SRAM en ahead-of-time compilatie.TPU's beschikken over deterministische dataflow met systolische arrays, waarbij cache jitter en warp scheduling overhead worden geëlimineerd voor een hoger FLOPS-gebruik op dichte matrix werkbelastingen.onregelmatige sparsiteit en complexe grafiekenetwerken, terwijl het ook een kleinere ondersteuning biedt voor het software-ecosysteem, gedomineerd door JAX en XLA.
Het structurele verschil in sparsiteitsondersteuning onderscheidt duidelijk TPU's en GPU's. NVIDIA Tensor Cores ondersteunen native 2:4 gestructureerde sparsiteit via instructie-compressie.TPU-sistole-arrays werken in stijve lockstepAWS Trainium2 gebruikt een middenweg met speciale sparse decompressoren om de doorvoer van de array te behouden.
TPU's integreren SparseCores om onregelmatige gather-scatter-taken te verwerken voor het inbedden van tabellen en MoE-routing.betrekking hebben op aanbevelingswerkbelastingen en het verzenden van deskundige tokens die standaard MXU's niet efficiënt kunnen verwerken.
TPU v8t Sunfish: Training Accelerator
De v8t training chip is uitgerust met 216 GB HBM3e geheugen en 128 MB SRAM.Het behoudt een 3D torus interconnect en verbeterde 19.2 Tb/s ICI-bandbreedte, ideaal voor ringgebaseerde collectieve communicatie in grootschalige training.
Erfgenomen SparseCores optimaliseren MoE onregelmatige all-to-all data-overdracht.TPUDirect RDMA en TPUDirect Storage omzeilen de host CPU om directe toegang tot het TPU geheugen mogelijk te makenDaarnaast gebruikt v8t de Axion CPU's van Google als hostprocessors.het isoleren van gastheer jitter en het verbeteren van preprocessing stabiliteit voor gesynchroniseerde multi-chip training.
TPU v8i: Inferentieversneller
Gebouwd voor geheugen-bandbreedte-gebonden inferentie workloads, v8i geeft prioriteit aan low-latency token generatie.Het beschikt over 384 MB SRAM, drie keer zo groot als Ironwood, om KV-cache op de chip te cachen en herhaalde HBM-lezen te verminderen.. Met twee TensorCores en 288 GB HBM3e, bereikt het 10,1 PFLOPS FP4 computing, overlappende korte batch inferentie taken voor een hoger aanhoudend gebruik.
Het vervangen van SparseCores, de speciale Collectives Acceleration Engine (CAE) vermindert de synchronisatie-latentie op de chip met maximaal 5x, waardoor frequente kleine batch collectieve operaties worden geoptimaliseerd.De v8i laat de 3D torus achter voor de op Dragonfly gebaseerde Boardfly topologie, waardoor de maximale chip-to-chip hops van 16 naar 7 worden verlaagd en de MoE all-to-all latency met 50% wordt verlaagd.
Maagd & Jupiter Stoffen Hiërarchie
Virgo fungeert als het interne datacenter-scale-out weefsel, waarbij een tweelaagse niet-blokkerende architectuur wordt aangenomen om overabonnement voor oost-west AI-verkeer te elimineren.Het maakt het mogelijk om fouten van milliseconde te omleiden en behoudt 97% goodput voor V8t superpodsIn combinatie met Jupiter Google's langeafstands datacenterfabriek het gelaagde interconnectsysteem ondersteunt meer dan een miljoen TPU-chips in een enkel logisch cluster met 1.7 ZFLOPS totale FP4-berekeningen.
Prestaties, TCO's en marktpositie
Bij 40% MFU zijn de opleidingskosten van TPU's 62% lager dan bij NVIDIA GB300.v8t FP4-prestaties met dichtheid tussen GB200 en GB300, terwijl Google domineert in grootschalige clustering met een single pod van 9.600 chips, ver boven NVIDIA's 72-GPU NVLink-domein.
Voor de toekomst zullen NVIDIA's Vera Rubin, Rubin Ultra en Kyber het prestatieverschil van TPU's van 2026 tot 2027 verkleinen.ontbrekende hardware-sparigheid en beperkte ecosysteemcompatibiliteitNiettemin behoudt Google sterke punten in massale clustering, deterministische latentie en kostenefficiëntie voor MoE-werklasten.
Google breidt zowel de TPU- als de NVIDIA GPU-infrastructuur uit.TPU v8 zorgt voor Google's concurrentievermogen tegen NVIDIA Grace-Blackwell voor grensoverschrijdende grootschalige AI-implementatie.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!
Sandy Yang, directeur Global Strategy
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zaken:
Distributie van ICT-producten/Systeemintegratie en diensten/Infrastructuuroplossingen
Met meer dan 20 jaar IT-distributie-ervaring werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
Technologie gebruiken om een intelligente wereld te bouwenUw betrouwbare ICT-productdienstverlener!