AI Tips

Google TPU: wat het kost, en waar de migratie misgaat

Google TPU is Googles eigen AI-chip, en in prijsvergelijkingen met een GPU lijkt die goedkoper. De grootste valkuil: een TPU is geen GPU in een andere jas. PyTorch-modellen met eigen CUDA-code migreren niet zomaar, en een TPU eist vaste invoervormen, wat de meeste productie-inferentie met wisselende tekstlengte uitsluit. Met de actuele chipprijzen, een zelf narekenbare drempel voor een meerjarige commitment en een keuzetabel TPU tegenover GPU.

Dennis ClaassenDennis Claassen16 min lezen
Gloeiende, geometrische chiptegels die in een strak rooster op een donker podium liggen: Google TPU

Meer leren over AI?

AI inzetten voor je team? In onze trainingen leer je het in 4 uur.

Dennis Claassen

Dennis Claassen

AI-trainer · 35+ teams getraind

Bekijk trainingen

Key takeaways

Google TPU is de merknaam voor Googles eigen AI-chips: hardware die specifiek is ontworpen om machine-learningmodellen te trainen en te draaien, zonder NVIDIA-hardware. Zie je de term opduiken in een cloudvergelijking naast AWS Bedrock of in een architectuurplaat met GPU's, dan is de eerste vraag niet "is dit goedkoper", maar "draait mijn model hier überhaupt op zonder te herschrijven". Volgens Google Cloud zelf draait de nieuwste generatie, Ironwood, al in productie onder Gemini en onder Googles eigen Search, Photos en Maps. Dat zegt iets over schaal bij Google. Het zegt niets over of de chip past bij een team dat met PyTorch en bestaande CUDA-code werkt, en dat is voor de meeste bedrijven wel de uitgangssituatie.

Wat is een Google TPU precies?

TPU betekenis: Tensor Processing Unit, de Google AI-chip voor datacenters, niet de Coral-chip

TPU staat voor Tensor Processing Unit. Let op een verwarring die bij het zoeken snel ontstaat: "Google TPU" levert in de praktijk ook treffers op voor de Coral USB Accelerator, een klein, los verkrijgbaar hobby-chipje voor Raspberry Pi-achtige projecten. Dat is een heel andere Google AI-chip, bedoeld voor edge-apparaten met een paar watt stroomverbruik. Dit artikel gaat over de datacenter-variant: de Cloud TPU, die alleen als clouddienst bestaat, niet als los te koop apparaat.

Google bouwt TPU's al tien jaar, en de huidige, algemeen beschikbare generaties zijn Ironwood (7e generatie) en Trillium (6e generatie, ook wel v6e). Daarnaast zijn de oudere TPU v5p en TPU v5e nog volledig in gebruik en gefactureerd. Twee nieuwe generaties zijn aangekondigd maar nog niet beschikbaar: TPU 8t, gericht op grootschalige pretraining met tot 9.600 chips per superpod, en TPU 8i, specifiek voor inferentie met grote MoE-modellen. Ironwood zelf draait al met 9.216 vloeistofgekoelde chips per pod en levert volgens Google 4 keer zoveel rekenkracht per chip als Trillium. Dat cijfer komt van Google zelf; een onafhankelijke, actuele benchmark tegenover de nieuwste Nvidia-chips ontbreekt. De laatste onafhankelijke meting die er wel is, is gedateerd: in de MLPerf Training-ronde van november 2024, gerapporteerd door chipanalist Karl Freund, haalde Nvidia's Blackwell B200 een trainingstaak op 64 chips in ruim 193 minuten tegenover Googles Trillium op 102 minuten met 512 chips: per chip ruim 4 keer sneller voor Blackwell. Dat zegt iets over de vorige TPU-generatie, niet over Ironwood, en moet je dus als historische context lezen, niet als het laatste woord.

Google TPU vs GPU: wat de chip zelf anders maakt

Een GPU is een generieke rekenkaart met duizenden kleine kernen die ook kunnen vertakken en onregelmatig geheugen kunnen benaderen, wat hem geschikt maakt voor allerlei soorten code. Een TPU is het tegenovergestelde ontwerp: een systolische array die alleen matrixvermenigvuldigingen uitvoert, zonder geheugentoegang tijdens die berekening zelf. Dat maakt een TPU sneller voor precies dat ene type rekenwerk, en ongeschikt voor code met vertakkingen of wisselende bewerkingen.

Dat verschil heeft een praktisch gevolg dat in geen prijsvergelijking staat: een TPU compileert je model via XLA naar een vaste invoervorm. Elke nieuwe, unieke lengte van je invoer (een ander aantal tokens in een vraag, een ander aantal rijen in een batch) triggert een nieuwe compilatie, en die compilatie duurt merkbaar langer dan de daadwerkelijke berekening. Een GPU heeft dat probleem niet: die verwerkt wisselende lengtes gewoon, bewerking voor bewerking. Voor training met vaste batchgroottes is dat geen probleem. Voor inferentie op binnenkomende, wisselend lange tekst, zoals een klantmail, een chatbot-vraag of een los document, is het dat wel. Verderop in dit artikel staat een geconstrueerd voorbeeld van precies dat probleem.

Wat kost een Google TPU in Nederland en daarbuiten?

Google rekent per chip-uur, met een flinke korting als je je voor een vaste periode committeert. Dit zijn de actuele on-demand- en commitmentprijzen, rechtstreeks van Google Clouds eigen prijspagina:

TPU-generatieRegioOn demand (per chip-uur)1-jaar commitment3-jaar commitment
Ironwoodus-central1 (Iowa)$12,00$8,40$5,40
Ironwoodeurope-west2 (Londen)$13,20$9,24$5,94
Trillium (v6e)us-east1/us-east5 (VS)$2,70$1,89$1,22
Trillium (v6e)europe-west4 (Amsterdam)$2,97$2,08$1,34
TPU v5pus-east1/us-east5 (VS)$4,20$2,94$1,89
TPU v5eus-central1 e.a. (VS)$1,20$0,84$0,54
TPU v5eeurope-west1 (België)$1,32$0,92$0,59
TPU v5eeurope-west4 (Nederland)$1,56$1,09$0,70

Welke TPU-chip voor welke taak

De prijs volgt direct uit de rekenkracht: Ironwood is bedoeld voor grootschalige training en complexe redeneertaken, Trillium voor training en inferentie op middelgrote schaal, en v5e voor kostengedreven inferentie en kleinere trainingsjobs. Kies je chip op je werklast, niet op de goedkoopste rij: een v5e-chip is niet geschikt voor de workloads waar Ironwood voor gebouwd is, net zoals je geen vrachtwagen huurt om een pakketje te bezorgen.

Twee dingen vallen op die een prijsvergelijking zelf niet vertelt. Eén: een Nederlandse TPU-regio bestaat echt. Europe-west4, Google's regio in Eemshaven, staat gewoon in de prijslijst onder de naam "Netherlands", net als Amsterdam voor Trillium. Twee: diezelfde chip is in België 15 procent goedkoper dan in Nederland ($1,32 tegenover $1,56 voor TPU v5e), puur door de regiokeuze, niet door een ander chiptype. Wie zijn infrastructuur op Europa richt, checkt dus altijd meerdere EU-regio's voor hij op "Nederland" klikt omdat het dichtbij voelt.

De commitmentkorting volgt een vast patroon, en dat patroon is zelf de beslisregel. Deel de driejarige prijs door de on-demand-prijs, en voor elke generatie en regio in de tabel hierboven komt er steeds ongeveer 0,45 uit; voor een jaarcommitment komt er steeds ongeveer 0,70 uit. Dat is geen toeval, het is Googles kortingsstructuur. Dat betekent: een driejarige commitment is pas goedkoper dan gewoon on demand betalen zodra je de chip meer dan 45 procent van de tijd daadwerkelijk gebruikt; een jaarcommitment pas vanaf 70 procent. Gebruik je een TPU met pieken en dalen, bijvoorbeeld alleen tijdens kantooruren of alleen voor een maandelijkse trainingsronde, reken dan eerst je eigen bezettingsgraad uit voor je een commitment tekent. Onder die drempel betaal je gegarandeerd voor capaciteit die je niet gebruikt; de "korting" is dan duurder dan on demand.

Info

Stand van zaken op 8 november 2026. Algemeen beschikbaar zijn Ironwood (7e generatie) en Trillium/v6e (6e generatie), naast de oudere v5p en v5e. TPU 8t en TPU 8i zijn aangekondigd maar nog niet beschikbaar. Alle prijzen in deze tabel staan in Amerikaanse dollar, ook voor de Europese regio's; Google factureert niet in euro. Prijzen, regio's en generaties wisselen regelmatig: check de officiële pagina voor je een contract of commitment aangaat.

Waar Google TPU misgaat: de migratie die niet in de chipprijs staat

Dit is de valkuil waar een team met een bestaand PyTorch-model het vaakst intrapt. Geconstrueerd voorbeeld: NoordChip Analytics, een fictieve Nederlandse SaaS-scale-up, draait een fine-getuned samenvattingsmodel voor klantenservice-tickets op gehuurde H100-GPU's via Hugging Face Transformers. Door de aanhoudende GPU-schaarste besluit het platformteam te testen of hetzelfde model op een TPU v5e-cluster kan draaien, in de hoop goedkoper en sneller beschikbaar te zijn.

Een developer zet de inferentieservice met minimale aanpassing over en voedt hem met binnenkomende supporttickets van wisselende lengte: van een kort "Waar blijft mijn bestelling?" tot een lang, uitgesplitst klachtenverhaal. De eerste testronde, geconstrueerd ter illustratie van het bekende XLA-compilatiemechanisme, ziet er in de logs ongeveer zo uit:

request_1  lengte=48 tokens   compile_cache=MISS   latency=14,2s
request_2  lengte=612 tokens  compile_cache=MISS   latency=31,7s
request_3  lengte=89 tokens   compile_cache=MISS   latency=15,6s
request_4  lengte=48 tokens   compile_cache=HIT    latency=0,09s

De typische fout: request 4 heeft precies dezelfde lengte als request 1 en is daardoor bliksemsnel, een cache-hit. Maar elke nieuwe, unieke lengte triggert een nieuwe XLA-compilatie van tientallen seconden, en bij supportmail is bijna elke lengte uniek. Het team ziet "het model draait" in de testfase en concludeert dat de migratie klaar is, maar heeft niet getest met het volledige, natuurlijke spreidingspatroon van ticketlengtes.

Daar komt een tweede kostenpost bij die in geen enkele chipprijs staat: de tijd om er te komen. Cast.ai, een Kubernetes-kostenbedrijf dat zelf tooling voor GPU-infrastructuur verkoopt en dus eigen belang heeft bij het advies "blijf bij GPU" dat het er zelf aan verbindt, schat een migratie van een middelgrote PyTorch-codebase (20.000 tot 50.000 regels) op 2 tot 4 engineer-kwartalen; met eigen CUDA-kernels erbij op 6 tot 12 maanden. Die tijdschatting zelf staat los van die conclusie: ze komt overeen met de complexiteit die Google in de eigen migratiedocumentatie beschrijft. Dat is geen reden om nooit te migreren, wel een reden om die tijd mee te wegen tegen de chipbesparing voor je committeert.

Wat je daaraan verbetert voordat het bruikbaar is: bucketing. Rond elke binnenkomende lengte af naar een van een klein, vast aantal buckets, bijvoorbeeld 64, 128, 256 en 512 tokens, met padding tot die vaste lengte. Request 2 (612 tokens) zou dan naar de bucket van 1.024 tokens padden, niet naar een geheel nieuwe, unieke vorm. Daarmee ontstaan er nooit meer dan een handvol gecompileerde grafieken in plaats van één per binnenkomend bericht, en blijft de latency voorspelbaar. Dit is geen geheime truc, het is de standaardoplossing voor TPU-inferentie met wisselende tekstlengte, maar een team dat voor het eerst migreert, ontdekt het meestal pas na de eerste trage testronde, niet ervoor.

Google TPU of GPU: de beslisregel

Als dit voor jou geldtDan kies je ditWaarom
Je traint een groot model (100 miljard+ parameters) in JAX, langdurig, al op Google CloudTPU (v6e of Ironwood)De economie werkt alleen met de commitmentkorting en JAX is de taal waar de chip zelf voor ontworpen is
Je draait PyTorch-modellen met eigen CUDA-kernels (vLLM, TensorRT-LLM, FlashAttention)GPUHet CUDA-ecosysteem is 15 jaar volwassener; eigen kernels porten niet automatisch naar XLA
Je serveert inferentie met wisselende invoerlengte, zoals een chatbot of klantmailsGPUEen TPU eist vaste invoervormen; elke nieuwe lengte betekent een nieuwe, trage compilatie, zie het voorbeeld hierboven
Je wilt multi-cloud of on-premise kunnen blijven draaienGPUTPU's bestaan alleen op Google Cloud; JAX/XLA-code porteert niet naar een andere cloud of eigen datacenter
Je hebt nu een GPU-wachtlijst en overweegt TPU puur om capaciteit te vindenReken eerst de migratietijd uit tegen de wachttijdEen migratie van 2 tot 4 engineer-kwartalen is vaak langer dan een GPU-wachtlijst van een paar maanden

Wat een Google TPU niet oplost

Een TPU maakt je model niet vanzelf goedkoper. De chipprijs is lager per rekenkracht in specifieke scenario's, maar de totale kostprijs van een migratie, inclusief de tijd van je team, de herbouw van je monitoring en de deadtime tijdens de overstap, staat nergens op de prijspagina. Reken die apart mee voor je een beslissing neemt op basis van alleen chip-uurtarieven.

Een TPU maakt je ook niet automatisch AVG-proof. Dat er een regio in Nederland bestaat, zegt alleen dat je rekenwerk daar kan draaien, niet automatisch dat je data daar ook blijft en niet automatisch dat dit voldoet aan de eisen van jouw verwerkersovereenkomst. Check dat net zo zorgvuldig als bij elke andere clouddienst, in Googles eigen, actuele documentatie over regio's en databescherming, niet op basis van de regionaam alleen.

En een TPU lost de capaciteitsvraag niet op zonder tegenprestatie. Je ruilt een GPU-wachtlijst in voor een ander soort beperking: alleen op Google Cloud, alleen met het juiste framework, en met een commitmentstructuur die pas vanaf een bepaalde bezettingsgraad voordeel oplevert.

Wat het oplevert, en hoe je dat na zeven dagen meet

Een week testen geeft zekerheid over het eerste, grootste risico, niet over de hele business case. Na zeven dagen weet je of je model zonder grote aanpassing compileert, hoeveel van je invoerlengtes echt uniek zijn, en of bucketing dat oplost. Dat is het deel dat je zelf vaststelt, met één testworkload en zonder extra tooling.

Wat die week niet oplevert: een harde uitspraak over de totale migratietijd. De schatting van Cast.ai, 2 tot 4 engineer-kwartalen voor een middelgrote PyTorch-codebase, gaat over de volledige overstap: monitoring herbouwen, een terugvalpad inrichten en de edge cases testen die één week steekproef niet allemaal raakt. Een week bevestigt alleen of doorzetten de moeite waard lijkt, niet dat je klaar bent om te migreren.

Meet dat met drie dingen:

Doe dit deze week

  1. Check welk framework je model al gebruikt

    Draait je model op JAX, dan is een TPU-proef de moeite waard. Draait het op PyTorch met eigen CUDA-kernels (veel fine-tuning- en inferentiesetups), schrijf dan eerst op welke kernels dat zijn: dat bepaalt de migratie-inschatting uit de KeyTakeaways hierboven.

  2. Draai één workload met je eigen, natuurlijke lengteverdeling

    Test niet met tien keer dezelfde voorbeeldzin. Gebruik een steekproef van je echte, wisselend lange invoer en kijk in de logs hoeveel unieke compilaties er ontstaan. Dat getal voorspelt of je bucketing nodig hebt voordat je in productie gaat.

  3. Reken de commitmentdrempel na met je eigen cijfers

    Vul je geschatte bezettingsgraad in tegen de 45 procent (3 jaar) en 70 procent (1 jaar) uit dit artikel. Lager dan die drempel: blijf on demand betalen, ook als de commitmentprijs lager lijkt.

Het recept dat vandaag werkt, is geen migratiescript maar een testprompt om zelf te checken of je model kans maakt:

Ik overweeg om [modelnaam/taak, bijvoorbeeld: een samenvattingsmodel voor
klantenservice] te verplaatsen van GPU naar een Google TPU. Mijn model
gebruikt: [JAX / PyTorch zonder custom kernels / PyTorch met custom CUDA-
kernels, schrap wat niet van toepassing is], en verwerkt invoer die in
lengte varieert van [kortste] tot [langste eenheid, bijvoorbeeld tokens
of rijen].

Zoek in de PyTorch/XLA-documentatie en de TorchTPU-documentatie op welke
van mijn gebruikte bewerkingen niet of beperkt ondersteund worden op TPU,
en wat een realistische inschatting is van het aantal compilaties dat
mijn lengtevariatie zou veroorzaken zonder bucketing.

Wil je dit met je team structureel uitzoeken, inclusief de keuze tussen cloudplatforms en de governance die daarbij hoort? Dat behandelen we in AI werksessies en in de bredere trainingen. Overweeg je juist de route via een andere leverancier, zoals Amazons eigen AI-platform of een kant-en-klare GPU-container, kijk dan ook naar AWS Bedrock en NVIDIA NIM, en naar hoe Google zelf externe modellen als Claude aanbiedt via Model Garden.

AI-training

Wil je AI leren inzetten?

In onze praktische trainingen leer je hoe je ChatGPT, Claude en andere AI-tools effectief inzet voor jouw werk.

Bekijk trainingen

Bronnen

Veelgestelde vragen

  • TPU betekenis: wat staat de afkorting Tensor Processing Unit voor, en is dat hetzelfde als de Google Coral-chip?

    TPU staat voor Tensor Processing Unit, Googles eigen AI-chip. "Google TPU" wordt in zoekresultaten vaak verward met Google Coral, een los verkrijgbaar hobby-chipje voor edge-apparaten zoals een Raspberry Pi. Dat is een andere, veel kleinere chip. De TPU in dit artikel is de datacenter-variant, die alleen als clouddienst op Google Cloud bestaat, niet als los te koop apparaat.

  • TPU vs GPU: wat is het verschil?

    Een GPU is generiek: duizenden kernen die ook kunnen vertakken en onregelmatig geheugen benaderen, geschikt voor allerlei code. Een TPU is een systolische array die alleen matrixvermenigvuldigingen uitvoert, zonder geheugentoegang tijdens die berekening. Dat maakt een TPU sneller voor dat ene type rekenwerk, maar een TPU eist ook een vaste invoervorm per compilatie, iets waar een GPU geen probleem mee heeft.

  • Is een Google TPU goedkoper dan een GPU?

    Dat hangt af van je workload, niet alleen van het chip-uurtarief. Een TPU v5e kost vanaf 1,20 dollar per chip-uur on demand, een Ironwood-chip tot 13,20 dollar in Londen. Daar komt de migratietijd bovenop: Cast.ai, dat zelf GPU-infrastructuurtools verkoopt, zet een middelgrote PyTorch-migratie op 2 tot 4 engineer-kwartalen; die tijdschatting komt overeen met Googles eigen migratiedocumentatie. Tel die tijd mee voor je de chipprijzen zelf vergelijkt.

  • Is de TPU de enige Google AI-chip?

    Nee. Naast de datacenter-TPU uit dit artikel maakt Google ook de Coral-lijn: kleine, los verkrijgbare AI-chips voor edge-apparaten zoals een Raspberry Pi, met een paar watt stroomverbruik. Dat is een andere Google AI-chip voor een ander doel. Voor training en inferentie op schaal in een datacenter is de Cloud TPU de chip die telt.

  • Werkt een Google TPU met PyTorch?

    Ja, via TorchTPU, Googles open-source PyTorch-backend voor TPU's, en via PyTorch/XLA. Dat werkt zonder de PyTorch-syntax te veranderen, maar niet elke custom CUDA-kernel porteert automatisch mee. JAX blijft de taal waar een TPU native het snelst voor is; PyTorch op TPU is mogelijk, maar met meer haken en ogen dan op een GPU.

  • Kan ik een Google TPU-chip in Nederland draaien?

    Ja, Google Cloud heeft TPU-capaciteit in de regio europe-west4 (Eemshaven), die in de officiële prijslijst gewoon "Netherlands" heet. Let op: dezelfde TPU v5e-chip is in de Belgische regio europe-west1 ongeveer 15 procent goedkoper. Dat de regio bestaat, betekent ook niet automatisch dat dit aan jouw AVG-eisen voldoet; check dat apart in Googles eigen documentatie.

Tags
google-tputpugpugoogle-cloudai-infrastructuurcloud-ai
Dennis Claassen

Geschreven door

Dennis Claassen

Oprichter en AI-trainer

Dennis is de oprichter van Project Impact en traint Nederlandse bedrijven in het effectief gebruiken van AI. Met jarenlange ervaring in tech en onderwijs helpt hij teams om AI praktisch toe te passen.

Meer over Dennis
Verder lezen

Gerelateerde artikelen.

Meer artikelen over dit onderwerp.

Twee verlichte sokkels op een donker podium, één met een vergrootglas-icoon voor zoeken en één met een schild-icoon voor beheer, beeld voor Perplexity Enterprise
AI Tips

Perplexity Enterprise: wat krijg je extra tegenover Perplexity Pro?

Perplexity Enterprise Pro kost $40 per seat per maand en voegt SSO en teambeheer toe aan Perplexity Pro. Maar audit logs, SCIM en instelbare dataretentie zitten pas achter een drempel van 50 seats, of je koopt minstens 1 seat op het Enterprise Max-niveau van $325 per maand. Met een beslistabel, een uitgewerkt citatie-voorbeeld en wat Perplexity Enterprise niet regelt voor een AVG-eis.

15 min lezen
Begeleider in de gehandicaptenzorg die een dagrapportage verwerkt tot een dossieraantekening op een laptop
AI Tips

AI in de gehandicaptenzorg: 3 praktische toepassingen binnen de Wet zorg en dwang

Een begeleider in de gehandicaptenzorg besteedt bijna een derde van de werktijd aan verslaglegging en registratie. AI kan een dagrapportage omzetten naar een dossieraantekening en een MIC-melding helpen opstellen, maar zodra je eigen notities vaag zijn, verzint AI zelf een classificatie onder de Wet zorg en dwang die niet klopt. Met vier echt getest voorbeelden, een beslisregel en de grens die het ondersteuningsplan trekt.

19 min lezen
Gezinsvoogd die aantekeningen van een huisbezoek verwerkt tot een voortgangsrapportage op een laptop
AI Tips

AI in de jeugdzorg: 3 praktische toepassingen binnen de Jeugdwet en het beroepsgeheim

Een gezinsvoogd verliest het meeste van zijn week aan administratie, de hoogste van de hele zorgsector. AI kan een voortgangsrapportage opstellen en een overdracht samenvatten, maar een risicosignaal verliest zijn gewicht zodra het in een kwartaaloverzicht belandt. Met een echt getest voorbeeld, een beslisregel en de grens die het beroepsgeheim en de meldcode kindermishandeling trekken.

18 min lezen

Meer leren over AI?

AI inzetten voor je team? In onze trainingen leer je het in 4 uur.

Bekijk trainingen