Meer leren over AI?
AI inzetten voor je team? In onze trainingen leer je het in 4 uur.
Dennis Claassen
AI-trainer · 35+ teams getraind
Key takeaways
- Google TPU is Googles eigen AI-chiplijn, los van gewone GPU's. De actuele generaties zijn Ironwood (7e generatie, nu algemeen beschikbaar) en Trillium (6e generatie, v6e), en ze draaien alleen op Google Cloud, niet on-premise en niet bij een andere cloudleverancier.
- De grootste valkuil: een TPU is geen goedkopere GPU in een ander jasje. Een TPU eist een vaste invoervorm per gecompileerde berekening. Elke nieuwe tekstlengte triggert een nieuwe, trage compilatie, wat de meeste productie-inferentie met wisselende lengte (chatbots, samenvattingen, klantmails) in de praktijk uitsluit.
- Prijs per chip-uur loopt van $1,20 (TPU v5e, VS) tot $13,20 (Ironwood, Londen). In Nederland (Eemshaven, europe-west4) betaal je voor een v5e-chip $1,56 per uur, 15 procent meer dan hetzelfde chiptype in België. Reken je dit zelf na voor de andere generaties, dan komt er telkens hetzelfde patroon uit: een driejarige commitment is pas voordeliger vanaf ongeveer 45 procent bezetting, een jaarcommitment vanaf ongeveer 70 procent.
- Migreren kost tijd, ook als het chiptype goedkoper lijkt. Een schatting van Cast.ai, een Kubernetes-kostenbedrijf dat zelf GPU-infrastructuurtools verkoopt (hun advies leunt zelf richting GPU, de cijfers kloppen wel met Googles eigen documentatie), zet een middelgrote PyTorch-codebase (20.000 tot 50.000 regels) op 2 tot 4 engineer-kwartalen migratietijd; met eigen CUDA-kernels 6 tot 12 maanden.
- Voor wie is dit relevant? Grootschalige training in JAX, al op Google Cloud, langdurig: dan is een TPU een reëel alternatief. Draai je PyTorch met CUDA-kernels, fine-tune je modellen, of serveer je inferentie met wisselende invoerlengte: dan blijft een GPU de default.
Google TPU is de merknaam voor Googles eigen AI-chips: hardware die specifiek is ontworpen om machine-learningmodellen te trainen en te draaien, zonder NVIDIA-hardware. Zie je de term opduiken in een cloudvergelijking naast AWS Bedrock of in een architectuurplaat met GPU's, dan is de eerste vraag niet "is dit goedkoper", maar "draait mijn model hier überhaupt op zonder te herschrijven". Volgens Google Cloud zelf draait de nieuwste generatie, Ironwood, al in productie onder Gemini en onder Googles eigen Search, Photos en Maps. Dat zegt iets over schaal bij Google. Het zegt niets over of de chip past bij een team dat met PyTorch en bestaande CUDA-code werkt, en dat is voor de meeste bedrijven wel de uitgangssituatie.
Wat is een Google TPU precies?
TPU betekenis: Tensor Processing Unit, de Google AI-chip voor datacenters, niet de Coral-chip
TPU staat voor Tensor Processing Unit. Let op een verwarring die bij het zoeken snel ontstaat: "Google TPU" levert in de praktijk ook treffers op voor de Coral USB Accelerator, een klein, los verkrijgbaar hobby-chipje voor Raspberry Pi-achtige projecten. Dat is een heel andere Google AI-chip, bedoeld voor edge-apparaten met een paar watt stroomverbruik. Dit artikel gaat over de datacenter-variant: de Cloud TPU, die alleen als clouddienst bestaat, niet als los te koop apparaat.
Google bouwt TPU's al tien jaar, en de huidige, algemeen beschikbare generaties zijn Ironwood (7e generatie) en Trillium (6e generatie, ook wel v6e). Daarnaast zijn de oudere TPU v5p en TPU v5e nog volledig in gebruik en gefactureerd. Twee nieuwe generaties zijn aangekondigd maar nog niet beschikbaar: TPU 8t, gericht op grootschalige pretraining met tot 9.600 chips per superpod, en TPU 8i, specifiek voor inferentie met grote MoE-modellen. Ironwood zelf draait al met 9.216 vloeistofgekoelde chips per pod en levert volgens Google 4 keer zoveel rekenkracht per chip als Trillium. Dat cijfer komt van Google zelf; een onafhankelijke, actuele benchmark tegenover de nieuwste Nvidia-chips ontbreekt. De laatste onafhankelijke meting die er wel is, is gedateerd: in de MLPerf Training-ronde van november 2024, gerapporteerd door chipanalist Karl Freund, haalde Nvidia's Blackwell B200 een trainingstaak op 64 chips in ruim 193 minuten tegenover Googles Trillium op 102 minuten met 512 chips: per chip ruim 4 keer sneller voor Blackwell. Dat zegt iets over de vorige TPU-generatie, niet over Ironwood, en moet je dus als historische context lezen, niet als het laatste woord.
Google TPU vs GPU: wat de chip zelf anders maakt
Een GPU is een generieke rekenkaart met duizenden kleine kernen die ook kunnen vertakken en onregelmatig geheugen kunnen benaderen, wat hem geschikt maakt voor allerlei soorten code. Een TPU is het tegenovergestelde ontwerp: een systolische array die alleen matrixvermenigvuldigingen uitvoert, zonder geheugentoegang tijdens die berekening zelf. Dat maakt een TPU sneller voor precies dat ene type rekenwerk, en ongeschikt voor code met vertakkingen of wisselende bewerkingen.
Dat verschil heeft een praktisch gevolg dat in geen prijsvergelijking staat: een TPU compileert je model via XLA naar een vaste invoervorm. Elke nieuwe, unieke lengte van je invoer (een ander aantal tokens in een vraag, een ander aantal rijen in een batch) triggert een nieuwe compilatie, en die compilatie duurt merkbaar langer dan de daadwerkelijke berekening. Een GPU heeft dat probleem niet: die verwerkt wisselende lengtes gewoon, bewerking voor bewerking. Voor training met vaste batchgroottes is dat geen probleem. Voor inferentie op binnenkomende, wisselend lange tekst, zoals een klantmail, een chatbot-vraag of een los document, is het dat wel. Verderop in dit artikel staat een geconstrueerd voorbeeld van precies dat probleem.
Wat kost een Google TPU in Nederland en daarbuiten?
Google rekent per chip-uur, met een flinke korting als je je voor een vaste periode committeert. Dit zijn de actuele on-demand- en commitmentprijzen, rechtstreeks van Google Clouds eigen prijspagina:
| TPU-generatie | Regio | On demand (per chip-uur) | 1-jaar commitment | 3-jaar commitment |
|---|---|---|---|---|
| Ironwood | us-central1 (Iowa) | $12,00 | $8,40 | $5,40 |
| Ironwood | europe-west2 (Londen) | $13,20 | $9,24 | $5,94 |
| Trillium (v6e) | us-east1/us-east5 (VS) | $2,70 | $1,89 | $1,22 |
| Trillium (v6e) | europe-west4 (Amsterdam) | $2,97 | $2,08 | $1,34 |
| TPU v5p | us-east1/us-east5 (VS) | $4,20 | $2,94 | $1,89 |
| TPU v5e | us-central1 e.a. (VS) | $1,20 | $0,84 | $0,54 |
| TPU v5e | europe-west1 (België) | $1,32 | $0,92 | $0,59 |
| TPU v5e | europe-west4 (Nederland) | $1,56 | $1,09 | $0,70 |
Welke TPU-chip voor welke taak
De prijs volgt direct uit de rekenkracht: Ironwood is bedoeld voor grootschalige training en complexe redeneertaken, Trillium voor training en inferentie op middelgrote schaal, en v5e voor kostengedreven inferentie en kleinere trainingsjobs. Kies je chip op je werklast, niet op de goedkoopste rij: een v5e-chip is niet geschikt voor de workloads waar Ironwood voor gebouwd is, net zoals je geen vrachtwagen huurt om een pakketje te bezorgen.
Twee dingen vallen op die een prijsvergelijking zelf niet vertelt. Eén: een Nederlandse TPU-regio bestaat echt. Europe-west4, Google's regio in Eemshaven, staat gewoon in de prijslijst onder de naam "Netherlands", net als Amsterdam voor Trillium. Twee: diezelfde chip is in België 15 procent goedkoper dan in Nederland ($1,32 tegenover $1,56 voor TPU v5e), puur door de regiokeuze, niet door een ander chiptype. Wie zijn infrastructuur op Europa richt, checkt dus altijd meerdere EU-regio's voor hij op "Nederland" klikt omdat het dichtbij voelt.
De commitmentkorting volgt een vast patroon, en dat patroon is zelf de beslisregel. Deel de driejarige prijs door de on-demand-prijs, en voor elke generatie en regio in de tabel hierboven komt er steeds ongeveer 0,45 uit; voor een jaarcommitment komt er steeds ongeveer 0,70 uit. Dat is geen toeval, het is Googles kortingsstructuur. Dat betekent: een driejarige commitment is pas goedkoper dan gewoon on demand betalen zodra je de chip meer dan 45 procent van de tijd daadwerkelijk gebruikt; een jaarcommitment pas vanaf 70 procent. Gebruik je een TPU met pieken en dalen, bijvoorbeeld alleen tijdens kantooruren of alleen voor een maandelijkse trainingsronde, reken dan eerst je eigen bezettingsgraad uit voor je een commitment tekent. Onder die drempel betaal je gegarandeerd voor capaciteit die je niet gebruikt; de "korting" is dan duurder dan on demand.
Info
Stand van zaken op 8 november 2026. Algemeen beschikbaar zijn Ironwood (7e generatie) en Trillium/v6e (6e generatie), naast de oudere v5p en v5e. TPU 8t en TPU 8i zijn aangekondigd maar nog niet beschikbaar. Alle prijzen in deze tabel staan in Amerikaanse dollar, ook voor de Europese regio's; Google factureert niet in euro. Prijzen, regio's en generaties wisselen regelmatig: check de officiële pagina voor je een contract of commitment aangaat.
Waar Google TPU misgaat: de migratie die niet in de chipprijs staat
Dit is de valkuil waar een team met een bestaand PyTorch-model het vaakst intrapt. Geconstrueerd voorbeeld: NoordChip Analytics, een fictieve Nederlandse SaaS-scale-up, draait een fine-getuned samenvattingsmodel voor klantenservice-tickets op gehuurde H100-GPU's via Hugging Face Transformers. Door de aanhoudende GPU-schaarste besluit het platformteam te testen of hetzelfde model op een TPU v5e-cluster kan draaien, in de hoop goedkoper en sneller beschikbaar te zijn.
Een developer zet de inferentieservice met minimale aanpassing over en voedt hem met binnenkomende supporttickets van wisselende lengte: van een kort "Waar blijft mijn bestelling?" tot een lang, uitgesplitst klachtenverhaal. De eerste testronde, geconstrueerd ter illustratie van het bekende XLA-compilatiemechanisme, ziet er in de logs ongeveer zo uit:
request_1 lengte=48 tokens compile_cache=MISS latency=14,2s
request_2 lengte=612 tokens compile_cache=MISS latency=31,7s
request_3 lengte=89 tokens compile_cache=MISS latency=15,6s
request_4 lengte=48 tokens compile_cache=HIT latency=0,09s
De typische fout: request 4 heeft precies dezelfde lengte als request 1 en is daardoor bliksemsnel, een cache-hit. Maar elke nieuwe, unieke lengte triggert een nieuwe XLA-compilatie van tientallen seconden, en bij supportmail is bijna elke lengte uniek. Het team ziet "het model draait" in de testfase en concludeert dat de migratie klaar is, maar heeft niet getest met het volledige, natuurlijke spreidingspatroon van ticketlengtes.
Daar komt een tweede kostenpost bij die in geen enkele chipprijs staat: de tijd om er te komen. Cast.ai, een Kubernetes-kostenbedrijf dat zelf tooling voor GPU-infrastructuur verkoopt en dus eigen belang heeft bij het advies "blijf bij GPU" dat het er zelf aan verbindt, schat een migratie van een middelgrote PyTorch-codebase (20.000 tot 50.000 regels) op 2 tot 4 engineer-kwartalen; met eigen CUDA-kernels erbij op 6 tot 12 maanden. Die tijdschatting zelf staat los van die conclusie: ze komt overeen met de complexiteit die Google in de eigen migratiedocumentatie beschrijft. Dat is geen reden om nooit te migreren, wel een reden om die tijd mee te wegen tegen de chipbesparing voor je committeert.
Wat je daaraan verbetert voordat het bruikbaar is: bucketing. Rond elke binnenkomende lengte af naar een van een klein, vast aantal buckets, bijvoorbeeld 64, 128, 256 en 512 tokens, met padding tot die vaste lengte. Request 2 (612 tokens) zou dan naar de bucket van 1.024 tokens padden, niet naar een geheel nieuwe, unieke vorm. Daarmee ontstaan er nooit meer dan een handvol gecompileerde grafieken in plaats van één per binnenkomend bericht, en blijft de latency voorspelbaar. Dit is geen geheime truc, het is de standaardoplossing voor TPU-inferentie met wisselende tekstlengte, maar een team dat voor het eerst migreert, ontdekt het meestal pas na de eerste trage testronde, niet ervoor.
Google TPU of GPU: de beslisregel
| Als dit voor jou geldt | Dan kies je dit | Waarom |
|---|---|---|
| Je traint een groot model (100 miljard+ parameters) in JAX, langdurig, al op Google Cloud | TPU (v6e of Ironwood) | De economie werkt alleen met de commitmentkorting en JAX is de taal waar de chip zelf voor ontworpen is |
| Je draait PyTorch-modellen met eigen CUDA-kernels (vLLM, TensorRT-LLM, FlashAttention) | GPU | Het CUDA-ecosysteem is 15 jaar volwassener; eigen kernels porten niet automatisch naar XLA |
| Je serveert inferentie met wisselende invoerlengte, zoals een chatbot of klantmails | GPU | Een TPU eist vaste invoervormen; elke nieuwe lengte betekent een nieuwe, trage compilatie, zie het voorbeeld hierboven |
| Je wilt multi-cloud of on-premise kunnen blijven draaien | GPU | TPU's bestaan alleen op Google Cloud; JAX/XLA-code porteert niet naar een andere cloud of eigen datacenter |
| Je hebt nu een GPU-wachtlijst en overweegt TPU puur om capaciteit te vinden | Reken eerst de migratietijd uit tegen de wachttijd | Een migratie van 2 tot 4 engineer-kwartalen is vaak langer dan een GPU-wachtlijst van een paar maanden |
Wat een Google TPU niet oplost
Een TPU maakt je model niet vanzelf goedkoper. De chipprijs is lager per rekenkracht in specifieke scenario's, maar de totale kostprijs van een migratie, inclusief de tijd van je team, de herbouw van je monitoring en de deadtime tijdens de overstap, staat nergens op de prijspagina. Reken die apart mee voor je een beslissing neemt op basis van alleen chip-uurtarieven.
Een TPU maakt je ook niet automatisch AVG-proof. Dat er een regio in Nederland bestaat, zegt alleen dat je rekenwerk daar kan draaien, niet automatisch dat je data daar ook blijft en niet automatisch dat dit voldoet aan de eisen van jouw verwerkersovereenkomst. Check dat net zo zorgvuldig als bij elke andere clouddienst, in Googles eigen, actuele documentatie over regio's en databescherming, niet op basis van de regionaam alleen.
En een TPU lost de capaciteitsvraag niet op zonder tegenprestatie. Je ruilt een GPU-wachtlijst in voor een ander soort beperking: alleen op Google Cloud, alleen met het juiste framework, en met een commitmentstructuur die pas vanaf een bepaalde bezettingsgraad voordeel oplevert.
Wat het oplevert, en hoe je dat na zeven dagen meet
Een week testen geeft zekerheid over het eerste, grootste risico, niet over de hele business case. Na zeven dagen weet je of je model zonder grote aanpassing compileert, hoeveel van je invoerlengtes echt uniek zijn, en of bucketing dat oplost. Dat is het deel dat je zelf vaststelt, met één testworkload en zonder extra tooling.
Wat die week niet oplevert: een harde uitspraak over de totale migratietijd. De schatting van Cast.ai, 2 tot 4 engineer-kwartalen voor een middelgrote PyTorch-codebase, gaat over de volledige overstap: monitoring herbouwen, een terugvalpad inrichten en de edge cases testen die één week steekproef niet allemaal raakt. Een week bevestigt alleen of doorzetten de moeite waard lijkt, niet dat je klaar bent om te migreren.
Meet dat met drie dingen:
- Hoeveel regels code je echt moest aanpassen om de testworkload te draaien, los van wat je vooraf had geschat. Ligt dat ver boven je schatting, reken de Cast.ai-bandbreedte dan eerder in kwartalen dan in weken voor jouw situatie.
- Het aantal unieke compilaties tegenover het aantal verwerkte requests. Een ratio dicht bij 1 op 1 betekent dat bucketing nog niet werkt en dat de latency bij opschalen onvoorspelbaar blijft.
- Je eigen, gemeten bezettingsgraad over die week, tegenover de 45- en 70-procentdrempel uit de prijstabel hierboven. Ligt die ver onder de drempel, dan is een commitment duurder dan on demand betalen, ook als de lijstprijs lager lijkt.
Doe dit deze week
Check welk framework je model al gebruikt
Draait je model op JAX, dan is een TPU-proef de moeite waard. Draait het op PyTorch met eigen CUDA-kernels (veel fine-tuning- en inferentiesetups), schrijf dan eerst op welke kernels dat zijn: dat bepaalt de migratie-inschatting uit de KeyTakeaways hierboven.
Draai één workload met je eigen, natuurlijke lengteverdeling
Test niet met tien keer dezelfde voorbeeldzin. Gebruik een steekproef van je echte, wisselend lange invoer en kijk in de logs hoeveel unieke compilaties er ontstaan. Dat getal voorspelt of je bucketing nodig hebt voordat je in productie gaat.
Reken de commitmentdrempel na met je eigen cijfers
Vul je geschatte bezettingsgraad in tegen de 45 procent (3 jaar) en 70 procent (1 jaar) uit dit artikel. Lager dan die drempel: blijf on demand betalen, ook als de commitmentprijs lager lijkt.
Het recept dat vandaag werkt, is geen migratiescript maar een testprompt om zelf te checken of je model kans maakt:
Ik overweeg om [modelnaam/taak, bijvoorbeeld: een samenvattingsmodel voor
klantenservice] te verplaatsen van GPU naar een Google TPU. Mijn model
gebruikt: [JAX / PyTorch zonder custom kernels / PyTorch met custom CUDA-
kernels, schrap wat niet van toepassing is], en verwerkt invoer die in
lengte varieert van [kortste] tot [langste eenheid, bijvoorbeeld tokens
of rijen].
Zoek in de PyTorch/XLA-documentatie en de TorchTPU-documentatie op welke
van mijn gebruikte bewerkingen niet of beperkt ondersteund worden op TPU,
en wat een realistische inschatting is van het aantal compilaties dat
mijn lengtevariatie zou veroorzaken zonder bucketing.
Wil je dit met je team structureel uitzoeken, inclusief de keuze tussen cloudplatforms en de governance die daarbij hoort? Dat behandelen we in AI werksessies en in de bredere trainingen. Overweeg je juist de route via een andere leverancier, zoals Amazons eigen AI-platform of een kant-en-klare GPU-container, kijk dan ook naar AWS Bedrock en NVIDIA NIM, en naar hoe Google zelf externe modellen als Claude aanbiedt via Model Garden.
AI-training
Wil je AI leren inzetten?
In onze praktische trainingen leer je hoe je ChatGPT, Claude en andere AI-tools effectief inzet voor jouw werk.
Bronnen
- Google Cloud, Tensor Processing Units (TPU's). Zelf geopend op 8 november 2026. Generaties (Ironwood, Trillium, TPU 8t, TPU 8i), specificaties, en de ondersteunde softwarestack (JAX, PyTorch via TorchTPU, OpenXLA, vLLM, SGLang).
- Google Cloud, Cloud TPU pricing. Zelf geopend op 8 november 2026. Alle chip-uurprijzen per generatie, regio en commitmentperiode in dit artikel, inclusief de Nederlandse en Belgische regio's.
- Cast.ai, TPUs vs GPUs: When to Choose What for AI/ML Workloads. Zelf geopend op 8 november 2026. Onafhankelijke technische analyse (Cast.ai verkoopt Kubernetes-kostenoptimalisatie, geen chips) van de architectuurverschillen, de migratietijdschatting van 2 tot 4 engineer-kwartalen, en de beperking van vaste invoervormen bij TPU-inferentie. Let op: het bedrijf verkoopt zelf tooling voor GPU-infrastructuur, dus de eindconclusie "voor de meeste teams is GPU de juiste keuze" heeft een eigen commercieel belang; de technische specificaties en tijdschattingen in dit artikel zijn daar los van te beoordelen en komen overeen met Googles eigen documentatie.
- Blocks and Files, AI processing speeds continue to improve in MLPerf Training. Zelf geopend op 8 november 2026. Onafhankelijke dataopslag- en infrastructuurjournalistiek, rapporterend over het MLPerf Training v4.1-rondje van MLCommons (een open, vendor-neutraal consortium) en de analyse van onafhankelijk chipanalist Karl Freund (Cambrian-AI Research): in die ronde, uit november 2024 en dus niet over de huidige Ironwood-generatie, haalde Nvidia's Blackwell B200 een trainingstaak op 64 chips in ruim 193 minuten tegenover Googles Trillium op 102 minuten met 512 chips, omgerekend per chip ruim 4 keer sneller voor Blackwell. Geen vergelijkbare, onafhankelijke benchmark voor de huidige Ironwood-generatie gevonden; behandel deze cijfers daarom als historische context, niet als actuele stand van zaken.
Veelgestelde vragen
TPU betekenis: wat staat de afkorting Tensor Processing Unit voor, en is dat hetzelfde als de Google Coral-chip?
TPU staat voor Tensor Processing Unit, Googles eigen AI-chip. "Google TPU" wordt in zoekresultaten vaak verward met Google Coral, een los verkrijgbaar hobby-chipje voor edge-apparaten zoals een Raspberry Pi. Dat is een andere, veel kleinere chip. De TPU in dit artikel is de datacenter-variant, die alleen als clouddienst op Google Cloud bestaat, niet als los te koop apparaat.
TPU vs GPU: wat is het verschil?
Een GPU is generiek: duizenden kernen die ook kunnen vertakken en onregelmatig geheugen benaderen, geschikt voor allerlei code. Een TPU is een systolische array die alleen matrixvermenigvuldigingen uitvoert, zonder geheugentoegang tijdens die berekening. Dat maakt een TPU sneller voor dat ene type rekenwerk, maar een TPU eist ook een vaste invoervorm per compilatie, iets waar een GPU geen probleem mee heeft.
Is een Google TPU goedkoper dan een GPU?
Dat hangt af van je workload, niet alleen van het chip-uurtarief. Een TPU v5e kost vanaf 1,20 dollar per chip-uur on demand, een Ironwood-chip tot 13,20 dollar in Londen. Daar komt de migratietijd bovenop: Cast.ai, dat zelf GPU-infrastructuurtools verkoopt, zet een middelgrote PyTorch-migratie op 2 tot 4 engineer-kwartalen; die tijdschatting komt overeen met Googles eigen migratiedocumentatie. Tel die tijd mee voor je de chipprijzen zelf vergelijkt.
Is de TPU de enige Google AI-chip?
Nee. Naast de datacenter-TPU uit dit artikel maakt Google ook de Coral-lijn: kleine, los verkrijgbare AI-chips voor edge-apparaten zoals een Raspberry Pi, met een paar watt stroomverbruik. Dat is een andere Google AI-chip voor een ander doel. Voor training en inferentie op schaal in een datacenter is de Cloud TPU de chip die telt.
Werkt een Google TPU met PyTorch?
Ja, via TorchTPU, Googles open-source PyTorch-backend voor TPU's, en via PyTorch/XLA. Dat werkt zonder de PyTorch-syntax te veranderen, maar niet elke custom CUDA-kernel porteert automatisch mee. JAX blijft de taal waar een TPU native het snelst voor is; PyTorch op TPU is mogelijk, maar met meer haken en ogen dan op een GPU.
Kan ik een Google TPU-chip in Nederland draaien?
Ja, Google Cloud heeft TPU-capaciteit in de regio europe-west4 (Eemshaven), die in de officiële prijslijst gewoon "Netherlands" heet. Let op: dezelfde TPU v5e-chip is in de Belgische regio europe-west1 ongeveer 15 procent goedkoper. Dat de regio bestaat, betekent ook niet automatisch dat dit aan jouw AVG-eisen voldoet; check dat apart in Googles eigen documentatie.




