NVIDIA NIM: wat het kost en waar de besparing misgaat

Je ziet NVIDIA NIM steeds vaker opduiken in architectuurplaten en leveranciersgesprekken. Meestal is het dan het antwoord op één vraag: hoe draai je een open AI-model zoals Llama zelf, zonder alles met de hand te bouwen? Dat klopt ook. Volgens NVIDIA zelf combineert NIM "de eenvoud en bedrijfsmatige flexibiliteit van een beheerde API met de flexibiliteit en beveiliging van het zelf hosten van modellen op je eigen infrastructuur". De vraag die voor een Nederlands bedrijf overblijft, is niet of NIM werkt. De vraag is wat het kost tegenover een kant-en-klare optie zoals de Claude- of OpenAI-API. Daar schuilt een valkuil die weinig leveranciers je vertellen.

Wat is NVIDIA NIM precies?

NIM staat voor NVIDIA Inference Microservices. Elke NIM is een eigen Docker-container. Daar zit één model in, zoals meta/llama-3.3-70b-instruct, plus de runtime om dat model op een NVIDIA-GPU te draaien. NVIDIA's eigen documentatie bevestigt dat met zoveel woorden: "Each NIM is its own Docker container with a model... and the runtime capable of running the model on any NVIDIA GPU" (bron). Je start een NIM met één commando: docker run nvcr.io/nim/publisher_name/model_name. De container kiest dan zelf de snelste manier om dat model op jouw GPU te draaien.

Dat laatste is het technische hart van NIM. Onder de motorkap draait elke container op een van drie bestaande, open-source inference-engines: TensorRT-LLM, vLLM of SGLang. NVIDIA bouwt die engines niet zelf vanaf nul. Het pakt ze in, stelt per model-GPU-combinatie de snelste variant in, en voegt een industriestandaard-API, versiebeheer en een supportcontract toe. Dat maakt de prijsvraag lastiger dan "wat kost de software". Je betaalt niet voor een nieuwe motor. Je betaalt voor wie die motor voor je afstelt en onderhoudt.

NIM draait op elke infrastructuur met een NVIDIA-GPU: een losse workstation, een eigen datacenter, of een cloudinstantie bij AWS, Azure, Google Cloud of Oracle. Wil je met support werken? Dan moet dat systeem op NVIDIA's lijst van gecertificeerde systemen staan. Zonder die certificering draait de container nog gewoon. Je supportcontract vervalt dan wel.

Voor wie is NVIDIA NIM relevant, en voor wie niet

NIM is geen vervanging voor een cloud-API als ChatGPT Business of de Claude-API. Het is relevant in drie situaties, en in geen van de drie omdat het per se goedkoper is.

Je moet zelf hosten, niet kiezen om te hosten. Verwerk je gezondheidsdata, financiële gegevens of iets anders waar een extern cloud-API-contract niet volstaat? En heb je al NVIDIA-GPU's, of kun je die inzetten? Dan is zelf hosten de enige optie. NIM bespaart je dan het zelf uitzoeken van de juiste inference-engine.

Je hebt wel GPU's, maar geen tijd om vLLM zelf te leren beheren. Een open LLM zoals Llama zelf draaien met kale vLLM werkt. Maar je bent dan zelf verantwoordelijk voor versiebeheer, voor CUDA-compatibiliteit, en voor de eerste keer dat de server om drie uur 's nachts vastloopt. NIM koopt daar een supportcontract bij.

Je wilt een vaste, voorspelbare rekening per GPU in plaats van per token. Bij een hoog, gelijkmatig volume is een vast bedrag per GPU per jaar makkelijker te budgetteren dan een rekening die meebeweegt met tokengebruik.

Heb je geen van de drie, en kun je met een gewone cloud-API uit de voeten? Dan is NIM voor jou geen besparing maar een extra laag.

Wat NVIDIA NIM kost: de licentie, niet de container

Die 4.500 dollar klinkt als een simpel bedrag. Maar de FAQ voegt er een nuance aan toe die veel teams missen: "Pricing is based on the number of GPUs, not the number of NIMs." Je betaalt per GPU waarop je iets uit NVIDIA AI Enterprise draait, niet per model. Draai je drie verschillende NIM's op dezelfde GPU? Dan betaal je nog steeds voor die ene GPU.

Dat uurtarief is geen papieren constructie. Op de AWS Marketplace-listing van NVIDIA AI Enterprise staat de metering letterlijk per GPU-instantie. De meeste standaardinstanties (g5.xlarge, g4dn.4xlarge, g6e.16xlarge) kosten 1 dollar per uur. De grootste trainingsinstanties lopen op tot 8 dollar per uur. Een IT-architect die het product zelf kocht, schreef in een onafhankelijke, door PeerSpot verzamelde review op diezelfde pagina ronduit wat zijn grootste zorg is: "The first area for improvement is licensing cost, as it has high licensing costs due to being a subscription-based software platform." Dat is geen marketingtekst. Dat is een klant die er al voor betaalt.

Een uitgewerkt voorbeeld: wat een scale-up dacht te besparen

Fictief, geconstrueerd voorbeeld. Een Nederlandse SaaS-scale-up, noem het Vendas B.V., wil klantenservice-samenvattingen niet langer naar de OpenAI-API sturen. Een enterprise-klant vraagt om dataresidentie bij de eigen leverancier. Het platformteam heeft al twee H100 GPU's in een eigen rack staan, voor een ander project. Ze testen NVIDIA NIM op build.nvidia.com, met het gratis ontwikkeltegoed. De demo werkt vlekkeloos, en snel genoeg. Het team besluit: "dit draaien we zelf, dat is sowieso goedkoper dan een externe API."

De typische fout: het team rekent de gratis testomgeving zomaar door naar productie. Ze nemen de licentieprijs niet mee. Ze gaan er ook van uit dat "NVIDIA's eigen, snellere motor" automatisch een lagere rekening per gesprek betekent. Beide aannames kloppen niet automatisch.

Een onafhankelijke rekensom van GPU-verhuurder Spheron laat zien waarom. Ze testten Llama 3.3 70B op FP8, op één H100 SXM5, met 50 gelijktijdige verzoeken. Kale vLLM, zonder licentie, haalde 1.850 tokens per seconde. Bij een GPU-uurtarief van 4,06 dollar (hun gemeten tarief op 11 augustus 2026) komt dat neer op ongeveer 0,61 dollar per miljoen tokens. Draait NIM op diezelfde vLLM-engine? Dan komt het geamortiseerde licentiebedrag erbij: 4.500 dollar per jaar gedeeld door 8.760 uur is ongeveer 0,51 dollar per uur. De prijs stijgt dan naar ongeveer 0,69 dollar per miljoen tokens. Dat is zo'n 13 procent meer, voor exact dezelfde snelheid (Spheron Network).

De verbetering zit in wat Vendas B.V. vóóraf had moeten checken: kiest NIM voor hún model-GPU-combinatie de snellere TensorRT-LLM-motor, in plaats van vLLM? In Spherons test haalde TensorRT-LLM op dezelfde hardware 2.100 tokens per seconde. Dat is 13 procent sneller dan vLLM. Reken die snelheid door, en de prijs zakt naar ongeveer 0,605 dollar per miljoen tokens. Dat is nagenoeg gelijk aan de kale, licentievrije vLLM-prijs. Het verschil tussen "13 procent duurder" en "nagenoeg gratis snelheidswinst" hangt dus niet af van wat je betaalt. Het hangt af van welke motor NVIDIA's software automatisch voor je kiest. Check dat vooraf in NVIDIA's support matrix voor je model en GPU, in plaats van het pas na de rekening te ontdekken.

Waar NVIDIA NIM misgaat: een supportcontract aanzien voor een snelheidswinst

Dit is de kern van de valkuil, los van de specifieke rekensom hierboven. NVIDIA's eigen marketing benadrukt snelheid en eenvoud: "deploy AI models in five minutes", optimale inference, betere TCO. Dat is allemaal waar, voor de container zelf. Het is niet automatisch waar voor de prijs per token, zodra de licentie erbij komt. NVIDIA's eigen FAQ zegt ook met zoveel woorden waar de licentie wél voor dient: support op "the optimized inference engine and runtime of the container. It does not support what is generated by the models or the models themselves." Je koopt dus geen garantie op een betere of goedkopere uitkomst. Je koopt een supportcontract op de verpakking.

De NVIDIA NIM API werkt niet met een OpenAI-sleutel

Een tweede, kleinere valkuil: NIM is niet volledig drop-in te vervangen voor een OpenAI-achtige opzet. Op de vraag "Does NIM support API_KEY authentication, like OpenAI?" antwoordt NVIDIA's eigen FAQ gewoon: "No." In plaats daarvan werkt de NVIDIA NIM API met een service mesh voor toegangsbeheer. Verwacht je je bestaande OpenAI-sleutel-logica één op één te kunnen overzetten? Daar loop je als eerste tegenaan.

Beslisregel: wanneer NVIDIA NIM wel, wanneer niet

Eén vooruitblik die veel teams missen: de rekensom hierboven geldt alleen voor de containerversie die je nu test. NVIDIA's eigen FAQ zegt dat een NIM-container en het bijbehorende model altijd dezelfde versiedatum moeten hebben, en dat er "no forward or backward compatibility" is tussen versies. Update je naar een nieuwere NIM-release, dan kan de automatische motorkeuze voor jouw model-GPU-combinatie opnieuw uitvallen. Herhaal de rekensom dus bij elke grote versie-upgrade, niet alleen bij de eerste deployment.

Wat je redelijkerwijs mag verwachten

Reken niet in procenten besparing. Reken in een vast bedrag, naast je eigen huidige kosten. Spheron's vuistregel: 4.500 dollar per GPU per jaar komt neer op 375 dollar per GPU per maand. Is je team nu al meer tijd kwijt aan versieconflicten, driver-updates en de eerste productie-incidenten dan dat bedrag? Dan is de licentie waarschijnlijk goedkoper dan wat je al doet. Kom je in aanmerking voor NVIDIA's Inception-programma (startups, onderzoeksinstellingen)? Dan geldt een korting van 75 procent op elke looptijd. Dat verschuift de rekensom aanzienlijk.

Uit onze trainingen zien we dit: een IT-team dat al vertrouwd is met Docker en Kubernetes, krijgt een eerste NIM-proof-of-concept op eigen, al-gecertificeerde hardware binnen een halve tot hele werkdag werkend. Staat die hardware niet op de gecertificeerde lijst? Reken dan een paar dagen extra. Niet om de container te laten draaien, maar om uit te zoeken welk onderdeel van je infrastructuur eerst vervangen of aangepast moet worden, voor je supportcontract geldig is.

Een meetmoment na een week

Meet dit zonder extra tooling, puur uit je eigen logs en rekening:

1. Je werkelijke prijs per miljoen tokens. Tel je geamortiseerde licentiekosten (of cloud-marktplaatstarief) op bij je kale GPU-uurkosten, en vergelijk dat met wat je nu betaalt bij een cloud-API voor hetzelfde volume.
2. Welke inference-engine je kreeg. Check in de opstartlogs van de container of NIM voor jouw model-GPU-combinatie TensorRT-LLM of vLLM koos. Landde je op vLLM zonder het snelheidsvoordeel, dan betaal je de volle meerprijs zonder compensatie.
3. Hoeveel supporttickets je zelf niet hoefde te openen. Tel in de eerste week hoeveel versie-, driver- of compatibiliteitsproblemen je team zelf had moeten uitzoeken zonder de licentie, tegenover wat NVIDIA's support oploste.

Doe dit deze week

1. Check je hardware tegen de gecertificeerde lijst

   Zoek je eigen GPU-model op in NVIDIA's lijst van gecertificeerde systemen voor je een licentie overweegt. Staat hij er niet op, dan draait NIM nog gewoon, maar zonder geldig supportcontract.

2. Reken de licentie om naar jouw volume

   Deel 4.500 dollar door 8.760 (uren per jaar) voor je uurtarief, en tel dat op bij je kale GPU-uurkosten. Vergelijk die som met wat je nu per miljoen tokens betaalt bij je huidige cloud-API, op jouw eigen volume, niet op een gemiddelde uit dit artikel.

3. Test eerst gratis, dan pas de licentie

   Draai een proof-of-concept via het gratis ontwikkeltegoed op build.nvidia.com of met het Developer Program op maximaal 16 GPU's, en check pas daarna of je model-GPU-combinatie de snellere TensorRT-LLM-motor krijgt voor je een productielicentie koopt.

Het agent-recept dat je hiervoor vandaag kunt gebruiken:

Ik overweeg [model, bijvoorbeeld Llama 3.3 70B] zelf te hosten met NVIDIA NIM op
[GPU-type, bijvoorbeeld 1x H100 SXM]. Mijn huidige alternatief is [cloud-API,
bijvoorbeeld de Claude- of OpenAI-API] tegen [prijs per miljoen tokens, zelf
opzoeken op de actuele pricingpagina].

Zoek op https://docs.nvidia.com/nim/large-language-models/latest/support-matrix.html
op welke inference-engine (TensorRT-LLM, vLLM of SGLang) NVIDIA voor deze
combinatie van model en GPU gebruikt, en wat dat betekent voor de doorvoersnelheid.
Geef aan of de licentieprijs van 4.500 dollar per GPU per jaar, omgerekend naar
ongeveer 0,51 dollar per uur, in mijn geval wordt gecompenseerd door een hogere
throughput, of dat ik de volle meerprijs betaal zonder compensatie.

Wil je dit soort infrastructuurkeuzes met je team structureel en goed onderbouwd maken, inclusief de afweging tussen zelf hosten en een beheerde API? Dat behandelen we in AI werksessies. Wil je eerst breder zien welk model (Llama, Mistral, Claude) voor welke taak past voor je over hosting beslist, begin dan bij de vergelijking van de beste LLM's van 2026.

Wat NVIDIA NIM niet oplost

NIM kiest het model niet voor je. Het controleert ook niet of de uitkomst van dat model klopt. NVIDIA zegt dat zelf met zoveel woorden in de eigen FAQ: de licentie dekt "the optimized inference engine and runtime of the container", niet wat het model teruggeeft. Fouten in de output blijven jouw verantwoordelijkheid, net als bij elk ander model.

NIM maakt GPU-capaciteit ook niet gratis. Je betaalt nog steeds voor de onderliggende hardware of cloudinstantie. De licentie komt daar los bovenop. En NIM vervangt geen eigen Kubernetes- of MLOps-kennis. Iemand moet de container nog steeds deployen, monitoren, en bij een storing ingrijpen, ook met een supportcontract erbij. De licentie verkort de responstijd van NVIDIA bij een probleem. Ze lost het probleem niet in jouw plaats op.

Bronnen

• NVIDIA, NIM Microservices productpagina. Beschrijving van NIM, de drie onderliggende inference-engines en de gratis ontwikkeloptie via het Developer Program.
• NVIDIA, NIM FAQ. Officiële prijs (4.500 dollar per GPU per jaar), de uitleg dat pricing per GPU en niet per NIM werkt, het antwoord op API-key-authenticatie, en de grens van wat NVIDIA AI Enterprise wel en niet ondersteunt.
• NVIDIA, AI Enterprise-licentiegids. Volledige prijsladder (1 tot 5 jaar, eeuwigdurende licentie), cloudmarktplaatstarief van 1 dollar per GPU per uur, en welke GPU's een gratis meerjarige licentie bevatten.
• NVIDIA, AI Enterprise productpagina. Supportniveaus en de claims over GPU-benutting en doorvoersnelheid.
• Spheron Network, NVIDIA NIM Pricing vs Self-Hosted vLLM: Worth It? (2026). Onafhankelijke rekensom met het Llama 3.3 70B-voorbeeld, het break-evenkader, en de SLA-reactietijden van Business Standard tegenover Business Critical.
• AWS Marketplace, NVIDIA AI Enterprise-listing. Uurtarieven per GPU-instantie en een onafhankelijke, door PeerSpot verzamelde klantreview over de licentiekosten.

Veelgestelde vragen

• Wat is NVIDIA NIM?

  NVIDIA NIM (NVIDIA Inference Microservices) is een verzameling Docker-containers waarmee je open AI-modellen, zoals Llama, met één commando zelf draait op een NVIDIA-GPU. Elke container pakt het model samen met een optimale inference-engine (TensorRT-LLM, vLLM of SGLang) en een industriestandaard-API, zodat je niet zelf hoeft uit te zoeken welke engine het snelst is voor jouw hardware.

• Is NVIDIA NIM gratis?

  De container zelf is gratis te downloaden en te gebruiken voor ontwikkel- en testwerk, tot 16 GPU's via het NVIDIA Developer Program. Zodra je in productie gaat, heb je een NVIDIA AI Enterprise-licentie nodig: 4.500 dollar per GPU per jaar bij een jaarabonnement, of 1 dollar per GPU per uur via een cloudmarktplaats.

• Is NVIDIA NIM goedkoper dan zelf vLLM draaien?

  Meestal niet. Een onafhankelijke rekensom van GPU-verhuurder Spheron laat zien dat NIM met een AI Enterprise-licentie op hetzelfde model en dezelfde GPU zo'n 13 procent meer kost per miljoen tokens dan kale, licentievrije vLLM, bij gelijke snelheid. Alleen als NIM voor jouw model-GPU-combinatie de snellere TensorRT-LLM-motor kiest in plaats van vLLM, verdwijnt dat prijsverschil doordat je meer tokens per uur verwerkt.

• Welke hardware heb ik nodig voor NVIDIA NIM?

  Je hebt een NVIDIA-GPU nodig, lokaal, in een eigen datacenter of in de cloud. Voor een geldig supportcontract moet die GPU op NVIDIA's lijst van gecertificeerde systemen staan; zonder die certificering draait NIM nog gewoon, maar vervalt het supportcontract dat je met de licentie koopt.

• Werkt NVIDIA NIM met dezelfde API-sleutel als OpenAI?

  Nee. NVIDIA's eigen documentatie zegt het expliciet: NIM ondersteunt geen API_KEY-authenticatie zoals OpenAI. In plaats daarvan werkt NIM via een service mesh voor toegangsbeheer, dat je er zelf bovenop zet. Een team dat verwacht zijn bestaande OpenAI-sleutellogica één op één te kunnen overzetten, moet die stap dus apart inrichten.