Token

Technische definitie

Tokens zijn de verwerkingseenheden van taalmodellen. AI leest geen woorden maar tokens, gesplitst via BPE (Byte Pair Encoding). Het woord "onverklaarbaar" wordt bijvoorbeeld ["on", "verk", "laar", "baar"]: 4 tokens. Zo kan AI ook woorden begrijpen die niet in de training zaten. Elke token krijgt een numerieke ID die het model verwerkt. Context windows worden uitgedrukt in tokens, en die zijn de laatste tijd flink gegroeid: Claude Sonnet 5 en Opus 5 verwerken tot 1 miljoen tokens, GPT-5.6 van OpenAI tot 1,05 miljoen (stand augustus 2026).

Hoe het werkt

Use cases

• Budget beheren voor AI-chatbots

  Een e-commerce site bouwt een support-chatbot. Zonder tokenlimieten plakken gebruikers hun hele ordergeschiedenis in elke vraag. Kosten: €500 per maand. Met een limiet op input en relevante info ophalen via een database: €50 per maand. Tien keer goedkoper door tokenbewustzijn.

• Documenten verwerken op schaal

  Een juridisch kantoor wil 1.000 contracten analyseren. Elk contract is 20.000 tokens. Oplossing: splits elk contract in chunks, analyseer per chunk, combineer de resultaten. Zonder tokenplanning loop je halverwege vast op het context window.

• Kosten monitoren per feature

  Een development team bouwt een dashboard dat tokengebruik per feature trackt. Ontdekking: één feature verbruikt 60% van alle tokens door ongeoptimaliseerde prompts. Na een fix: €400 per maand bespaard. Wie met Claude Code werkt, ziet het tokenverbruik live tijdens een sessie, handig om kostbare prompts vroeg te herkennen.

• Team-breed tokenbudget instellen

  Als iedereen individueel AI gebruikt, explodeert het tokenbudget. In AI als Teamsport leer je hoe je als organisatie afspraken maakt over tokengebruik, limieten instelt en kosten monitort.

Voorbeelden

• Nederlands vs. Engels: tokenverschil

  "De implementatie van kunstmatige intelligentie" kost 11 tokens.
  "The implementation of artificial intelligence" kost 8 tokens.
  
  Nederlands gebruikt ~25% meer tokens. Bij 1.000 API-calls per dag tikt dat aan. Tip: gebruik de OpenAI Tokenizer om te testen hoeveel tokens je teksten kosten.

• Kostenexplosie door slechte prompts

  Een bedrijf bouwt een "AI e-mail writer." Ze verwachtten €10 per maand, maar gebruikers plakten hele e-mailthreads als context (2.000 tokens per keer). Plus een systeemprompt van 500 tokens. Totaal: €150 per maand, 15x duurder dan verwacht.
  
  De fix: limiet op input (200 tokens), geoptimaliseerde prompt (50 tokens), en een instructie voor korte output. Kosten daarna: €12 per maand.

• [Embeddings](/woordenboek/embeddings) en tokens

  Bij RAG worden documenten omgezet naar embeddings, en ook dat kost tokens. Maar embedding-tokens zijn veel goedkoper: €0,10 per miljoen woorden. Het dure deel is het LLM-antwoord genereren, niet het embedden. Optimaliseer daar je budget.

Veelgemaakte fouten

• "1 token is 1 woord"

  Gemiddeld is 1 woord 1,3 tokens. "Internationale" is 3-4 tokens. Spaties, leestekens en emoji's tellen ook mee. Test altijd met een tokenizer tool als kosten belangrijk zijn.

• "Ik stel geen limieten in op gebruikersinput"

  Gebruikers plakken hele documenten in je chatbot. Eén boek = 100K tokens = €6 per vraag. Stel altijd een limiet in: maximaal 2.000 tokens input, met een waarschuwing als de input te lang is.

• "Mijn systeemprompt is maar één keer"

  Systeemprompts worden bij elke API-call herhaald. Een prompt van 1.000 tokens × 10.000 calls = 10 miljoen tokens = €300 per maand. Gebruik prompt caching of optimaliseer je prompt.

Veelgestelde vragen

• Hoe tel ik hoeveel tokens mijn tekst bevat?

  Gebruik de OpenAI Tokenizer (gratis, in de browser): platform.openai.com/tokenizer. Vuistregel: 100 woorden is ongeveer 130 tokens, en één A4-pagina is circa 350 tokens. Voor developers: integreer token-telling in je app vóórdat je een API-call doet.
• Waarom splitst AI tekst in tokens in plaats van woorden?

  Twee redenen. Efficiëntie: een woordenboek van alle mogelijke woorden zou miljoenen entries bevatten. Met subwoord-tokens heb je 50K-100K entries, veel kleiner. Flexibiliteit: als AI het woord "unfriend" niet kent maar wel "un" en "friend", begrijpt het de betekenis alsnog.
• Hoe duur is tokengebruik voor een bedrijf?

  Voorbeelden: een chatbot met 1.000 gebruikers en 20 berichten per maand kost €7-200 per maand (afhankelijk van het model). Een e-mailwriter voor 500 e-mails per maand kost ~€6. Voor de meeste bedrijven: €10-500 per maand, afhankelijk van volume en modelkeuze.
• Wat gebeurt er als ik over de tokenlimiet ga?

  Bij de context window-limiet: de API geeft een foutmelding en je moet de input inkorten. Bij rate limits: de API weigert tijdelijk verzoeken. Wacht even en probeer opnieuw. Stel altijd budgetlimieten in via het API-dashboard met waarschuwingen voordat het maximum bereikt is.
• Wat zijn tokens bij AI?

  Tokens zijn de kleine tekstbrokjes waarin een AI-model taal verwerkt, ongeveer 0,75 woord per token in het Engels en door de langere Nederlandse woorden gemiddeld iets meer per woord in het Nederlands. Het model leest je hele bericht in tokens, verwerkt het in tokens en schrijft het antwoord ook token voor token. Hoeveel tokens er tegelijk passen, bepaalt het context window. Hoeveel tokens je verbruikt, bepaalt de rekening.
• Wat kost een AI-token?

  Dat verschilt per model. Bij de Claude API kost Claude Sonnet 5 $2 per miljoen inputtokens en $10 per miljoen outputtokens, Claude Haiku 4.5 $1 en $5, en Claude Opus 5 $5 en $25 (bron: platform.claude.com/docs/en/about-claude/pricing, geraadpleegd 24 augustus 2026). Een gemiddelde e-mail van 200 tokens kost bij Sonnet 5 dus minder dan een tiende cent aan input. De rekening loopt pas op bij grote documenten, lange gesprekken of hoge volumes.

Gerelateerde termen

• LLM
• Context Window
• Embeddings
• API
• Prompt Engineering
• ChatGPT
• Claude
• Prompt caching
• Rate limits