Token
Simpele Uitleg
Een token is het kleinste stukje tekst dat AI begrijpt — denk aan woord-achtige brokjes. Eén woord is gemiddeld 1,3 tokens. Waarom dat belangrijk is? Tokens bepalen wat je betaalt én hoeveel tekst een AI-model kan verwerken. De API rekent per token: hoe meer je stuurt, hoe hoger de rekening. Tokens zijn letterlijk je AI-budget.
Technische Definitie
Tokens zijn de verwerkingseenheden van taalmodellen. AI leest geen woorden maar tokens, gesplitst via BPE (Byte Pair Encoding). Het woord "onverklaarbaar" wordt bijvoorbeeld ["on", "verk", "laar", "baar"] — 4 tokens. Zo kan AI ook woorden begrijpen die niet in de training zaten. Elke token krijgt een numerieke ID die het model verwerkt. Context windows worden uitgedrukt in tokens: ChatGPT verwerkt 128K tokens, Claude gaat tot 200K.
Waarom Dit Belangrijk Is
Tokens zijn de valuta van AI. Ten eerste: kosten. API-pricing werkt per token. Een chatbot die 10.000 chats per maand doet (200 tokens per chat) gebruikt 2 miljoen tokens. Zonder bewust tokengebruik exploderen de kosten — er zijn bedrijven die €3.000 factureerden in één maand omdat gebruikers hele documenten in de chatbot plakten.
Ten tweede: limieten. Het context window is beperkt. Past je document niet in de window? Dan moet je het opsplitsen of RAG gebruiken.
Voor teams die AI structureel inzetten is tokenbewustzijn essentieel. Het verschil tussen €50 en €500 per maand zit vaak in slimmere prompts en betere workflows.
Hoe Het Werkt
Stel je voor dat AI een boek leest, maar niet woord voor woord — het leest in "brokjes." Het woord "Internationale" wordt gesplitst in ["Inter", "nation", "ale"] — drie tokens. Korte woorden als "AI" zijn één token. Spaties en leestekens tellen ook mee.
Nederlands is minder efficiënt dan Engels: dezelfde zin kost in het Nederlands ~25% meer tokens vanwege langere woorden. Dat betekent hogere kosten als je via de API werkt.
Hoe optimaliseer je? Korte prompts in plaats van lange instructies. Een prompt van 50 tokens levert vaak hetzelfde resultaat als eentje van 300 — maar is 6x goedkoper. Claude biedt prompt caching: als je dezelfde systeemprompt herhaaldelijk gebruikt, betaal je maar één keer. In de ChatGPT, Claude & Gemini Masterclass leer je exact hoe je hiermee werkt.
Use Cases
Budget beheren voor AI-chatbots
Een e-commerce site bouwt een support-chatbot. Zonder tokenlimieten plakken gebruikers hun hele ordergeschiedenis in elke vraag — kosten: €500 per maand. Met een limiet op input en relevante info ophalen via een database: €50 per maand. Tien keer goedkoper door tokenbewustzijn.
Documenten verwerken op schaal
Een juridisch kantoor wil 1.000 contracten analyseren. Elk contract is 20.000 tokens. Oplossing: splits elk contract in chunks, analyseer per chunk, combineer de resultaten. Zonder tokenplanning loop je halverwege vast op het context window.
Kosten monitoren per feature
Een development team bouwt een dashboard dat tokengebruik per feature trackt. Ontdekking: één feature verbruikt 60% van alle tokens door ongeoptimaliseerde prompts. Na een fix: €400 per maand bespaard.
Team-breed tokenbudget instellen
Als iedereen individueel AI gebruikt, explodeert het tokenbudget. In AI als Teamsport leer je hoe je als organisatie afspraken maakt over tokengebruik, limieten instelt en kosten monitort.
Voorbeelden
Nederlands vs. Engels: tokenverschil
"The implementation of artificial intelligence" kost 8 tokens.
Nederlands gebruikt ~25% meer tokens. Bij 1.000 API-calls per dag tikt dat aan. Tip: gebruik de OpenAI Tokenizer om te testen hoeveel tokens je teksten kosten.
Kostenexplosie door slechte prompts
De fix: limiet op input (200 tokens), geoptimaliseerde prompt (50 tokens), en een instructie voor korte output. Kosten daarna: €12 per maand.
[Embeddings](/woordenboek/embeddings) en tokens
Veelgemaakte Fouten
"1 token is 1 woord"
Gemiddeld is 1 woord 1,3 tokens. "Internationale" is 3-4 tokens. Spaties, leestekens en emoji's tellen ook mee. Test altijd met een tokenizer tool als kosten belangrijk zijn.
"Ik stel geen limieten in op gebruikersinput"
Gebruikers plakken hele documenten in je chatbot. Eén boek = 100K tokens = €6 per vraag. Stel altijd een limiet in: maximaal 2.000 tokens input, met een waarschuwing als de input te lang is.
"Mijn systeemprompt is maar één keer"
Systeemprompts worden bij elke API-call herhaald. Een prompt van 1.000 tokens × 10.000 calls = 10 miljoen tokens = €300 per maand. Gebruik prompt caching of optimaliseer je prompt.
Tools Die Dit Gebruiken
Veelgestelde Vragen
Hoe tel ik hoeveel tokens mijn tekst bevat?
Waarom splitst AI tekst in tokens in plaats van woorden?
Hoe duur is tokengebruik voor een bedrijf?
Wat gebeurt er als ik over de tokenlimiet ga?
Gerelateerde Termen
Wil je deze term in de praktijk leren toepassen?