De adoptie van AI wordt momenteel belemmerd door hoge tokenkosten en het gebrek aan duidelijke voorafgaande prijsstelling voor AI-verzoeken, wat resulteert in ongecontroleerd token-overbesteding. Dit risico wordt drastisch versterkt door AI-agenten, die momenteel opereren zonder ingebouwde beperkingen voor tokentkosten en extreme kostenexplosies kunnen veroorzaken.
Dit artikel legt uit wat AI-tokens zijn, hoe tokentkosten werken en welke actiegerichte strategieën er zijn om catastrofale tokentuitgaven te voorkomen. Een goed gedocumenteerd zakelijk geval toonde aan dat een organisatie een factuur van $ 500.000.000 opliep op het Claude-platform van Anthropic, simpelweg door ontbrekende limieten voor het gebruik door werknemers. Afzonderlijk heeft het engineeringteam van Uber naar verluidt zijn volledige AI-budget voor 2026 voortijdig uitgeput. Tokens zijn de fundamentele eenheden die grote taalmodellen (LLM's) en chatbots gebruiken om menselijke taalprompts te ontleden en coherente AI-uitvoer te genereren.
Bijvoorbeeld, de invoerprompt “Vertel me over sedimentatie” wordt opgesplitst in afzonderlijke tokencomponenten:
-Vertel
-me
-over
-sediment
-atie
Deze vijf-token-indeling voor het enkele woord “sedimentatie” helpt LLM's de woordstructuur en betekenis nauwkeurig te interpreteren. Het splitsen van de stam “sediment” en het achtervoegsel “atie” stelt het model in staat om het consistente gebruik van het achtervoegsel in tal van zelfstandige naamwoorden te herkennen, waaronder kapitalisatie, computerisering en belastingheffing. Deze aanpak vernauwt het zoekbereik van het model in zijn database, waardoor de verwerkingstijd wordt verkort in plaats van elk woord met een achtervoegsel afzonderlijk te scannen.
Als kerngegevenseenheden worden tokens geconverteerd naar vector-embeddings — wiskundige numerieke reeksen die semantische betekenis coderen en worden opgeslagen in modelindexen. Neem het woord “kat” als voorbeeld: het model genereert meerdere vectoren om de multidimensionale attributen ervan weer te geven, zoals levend organisme, huisdier, katachtige eigenschappen, fysieke grootte en meer. Deze unieke vector-sets onderscheiden “kat” van levenloze objecten, andere diersoorten zoals honden en tijgers, en synthetische kattenspeeltjes.
Een hypothetische vijfdimensionale vector-embedding voor de term “kat” kan worden uitgedrukt als [1,5, -0,4, 7,2, 19,6, 20,2].
Alle vectordata bevinden zich in een uniforme vectorruimte, waardoor modellen semantisch vergelijkbare inhoud kunnen identificeren door de ruimtelijke nabijheid tussen vectoren te meten.
Eenmaal geconverteerd naar vectoren, worden tokens verwerkt op dure GPU-servers uitgerust met high-bandwidth geheugen. Een NVIDIA DGX SuperPOD met 32 nodes en 256 GPU's kost tussen de $ 12 miljoen en $ 20 miljoen. Een geavanceerdere referentiearchitectuur met 140 DGX H100 nodes, Quantum-2 InfiniBand-netwerken, volledige opslag- en netwerkinfrastructuur en ondersteunende systemen kan meer dan $ 100 miljoen bedragen. Deze aanzienlijke infrastructuurkosten worden direct weerspiegeld in de tokentkosten van reguliere basismodellen.
Toonaangevende LLM- en chatbotproviders, waaronder OpenAI en Anthropic, hanteren op tokens gebaseerde factureringsmodellen, met voorspelbare conversieregels voor tekstinhoud. Ruwweg komt één Engels token overeen met ongeveer vier tekens of 0,75 woorden, wat betekent dat 750 woorden overeenkomen met ongeveer 1.000 tokens. Merk op dat zowel invoerprompts als gegenereerde uitvoerreacties tokens verbruiken. Een invoerprompt van 750 woorden in combinatie met een AI-uitvoer van 2.000 woorden verbruikt bijvoorbeeld in totaal ongeveer 3.667 tokens.
Hoger tokenverbruik verlengt direct de latentie van AI-reacties. Alle tokens van een enkele prompt-reactiesessie bevinden zich binnen een contextvenster met beperkte capaciteit. Volgens Decagon-gegevens kan een contextvenster van 100.000 tokens ongeveer 75.000 Engelse woorden bevatten, wat overeenkomt met een boek van 300 pagina's.
Onvoldoende contextvenstercapaciteit zorgt ervoor dat LLM's contextuele informatie verliezen, wat leidt tot onvolledige of onjuiste AI-uitvoer. Naarmate basismodellen evolueren, blijven de groottes van contextvensters toenemen: GPT-4o ondersteunt tot 128.000 tokens, Claude 3.5 Sonnet bereikt 200.000 tokens en geselecteerde Gemini 1.5 Pro enterprise-gebruikers hebben toegang tot een contextvenster van 2 miljoen tokens.
Tokentkosten variëren per modelleverancier. De prijsopbouw van ChatGPT van Intuition Labs verduidelijkt het factureringsmechanisme in de branche:
Volgens Intuition Labs werkt de ChatGPT API van OpenAI op een puur op tokens gebaseerde factureringsstructuur. Elk model stelt afzonderlijk vaste eenheidsprijzen vast voor invoertokens en uitvoertokens, waarbij uitvoertokens doorgaans meer kosten. De prijzen fluctueren ook op basis van de status van de gecachte reactie. Elke API-aanroep brengt twee afzonderlijke kosten met zich mee: één voor prompt-invoertokens en één voor door AI gegenereerde uitvoertokens. Als praktisch voorbeeld, het gebruik van een model geprijsd op $ 10 per miljoen uitvoertokens voor 100 invoertokens en 400 uitvoertokens resulteert in invoerkosten van $ 10 × (100/1.000.000) en uitvoerkosten van $ 10 × (400/1.000.000), met totale uitgaven gelijk aan de som van de twee cijfers.
Ondernemingen kunnen gerichte governancecontroles implementeren om tokentuitgaven te beperken, waaronder quota per gebruiker of per zitplaats, op gebruik gebaseerde verkeersbeperking, bestedingslimieten per project en beperkingen op modelniveaus. Dit governanceveld evolueert snel, aangezien AI-leveranciers concurreren om de servicekwaliteit te optimaliseren, inkomstenstromen te balanceren en te concurreren met open-source AI-modellen.
AI-agenten introduceren een geheel nieuwe laag van tokentkostenrisico. Zonder strikte operationele richtlijnen kunnen autonome agenten leiden tot massaal, ongepland tokenverbruik. Branche-experts raden aan om AI-agenten te behandelen als digitale werknemers, waarbij FinOps-teams strenge, 24/7 uitgavenmonitoring implementeren om kostenrampen te voorkomen.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Zakelijke focus:
ICT Productdistributie/Systeemintegratie & Diensten/Infrastructuuroplossingen
Met meer dan 20 jaar ervaring in IT-distributie werken we samen met toonaangevende wereldwijde merken om betrouwbare producten en professionele diensten te leveren.
“Technologie gebruiken om een intelligente wereld te bouwen” Uw vertrouwde ICT-productenserviceprovider!
Uw bericht moet tussen de 20-3.000 tekens bevatten!
Dutch
