Se hai letto qualcosa sull'intelligenza artificiale negli ultimi due anni, ti sarà capitato di incrociare la parola token. Compare nei termini di servizio di ChatGPT, nei prezzi delle API, nei limiti d'uso, nelle discussioni tra addetti ai lavori. Suona tecnica, distante, da nerd. In realtà è una parola che vale la pena conoscere, perché spiega come funzionano gli assistenti AI sotto il cofano — e una volta capita, ti fa usare quegli strumenti meglio.
La definizione corta
Un token è l'unità minima di testo che un'AI riesce a "vedere" e processare. Non è una parola, non è una lettera, è qualcosa di intermedio. Più o meno: una parola corta in italiano = 1 token, una parola lunga = 2 o 3 token. Una virgola è 1 token. Uno spazio fa parte del token successivo.
Quando scrivi «come stai oggi?» all'AI, lei legge: «come» (1) + «stai» (1) + «oggi» (1) + «?» (1) = 4 token.
Perché esistono
Gli assistenti AI come ChatGPT non leggono lettera per lettera. È troppo lento e troppo costoso. E non leggono nemmeno parola per parola, perché molte parole sono troppo lunghe e poco usate (pensa a «precipitevolissimevolmente»). I token sono il compromesso: pezzi di parola abbastanza piccoli da essere maneggevoli, abbastanza grandi da significare qualcosa.
Perché ti riguarda
Tre motivi pratici, anche per chi usa l'AI in modo casuale:
1) Le AI hanno limiti di token
Ogni AI ha un limite massimo di token che riesce a "ricordare" in una conversazione. Si chiama contesto. Claude 4 ha 200.000 token di contesto (corrispondono a circa 150.000 parole, cioè un romanzo intero). ChatGPT free ne ha molti meno (sui 30.000). Quando superi quel limite, l'AI inizia a dimenticare le cose dette all'inizio della conversazione. Se stai facendo un lavoro lungo (es. scrivere un libro, analizzare un contratto enorme), questo limite conta.
2) Le AI a pagamento si pagano a token
Quando un'azienda paga OpenAI o Anthropic per usare le loro AI, paga a token: tot dollari per ogni milione di token in input, tot per ogni milione in output. Per un utente normale che usa la versione web gratuita non importa, ma se mai vorrai integrare un assistente AI in un tuo progetto, ti accorgerai che la prima domanda è sempre: «quanti token ti serviranno?».
3) Risposte più corte = più conversazioni
Se chiedi sempre risposte chilometriche, esauriamo prima il limite. Imparare a chiedere risposte concise («rispondi in 100 parole massimo») ti permette di avere molte più conversazioni utili prima di sbattere contro il limite giornaliero del piano gratuito.
Un trucco mentale
Per stimare rapidamente: 100 parole italiane = circa 150 token. Una pagina A4 di testo standard = circa 500 token. Un libro di 300 pagine = circa 150.000 token. Con questo metro puoi capire al volo se quello che vuoi far fare all'AI rientra nei suoi limiti.
