Vocabolario di token
Verificato
Aggiornato il 10/09/2026
Significato di «Vocabolario di token»
Insieme finito e predefinito delle unità testuali (token) che un modello linguistico e in grado di riconoscere in input e produrre in output. Ogni token ha un identificatore numerico; la sua dimensione, spesso decine di migliaia di elementi, e fissata dal tokenizer, ad esempio tramite Byte Pair Encoding.
Fonti: Sennrich et al. 2016 (BPE); Hugging Face NLP Course (Tokenizers) - verifica web 2026-09-10 · Verificato il 2026-09-10
Domande frequenti su Vocabolario di token
Cosa significa «Vocabolario di token»?
Insieme finito e predefinito delle unità testuali (token) che un modello linguistico e in grado di riconoscere in input e produrre in output. Ogni token ha un identificatore numerico; la sua dimensione, spesso decine di migliaia di elementi, e fissata dal tokenizer, ad esempio tramite Byte Pair Encoding.
A quale glossario appartiene «Vocabolario di token»?
«Vocabolario di token» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.