Tokenizzazione a caratteri
Verificato
Aggiornato il 10/09/2026
Significato di «Tokenizzazione a caratteri»
Strategia di tokenizzazione che segmenta il testo nei singoli caratteri anziché in parole o subword. Produce un vocabolario molto piccolo e gestisce senza problemi parole sconosciute e refusi, ma genera sequenze lunghe e sposta sul modello l'onere di ricostruire il significato delle unità maggiori.
Fonti: Hugging Face NLP Course (Tokenizers); Jurafsky & Martin Speech and Language Processing - verifica web 2026-09-10 · Verificato il 2026-09-10
Domande frequenti su Tokenizzazione a caratteri
Cosa significa «Tokenizzazione a caratteri»?
Strategia di tokenizzazione che segmenta il testo nei singoli caratteri anziché in parole o subword. Produce un vocabolario molto piccolo e gestisce senza problemi parole sconosciute e refusi, ma genera sequenze lunghe e sposta sul modello l'onere di ricostruire il significato delle unità maggiori.
A quale glossario appartiene «Tokenizzazione a caratteri»?
«Tokenizzazione a caratteri» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.