Tokenizzazione a parole
Verificato
Aggiornato il 10/09/2026
Significato di «Tokenizzazione a parole»
Approccio di segmentazione del testo che separa le parole intere usando spazi e punteggiatura come delimitatori. Semplice e interpretabile, produce però vocabolari molto grandi e non gestisce bene le parole fuori vocabolario; per questo nei modelli moderni è spesso sostituita da metodi subword come BPE, WordPiece o SentencePiece.
Fonti: Jurafsky & Martin, Speech and Language Processing; Hugging Face, Tokenizers documentation · Verificato il 2026-09-10
Domande frequenti su Tokenizzazione a parole
Cosa significa «Tokenizzazione a parole»?
Approccio di segmentazione del testo che separa le parole intere usando spazi e punteggiatura come delimitatori. Semplice e interpretabile, produce però vocabolari molto grandi e non gestisce bene le parole fuori vocabolario; per questo nei modelli moderni è spesso sostituita da metodi subword come BPE, WordPiece o SentencePiece.
A quale glossario appartiene «Tokenizzazione a parole»?
«Tokenizzazione a parole» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.