Unigram Language Model
Verificato
Aggiornato il 10/09/2026
Significato di «Unigram Language Model»
Algoritmo di tokenizzazione a sottoparole proposto da Kudo nel 2018, usato in SentencePiece. Parte da un vocabolario ampio di candidati e ne rimuove iterativamente, tramite l'algoritmo EM, le unità meno utili alla verosimiglianza del corpus. A differenza di BPE modella più segmentazioni con probabilità.
Fonti: Taku Kudo (2018), Subword Regularization (arXiv:1804.10959); documentazione SentencePiece / Hugging Face Tokenizers · Verificato il 2026-09-10
Domande frequenti su Unigram Language Model
Cosa significa «Unigram Language Model»?
Algoritmo di tokenizzazione a sottoparole proposto da Kudo nel 2018, usato in SentencePiece. Parte da un vocabolario ampio di candidati e ne rimuove iterativamente, tramite l'algoritmo EM, le unità meno utili alla verosimiglianza del corpus. A differenza di BPE modella più segmentazioni con probabilità.
A quale glossario appartiene «Unigram Language Model»?
«Unigram Language Model» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.