SentencePiece
Verificato
Aggiornato il 10/09/2026
Significato di «SentencePiece»
Libreria di tokenizzazione di Kudo e Richardson (2018) che tratta il testo come flusso grezzo di caratteri Unicode, senza pre-segmentazione basata sugli spazi. Implementa gli algoritmi BPE e unigram, è indipendente dalla lingua e gestisce bene idiomi senza separatori di parola come cinese e giapponese.
Fonti: Kudo & Richardson, SentencePiece (EMNLP 2018); Google SentencePiece GitHub documentation · Verificato il 2026-09-10
Domande frequenti su SentencePiece
Cosa significa «SentencePiece»?
Libreria di tokenizzazione di Kudo e Richardson (2018) che tratta il testo come flusso grezzo di caratteri Unicode, senza pre-segmentazione basata sugli spazi. Implementa gli algoritmi BPE e unigram, è indipendente dalla lingua e gestisce bene idiomi senza separatori di parola come cinese e giapponese.
A quale glossario appartiene «SentencePiece»?
«SentencePiece» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.