Byte Pair Encoding (BPE)
Verificato
Aggiornato il 10/09/2026
Significato di «Byte Pair Encoding (BPE)»
Algoritmo di tokenizzazione a subword nato come metodo di compressione (Gage, 1994) e applicato all'NLP da Sennrich et al. (2016). Parte dai singoli caratteri e fonde iterativamente la coppia di simboli più frequente, costruendo un vocabolario che rappresenta le parole rare o sconosciute scomponendole in unità note.
Fonti: Sennrich et al., Neural Machine Translation of Rare Words with Subword Units (2016); Hugging Face Tokenizers documentation · Verificato il 2026-09-10
Domande frequenti su Byte Pair Encoding (BPE)
Cosa significa «Byte Pair Encoding (BPE)»?
Algoritmo di tokenizzazione a subword nato come metodo di compressione (Gage, 1994) e applicato all'NLP da Sennrich et al. (2016). Parte dai singoli caratteri e fonde iterativamente la coppia di simboli più frequente, costruendo un vocabolario che rappresenta le parole rare o sconosciute scomponendole in unità note.
A quale glossario appartiene «Byte Pair Encoding (BPE)»?
«Byte Pair Encoding (BPE)» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.