Byte Pair Encoding (BPE): cosa significa e come si usa

NLP e LLM

Byte Pair Encoding (BPE)

Algoritmo di tokenizzazione. Tecnica che fonde iterativamente le coppie di simboli più frequenti per costruire un vocabolario di subword.
1.500
Termini pubblicati
10
Glossari verticali
5
Aree tematiche
69
Tag tematici

Preferenze cookie

Gestisci i cookie usati su Glossario Italiano. Puoi modificare le preferenze in qualsiasi momento dal link "Gestisci preferenze" in fondo a ogni pagina.

  • Necessari
    Login, sicurezza (CSRF), preferenze cookie. Sempre attivi.
    Sempre on
  • Statistici
    Misurano in forma aggregata come viene usato il sito. Nessun profilo personale.
  • Marketing
    Cookie di reti pubblicitarie esterne, se attivati in futuro. Oggi GLS non usa script di terze parti e i nostri sponsor sono editoriali, non profilano.