ALiBi
Verificato
Aggiornato il 10/09/2026
Significato di «ALiBi»
Attention with Linear Biases, metodo di Press, Smith e Lewis (2021): invece di aggiungere embedding posizionali, aggiunge ai punteggi di attenzione query-key una penalità lineare crescente con la distanza tra i token. Consente ai Transformer di estrapolare a sequenze più lunghe di quelle viste in addestramento.
Fonti: Press, Smith, Lewis (2021), Train Short Test Long (arXiv:2108.12409); GitHub ofirpress/attention_with_linear_biases · Verificato il 2026-09-10
Domande frequenti su ALiBi
Cosa significa «ALiBi»?
Attention with Linear Biases, metodo di Press, Smith e Lewis (2021): invece di aggiungere embedding posizionali, aggiunge ai punteggi di attenzione query-key una penalità lineare crescente con la distanza tra i token. Consente ai Transformer di estrapolare a sequenze più lunghe di quelle viste in addestramento.
A quale glossario appartiene «ALiBi»?
«ALiBi» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.