Sliding window attention
Verificato
Aggiornato il 10/09/2026
Significato di «Sliding window attention»
Meccanismo di attenzione sparsa in cui ogni token attende solo i token entro una finestra locale di dimensione fissa, anziché l'intera sequenza. Riduce il costo da quadratico a lineare rispetto alla lunghezza, abilitando contesti lunghi; usato in Longformer e Mistral, dove impilando più strati il campo recettivo effettivo cresce oltre la finestra.
Fonti: Beltagy et al., Longformer (2020); Jiang et al., Mistral 7B (2023) · Verificato il 2026-09-10
Domande frequenti su Sliding window attention
Cosa significa «Sliding window attention»?
Meccanismo di attenzione sparsa in cui ogni token attende solo i token entro una finestra locale di dimensione fissa, anziché l'intera sequenza. Riduce il costo da quadratico a lineare rispetto alla lunghezza, abilitando contesti lunghi; usato in Longformer e Mistral, dove impilando più strati il campo recettivo effettivo cresce oltre la finestra.
A quale glossario appartiene «Sliding window attention»?
«Sliding window attention» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.