Flash Attention
Verificato
Aggiornato il 10/09/2026
Significato di «Flash Attention»
Attenzione efficiente in memoria. Implementazione esatta dell'attenzione proposta da Dao et al. (2022), consapevole degli accessi in memoria (IO-aware): con tiling e softmax online elabora i blocchi nella SRAM veloce senza materializzare l'intera matrice, riducendo gli accessi alla HBM e velocizzando il training.
Fonti: Dao et al., FlashAttention (NeurIPS 2022, arXiv:2205.14135); PyTorch docs, scaled_dot_product_attention · Verificato il 2026-09-10
Domande frequenti su Flash Attention
Cosa significa «Flash Attention»?
Attenzione efficiente in memoria. Implementazione esatta dell'attenzione proposta da Dao et al. (2022), consapevole degli accessi in memoria (IO-aware): con tiling e softmax online elabora i blocchi nella SRAM veloce senza materializzare l'intera matrice, riducendo gli accessi alla HBM e velocizzando il training.
A quale glossario appartiene «Flash Attention»?
«Flash Attention» fa parte del glossario Deep Learning, nella categoria Intelligenza Artificiale di Glossario Italiano.