Speculative decoding
Verificato
Aggiornato il 10/09/2026
Significato di «Speculative decoding»
Tecnica di accelerazione dell'inferenza dei modelli linguistici, introdotta da Leviathan et al. (Google, 2023): un piccolo modello ausiliario propone più token, che il modello grande verifica in un solo passaggio parallelo, accettandoli o correggendoli. Accelera la generazione preservando la stessa distribuzione.
Fonti: Leviathan, Kalman, Matias 2023, Fast Inference from Transformers via Speculative Decoding (ICML); Chen et al. 2023, Accelerating LLM Decoding with Speculative Sampling · Verificato il 2026-09-10
Domande frequenti su Speculative decoding
Cosa significa «Speculative decoding»?
Tecnica di accelerazione dell'inferenza dei modelli linguistici, introdotta da Leviathan et al. (Google, 2023): un piccolo modello ausiliario propone più token, che il modello grande verifica in un solo passaggio parallelo, accettandoli o correggendoli. Accelera la generazione preservando la stessa distribuzione.
A quale glossario appartiene «Speculative decoding»?
«Speculative decoding» fa parte del glossario NLP e LLM, nella categoria Intelligenza Artificiale di Glossario Italiano.