Knowledge Distillation Loss
Verificato
Aggiornato il 10/09/2026
Significato di «Knowledge Distillation Loss»
Termine di perdita, formalizzato da Hinton et al. nel 2015, che addestra un modello piccolo (studente) a imitare le uscite morbide di uno grande (insegnante). Si applica una temperatura alla softmax per ammorbidire le probabilità ed esporre le similarità tra classi, minimizzando la divergenza di Kullback-Leibler.
Fonti: Hinton, Vinyals, Dean, Distilling the Knowledge in a Neural Network, arXiv:1503.02531 (2015) · Verificato il 2026-09-10
Domande frequenti su Knowledge Distillation Loss
Cosa significa «Knowledge Distillation Loss»?
Termine di perdita, formalizzato da Hinton et al. nel 2015, che addestra un modello piccolo (studente) a imitare le uscite morbide di uno grande (insegnante). Si applica una temperatura alla softmax per ammorbidire le probabilità ed esporre le similarità tra classi, minimizzando la divergenza di Kullback-Leibler.
A quale glossario appartiene «Knowledge Distillation Loss»?
«Knowledge Distillation Loss» fa parte del glossario Deep Learning, nella categoria Intelligenza Artificiale di Glossario Italiano.