Grokking

Fenomeno in cui una rete neurale, dopo aver a lungo memorizzato i dati di training con scarsa generalizzazione, compie improvvisamente una transizione verso una soluzione che generalizza bene molto oltre il punto di overfitting. Ha stimolato lo studio delle dinamiche di apprendimento e della regolarizzazione.