Neural Scaling Laws

Relazioni empiriche che descrivono come la perdita di un modello diminuisca in modo prevedibile, spesso secondo leggi di potenza, al crescere di parametri, dati e calcolo. Guidano la pianificazione degli addestramenti indicando come allocare al meglio le risorse.