Context Caching

Ottimizzazione che memorizza gli stati interni calcolati per una porzione di prompt riutilizzata frequentemente, così da non ricomputarla a ogni richiesta. Riduce latenza e costo quando molte chiamate condividono un lungo prefisso comune, come istruzioni di sistema o documenti.