Questo documento fornisce dettagli sulle opzioni di memorizzazione nella cache disponibili per Cloud Storage FUSE e su come configurare ogni tipo di cache.
Per contribuire ad aumentare le prestazioni del recupero dei dati, Cloud Storage FUSE offre quattro tipi di memorizzazione nella cache facoltativa. Utilizza la seguente tabella per scoprire di più su ciascun tipo di memorizzazione nella cache:
| Tipo di memorizzazione nella cache | Descrizione |
|---|---|
| Memorizzazione nella cache dei file | Accelera le letture dei dati dei file per i carichi di lavoro con molte letture che accedono ripetutamente ai dati, in particolare l'addestramento di intelligenza artificiale e machine learning in cui gli stessi file di grandi dimensioni vengono letti più volte, riducendo significativamente la latenza. |
| Memorizzazione nella cache degli elenchi | Accelera le operazioni di elenco delle directory per i carichi di lavoro che elencano spesso l'intero contenuto di una directory, ad esempio l'iterazione su un ampio insieme di file all'inizio di un job di elaborazione, migliorando la velocità di attraversamento delle directory. |
| Memorizzazione nella cache delle statistiche | Accelera le operazioni sui metadati dei file per le applicazioni che controllano spesso gli attributi dei file, il che è comune per molte applicazioni che controllano ripetutamente se un file è stato modificato, riducendo il numero di chiamate `GetMetadata` per Cloud Storage. |
| Memorizzazione nella cache dei tipi | Accelera i controlli dell'esistenza di file o directory per i carichi di lavoro che eseguono molti controlli dell'esistenza o ricerche di percorsi, migliorando la latenza riducendo il numero di richieste effettuate a Cloud Storage per verificare se un percorso esiste. |
Considerazioni
L'attivazione della memorizzazione nella cache può aumentare le prestazioni, ma ridurre la coerenza, il che si verifica in genere quando accedi allo stesso bucket utilizzando più client con un tasso di modifica elevato. Per ridurre l'impatto sulla coerenza, ti consigliamo di montare i bucket come di sola lettura. Per scoprire di più sul comportamento della memorizzazione nella cache, consulta la sezione Semantica di Cloud Storage FUSE nella documentazione di GitHub di Cloud Storage FUSE.
Per evitare il thrashing della cache, assicurati che l'intero set di dati rientri nella capacità della cache. Considera anche la capacità massima e le prestazioni che i tuoi media della cache possono fornire. Se raggiungi le prestazioni massime, il limite di capacità o entrambi della cache di cui è stato eseguito il provisioning, è utile leggere direttamente da Cloud Storage, che ha limiti molto più elevati rispetto a Cloud Storage FUSE.
Percorso di lettura per i dati memorizzati nella cache
La cache di Cloud Storage FUSE accelera le letture ripetute dopo che sono state importate nella cache. Sia le letture iniziali che gli errori della cache vanno direttamente a Cloud Storage e sono soggetti alle normali latenze di rete di Cloud Storage. Per migliorare le prestazioni della prima lettura, consulta Precompilare la cache dei metadati.
Passaggi successivi
Scopri di più su ogni tipo di memorizzazione nella cache: