Nel contesto delle aziende moderne, la raccolta e gestione di enormi volumi di dati sono fattori abilitanti per la business intelligence, l’analisi predittiva e la competitività. Tuttavia, a fronte di data lake sempre più vasti, spesso basati su storage cloud e tecnologie open, il recupero efficiente delle informazioni specifiche (“point queries”) diventa subito un collo di bottiglia.
Molte imprese, pertanto, si ritrovano con costi cloud sempre più alti, tempi di risposta troppo lunghi e una crescente difficoltà nell’offrire insight tempestivi alle funzioni operative o di business. In questo scenario, la capacità di ridurre la latenza delle query e di diminuire il rapporto “costo/dato consultato” diventa una sfida centrale per chiunque lavori con grandi dataset distribuiti, siano essi dati di utenti, transazionali, IoT o “semplici” log.
Contattaci subito e senza impegno per efficientare il recupero dei tuoi dati.
La soluzione di Spotify: architettura e tecnologie per risposte rapide ed economiche
Spotify, leader nel settore dello streaming musicale con petabyte di dati in movimento, ha reso pubblica la sua soluzione tecnica che gli ha permesso di migliorare esponenzialmente le performance delle point queries nei propri data lake.
Nel loro articolo tecnico, il team Spotify racconta come ha superato i pain point descritti nel precedente paragrafo, affrontando la sfida di migliorare le performance e di efficientare i costi grazie ad una soluzione architetturale. Spotify è riuscito a combinare tecnologie open-source avanzate, come Apache Iceberg, con strategie di indicizzazione personalizzata e caching distribuito riformulando come l’accesso ai dati viene effettivamente reso operativo. In poche parole, estremamente semplificate(ti invitiamo a leggere l’articolo tecnico per maggiori dettagli), Spotify ha realizzato un’architettura basata su:
- Apache Iceberg: uno storage format open source progettato per gestire tabelle di grandi dimensioni su data lake, pensato per snapshot, schema evolution e query efficienti. Consente di applicare indici e partitioning avanzati direttamente sulle tabelle dati, velocizzando drasticamente ricerche e modifiche.
- Indicizzazione custom & caching: Spotify ha realizzato un layer di indicizzazione intermedio esterno chiamato Random Access Parquet (RAP), basato su Parquet files, che crea viste ottimizzate per point queries, mantenendo i dati sincronizzati tra storage e indici. Parallelamente, un sistema di caching intelligente riduce numero e peso delle chiamate al data lake.
In poche parole, Spotify grazie all’introduzione di RAP è riuscito, inserendo un layer esterno, a superare i limiti di lentezza di alcuni servizi Cloud e nel contempo a contenere i costi di tali servizi cloud e le duplicazioni che si erano in precedenza rese necessarie riuscendo a raggiungere risposte quasi real-time( a livello di millisecondo).
Come le aziende posso trarre beneficio dalle tecnologie di indicizzazione
L’adozione di modelli di indicizzazione avanzati consente di rendere le applicazioni di analisi ed i relativi servizi digitali efficienti senza stravolgere lo stack esistente( per es. Spotify ha utilizzato gli stessi Parquest files ma in maniera completamente diversa) o dovendo migrare enormi quantità di dati su altre tecnologie. Grazie a questa indicizzazione puoi ottenere:
- tempi di risposta ridotti del 60-90% sulle query;
- riduzione delle spese cloud grazie a un accesso più mirato e meno dispersivo;
- maggiore affidabilità negli insight in tempo reale per funzioni critiche.
Contattaci subito e senza impegno per ottenere subito questi vantaggi.
Glue Labs e l’indicizzazione di enormi quantità di dati
Essendo nati nel Cloud, da più di 15 anni permettiamo ai nostri Clienti di migliorare le performance delle loro applicazioni avendo il controllo totale dei costi operativi. Inoltre grazie alle competenze specialistiche maturate in tantissimi settori con progetti data-intensive ed alla conoscenza approfondita di tecnologie come database time series, sistemi di monitoraggio e pipeline di elaborazione dati ti forniamo assistenza e supporto, consulenza di Solution Architect e realizziamo architetture che ti permettono di gestire enormi flussi di dati real-time con garanzia 12 mesi da qualsiasi bug.
Contattaci subito e senza impegno per maggiori informazioni.
