Le architetture Cloud e le tecnologie ad esse abbinate si evolvono continuamente, nello stesso tempo anche le esigenze di business e di mercato cambiano. In questo scenario completamente dinamico riuscire a cogliere opportunità di miglioramento si può tradurre, come nel caso che vi stiamo per raccontare, in un risparmio a sei zeri nei costi di gestione.
“Semplicemente” spostando le attività di compattazione ed ottimizzazione delle tabelle da Apache Spark ad Apache Ray, Amazon è riuscita ad eseguire le medesime operazioni con un efficientemento dell’82% che, nel caso di Amazon, è voluto dire risparmiare annualmente 100 milioni di dollari in servizi computazionali.
Chiaramente più la nostra azienda è coinvolta e spende in servizi Cloud based più qualsiasi miglioramento, anche il più piccolo o quello che riguarda solo una componente di un’architettura complessa, è significativo e può avere un impatto rilevante sui costi operativi OPEX.
Contattaci subito e senza impegno per rendere più efficiente la tua architettura IT.
Ray è un framework di computazione di tipo general-purpose scritto in Python(il codice sorgente è disponibile al seguente link) che si adatta perfettamente a sistemi distribuiti e ad architetture complesse.
Il viaggio di Amazon verso Ray è partito nel 2016, quando da una Data Warehouse interamente Oracle based è passata ad una Data Lakehouse proprietaria che gli ha permesso di ridurre lo storage da processare e di archiviare le tabelle dei database in bucket S3. In questa maniera Amazon ha ottenuto flessibilità nell’architettura, flessibilità che gli ha garantito vendite continue del servizio.
Spark in questo primo scenario aiutava a trovare duplicazioni e ad ottimizzare i dati. Tutto funzionava correttamente ma quanto si devono processare petabyte di dati occorre anche pensare a parallelizzare tale computazione.
E’ proprio questa capacità di parallelizzare e soprattutto di distribuire operazioni su larghissima scala che ha portato all’adozione di Apache Ray. I risultati sono stati impressionanti: laddove prima si riusciva a compattare un GB di dati in circa 30 secondi, con Ray, la stessa quantità di dati viene compattata in un decimo di secondo!
Attraverso opportune configurazioni ed adattamenti di Apache Ray, Amazon è stata, inoltre, in grado di raggiungere livelli di reliability molto vicini(99,15%) a quelli di Apache Spark(99,95%) e di sostituire gli elementi essenziali per raggiungere un risparmio di circa 100 milioni di dollari per anno.
Contattaci subito e senza impegno per rendere più efficiente la tua architettura IT.
La risposta al titolo è sicuramente No perchè Apache Spark come altre tecnologie similari hanno ancora vantaggi e rappresentano una scelta corretta in tantissimi casi, per es. quando si ha bisogno di interfacce standard per SQL. Inoltre Apache Ray non è di semplice utilizzo, il fatto che sia general-purpose vuol dire sia che è un framework pronto a tutto sia che vada configurato ed adattato opportunamente.
Se spendete in architetture IT, sia Cloud based sia on-premise, cifre considerevoli può valere sempre la pena fare un revisione architetturale una volta all’anno per verificare che l’architettura sia ancora la migliore disponibile e rappresenti la soluzione ideale alle aggiornate esigenze di business.
I margini di miglioramento esistono sempre perchè ogni tecnologia coinvolta evolve nel tempo. Inoltre nascono continuamente nuove tecnologie che risolvono vecchi problemi e che apportano nuove funzionalità e spesso migliori performance che possono anche tradursi in opportunità di un importante risparmio economico, come nel caso citato di Amazon, oppure in nuove capacità da inserire nel mercato di riferimento.
Contattaci subito e senza impegno per una revisione della tua architettura IT.
Abbiamo progettato ed implementato architetture Cloud altamente performanti ed affidabili in ambienti sensibili e critici che utilizzano sistemi e servizi in maniera integrata con le soluzioni in azienda.
Grazie alle competenze specialistiche maturate in tantissimi settori e con numerosi Clienti ti forniamo assistenza e supporto, consulenza di Solution Architect e realizziamo architetture IT che ti permettono di gestire, risparmiando, i tuoi processi di computazione con garanzia 12 mesi da qualsiasi bug. Contattaci subito e senza impegno per maggiori informazioni.