• Passa alla navigazione primaria
  • Passa al contenuto principale
  • Passa alla barra laterale primaria
  • Passa al piè di pagina
Glue Labs

Glue Labs

Trasformiamo le tue idee in prodotti digitali di successo!

  • HOME
  • SOLUZIONI
  • NEWS
  • PRODOTTI
  • CONTATTI
  • CASE STUDY

3 strumenti per processare i dati in una data pipeline

Archiviare per compliance, aggregare e/o rendere omogenei i dati per estrarre insight tra le cose che puoi fare

Il processo classico in uno streaming di dati nell’ambito di una data pipeline prevede 3 differenti fasi:

  1. ingestion: il momento in cui carichiamo i dati da varie sorgenti;
  2. process: la fase in cui applichiamo logiche di processamento ed eventualmente di enhancement;
  3. storage: è l’ultima fase in cui si archiviano i dati in maniera sicura.

Use case di data pipeline

Al fine di comprendere appieno la differenza tra i tre strumenti di processamento descritti nel prossimo paragrafo, ti indichiamo alcuni possibili Use Case in cui può essere implementata una data pipeline:

  • la ricezione di click provenienti da link, il relativo processamento per verificare la presenza di possibili tentativi di frode o utilizzi malevoli in generale, l’eliminazione definitiva oppure l’archiviazione dei metadata per future analisi;
  • la ricezione di dati grezzi ed in differenti formati da diverse sorgenti, la modellazione e l’accorpamento dei dati in un pattern predefinito, l’archiviazione per l’analisi;
  • la ricezione di dati di telemetria e statistici come l’utilizzo real-time di un servizio, il processamento per es. per attivare trigger di scalabilità, l’archiviazione per future analisi di gestione della domanda;
  • il mantenimento di un processo di Change Data Capture(CDC) che riceve le modifiche, le analizza e le archivia.

Quelli sopra descritti rappresentano solo alcune delle attività in cui è possibile implementare una data pipeline, di fatto puoi inserire le fasi di ingestion, process e storage ovunque in qualche modo devi gestire dati, estrarne insight, archiviarli per compliance o per tue specifiche esigenze.

Contattaci subito e senza impegno per implementare una data pipeline utile al tuo business.

Come processare i dati: 3 possibili alternative

I flussi di dati possono essere gestiti in 3 modi:

  1. senza processamento: in pratica i dati vengono archiviati così come arrivano senza alcun cambiamento. E’ la modalità più semplice, una sorta di pass-through. Per esempio, attraverso BigQuery Subscription passi direttamente i dati dall’ingestion tramite Pub/Sub ad una tabella di BigQuery. I dati vengono semplicemente e direttamente archiviati e la modalità descritta (Pub/Sub + BigQuery) è completamente NoCode(cioè non devi sviluppare nulla). Chiaramente una volta archiviati i dati puoi eseguire processamenti successivi anche di tipo Extract Transform Load(ETL).
  2. con processamento senza aggregazione: in questa modalità si applica un semplice processamento e tipicamente “si normalizzano” i dati cioè vengono resi omogenei ed adatti ad essere usati da specifici applicativi. Puoi effettuare tale tipologia di processamento attraverso richieste HTTP sicure ad un end point magari scalabile e realizzato con Cloud Run.
  3. con processamento con aggregazione: in questo caso il processamento prevede un’aggregazione realizzata attraverso opportuni algoritmi al fine di ridurre i dati, di contrarli spesso in gruppi omogenei. Pensa al caso di dati di telemetria di diversi dispositivi, potresti avere la necessità di aggregare quelli di uno specifico dispositivo e di lanciare operazioni in base ai quei specifici dati. Cloud Dataflow è un servizio che esegue pipeline di Apache Beam e ti fornisce tutte le funzionalità essenziali per aggregare i dati come: late handling, AI/ML workload, windowing, observability.

Quale approccio utilizzare è una scelta che deve tenere conto di esigenze di business, complessità, capacità di inserimento nei processi aziendali e di integrazione con gli strumenti già esistenti. Contattaci subito e senza impegno per consulenza e supporto nella creazione di data pipeline.

Glue Labs e le Data Pipeline

Abbiamo utilizzato, implementato ed integrato tecnologie Cloud based per la gestione dei dati sia per garantirne la sicurezza sia per fornire valore ed enhancement in ambito ETL(Extract Transform Load) in ambiente on-premise e Cloud. Siamo Google Cloud Partner e grazie all’esperienza maturata in tantissimi settori e con numerosi Clienti  ti forniamo la consulenza e l’assistenza per estrarre valore dai tuoi dati ed ottenere insights visualizzati ad hoc per ogni livello della tua organizzazione. Contattaci subito e senza impegno per maggiori informazioni.

Continua la lettura

  1. InfluxDB per collezionare, analizzare, arricchire, visualizzare i dati time-series
  2. Cos’è il Function as a Service(FaaS)
  3. Esplorare i dati con Cloud Datalab

Categoria: Articoli Tags: Apache Beam, BigQuery, change data capture, cloud dataflow, cloud run, data compliance, data pipeline, ETL, Parsing di dati, Pub/Sub

Barra laterale primaria

Cosa facciamo

  • Content Strategy
  • E-Commerce
  • Formazione avanzata Web, Mobile & Cloud
  • IoT – Sviluppo e Integrazione
  • Micro Live Learning(MLL) Web, Mobile & Cloud
  • Project Management Prince2
  • PushAPE
  • Sicurezza ICT
  • Software Aziendali
  • Sviluppo Mobile App
  • Sviluppo, Supporto, Assistenza Tecnica e Hosting Google Cloud
  • System Integration
  • Web Application
  • Web Design

Contatti

Scrivici dal form di contatto

Tel +39 06 56549766
Fax +39 06 21122581
Mail: info@glue-labs.com
Pec: gluelabs@legalmail.it

Dove siamo

Roma: Piazza Don Sturzo 15
Milano: Via Lazzaretto 19
Torino: Via San Domenico 28
Altamura: Via Maggio 1648 24

"*" indica i campi obbligatori

Nome*
Questo sito è protetto da reCAPTCHA e si applicano le Normative sulla Privacy e i Termini di Servizio di Google.
Inviando i tuoi dati accetti le condizioni sulla Privacy. Li useremo per rispondere alle tue domande e richieste.
Consenso*
Questo campo serve per la convalida e dovrebbe essere lasciato inalterato.

Siamo parte di

La nostra Agenzia di Marketing

Footer

Partnership



Rimaniamo in contatto

Iscriviti alla nostra newsletter

Nome
Questo campo serve per la convalida e dovrebbe essere lasciato inalterato.

Soluzioni

  • Integrazione di Passkey di Google nelle Web e Mobile Application
  • Consulenza, assistenza e supporto di Cloud Engineer
  • Sportello virtuale con il sistema Jitsi
  • Time & Material – Web Designer
  • Corso Angular 16
  • Time & Material personale IT
  • Assistenza, Supporto e Sviluppo NestJS e Node.js
  • Integrazione di Spreaker API con WordPress e Web Application
  • Revisione, validazione, attestazione e Relazione Tecnica su Ricerca & Sviluppo e Innovazione Tecnologica
  • Migrazione da ASP.NET Web Forms e Visual Basic ad Angular Web Application

Articoli

  • Apache Airflow: una piattaforma per l’orchestrazione dei workflow
  • Le novità di Angular 16
  • Come avere uno spazio per dati privati e confidenziali su Cloud: Confidential Space
  • Il modello Zero Trust applicato allo sviluppo software
  • Vonage Dialer per automatizzare le chiamate ed aumentare le vendite
  • Come comunicare con i dispositivi Bluetooth tramite Javascript: Web Bluetooth API
  • PostgreSQL Logical Decoding
  • KWOK : un tool per creare migliaia di nodi Kubernetes in un attimo
  • Le 6R del Cloud Migration: le strategie per passare al Cloud
  • Scetticismo nella progettazione del software ed i Quality Attribute Requirements(QAR)

Le nostre sedi

  • Roma, Piazza Don Sturzo 15
  • Milano, Via Lazzaretto 19
  • Torino, Via San Domenico 28
  • Altamura, Via Maggio 1648 24

Contatti

  • Tel. +39 06 87811067
  • Fax +39 06 99335373
  • glue-labs@legalmail.it
  • info@glue-labs.com
  • Facebook
  • LinkedIn
  • Twitter

Scarica app da App StoreScarica app da Play Store


Glue Labs © 2011–2023 | Copyright | Privacy Policy | Codice Etico | Company Info | Cookie Policy

Gestisci Consenso Cookie
Usiamo cookie per ottimizzare il nostro sito web ed i nostri servizi.
Funzionale Sempre attivo
La conservazione tecnica o l'accesso sono strettamente necessari al fine legittimo di consentire la fruizione di uno specifico servizio esplicitamente richiesto dall'abbonato o dall'utente, o al solo fine di effettuare la trasmissione di una comunicazione su una rete di comunicazione elettronica.
Preferenze
The technical storage or access is necessary for the legitimate purpose of storing preferences that are not requested by the subscriber or user.
Statistiche
L'archiviazione tecnica o l'accesso che viene utilizzato esclusivamente a fini statistici anonimi. Senza un mandato di comparizione, il rispetto volontario da parte del tuo provider di servizi Internet o registrazioni aggiuntive da parte di terzi, le informazioni archiviate o recuperate solo per questo scopo non possono essere generalmente utilizzate per identificarti. The technical storage or access that is used exclusively for anonymous statistical purposes. Without a subpoena, voluntary compliance on the part of your Internet Service Provider, or additional records from a third party, information stored or retrieved for this purpose alone cannot usually be used to identify you.
Marketing
L'archiviazione tecnica o l'accesso è necessario per creare profili utente per inviare pubblicità o per tracciare l'utente su un sito Web o su più siti Web per scopi di marketing simili.
Gestisci opzioni Gestisci servizi Gestisci fornitori Per saperne di più su questi scopi
Gestisci preferenze
{title} {title} {title}