Le Strategie di chunking nella Retrieval-Augmented Generation(RAG)

Nel contesto delle applicazioni di Large Language Model(LLM), vale a dire tutte quelle di Artificial Intelligence(AI) generativa, il processo di “chunking” consiste, letteralmente come ci indica la traduzione dall’inglese, nello spezzettamento di blocchi di grandi dimensioni in blocchi più piccoli.

E’ una tecnica essenziale in quanto permette non solo di ottimizzare i contenuti ma anche di riuscire a trovare le relazioni tra i vari blocchi al fine di salvare tali relazioni nei Vector Database( di questa tipologia di database ne abbiamo parlato nell’articolo “Cos’è il Vector Database e come funziona la Vector Search“).

Contattaci subito e senza impegno per assistenza e consulenza su applicazioni AI.

L’importanza della strategia di chunking

Quando si costruisce un agente AI privato, assume estrema importanza la strategia di chunking per il fatto che ha un impatto diretto sulla efficienza del LLM e sulla precisione delle risposte. Attraverso la corretta strategia di chunking possiamo assicurarci che i risultati siano allineati alle domande ed inoltre siano coerenti e corretti.

Una strategia errata, con blocchi che non rispondono all’ esigenza dell’utente, comporta imprecisioni che si traducono in errori e in scarsa affidabilità dell’AI.

Contattaci subito e senza impegno per assistenza e consulenza su applicazioni AI.

I metodi di chunking

Ci sono essenzialmente tre metodi di chunking tra cui scegliere in base a diversi fattori che possono essere sintetizzati nelle seguenti domande:

• Cosa e Come cercheranno gli utenti?
• Che tipo di testo o informazione dobbiamo gestire? E’ un documento di progetto di 100 pagine oppure un tweet?
• Che cosa dobbiamo farci dopo?

La risposta a queste domande ci orienterà e ci indicherà quale metodo di chunking scegliere tra:

1. Metodo Base (fixed-size chunking). È come tagliare una torta in fette tutte uguali. Semplice e diretto, ma non sempre è la soluzione migliore. Si usano tools come CharacterTextSplitter per applicare questo metodo.
2. Metodo Intelligente (content-aware chunking). Le cose sono più complesse e si sceglie in base allo specifico contesto di riferimento. Puoi usare strumenti sofisticati come NLTK o spaCy che ti aiutano a dividere il testo nei punti giusti.
3. Metodo Avanzato (semantic chunking). E’ la novità del momento, non solo si guarda al contesto ma anche alle relazioni tra i diversi elementi all’interno del contesto: in pratica l’AI capisce effettivamente di cosa si sta parlando.Si usano tools come Langchain.

Contattaci subito e senza impegno per assistenza e consulenza su applicazioni AI.

Quale metodo di chunking scegliere?

Nella realtà non esiste una risposta corretta alla domanda del titolo perchè devi adattare tutte le variabili presenti nel tuo scenario di business al metodo di chunking e scoprire quale sia più efficace tenendo in considerazione che più è avanzato il metodo di chunking più è “costoso” in termini di risorse utilizzate.

Per trovare la dimensione perfetta del tuo “chunk” ti suggeriamo di:

• Rendere omogenei e “puliti” i tuoi dati pre-processandoli, per es. recuperando una pagina web probabilmente vorrai rimuovere i tag del protocollo HTML che non sono necessari;
• Testare varie misure di chunk e verificare le relative performance. Mai come in questo caso, il testing è essenziale perchè ti permette di accertarti della bontà della scelta.

Contattaci subito e senza impegno per assistenza e consulenza su applicazioni AI.

Glue Labs e le strategie di chunking

Abbiamo profonde competenze nel chunking che abbiamo sfruttato nella nostra piattaforma Pupau.ai che ti permette di avere tutti gli Agenti AI che il tuo business necessita, ognuno con la propria personalizzazione e specializzazione e tutti che integrano i maggiori AI Models come ChatGPT, LLaMA, Gemini e Perplexity. Scopri di più.

Grazie all’esperienza maturata in tantissimi settori e con numerosi Clienti ti forniamo assistenza e supporto nella progettazione e nello sviluppo di applicazioni AI, che sfruttano i LLM ed i metodi di chunking, completamente integrate nei tuoi sistemi e processi con garanzia 12 mesi da qualsiasi bug.  Contattaci subito e senza impegno per maggiori informazioni.