Non è un segreto che per molto tempo il machine learning sia stato principalmente utilizzabile viA Python, ma il recente aumento di popolarità di ChatGPT ha portato molti nuovi sviluppatori in questo campo. Con JavaScript essendo il linguaggio di programmazione più ampiamente utilizzato, non sorprende che ciò abbia coinvolto molti sviluppatori web, che naturalmente hanno cercato di creare app web, utilizzando esclusivamente modelli e tecnologie locali, preferibilmente quelli che funzionano nel browser.
Alcuni dei principali vantaggi di costruire in questo modo sono:
- Costo. Poiché tutti i calcoli e l’elaborazione vengono eseguiti lato client, non ci sarebbe alcun costo aggiuntivo per lo sviluppatore che costruisce l’app, oltre all’hosting (molto economico).
- Privacy. Niente deve lasciare il computer locale dell’utente!
- Potenziali aumenti di velocità dovuti all’assenza di overhead delle chiamate HTTP. Tuttavia, ci potrebbe essere un rallentamento nell’elaborazione dovuto alle limitazioni hardware dell’utente.
Il Progetto Ho deciso di provare a ricreare uno dei casi d’uso più popolari di LangChain utilizzando software open source che può essere eseguito localmente: una catena che esegue la Retrival and Generation (RAG) in breve, e ti permette di “chattare con i tuoi documenti”. Questo consente di estrarre informazioni da dati in vari formati non strutturati.
Per sapere come implementare una app simile o provare la demo, leggi l’articolo completo di Jacob Lee su Ollama:
Immagine in copertina di Pankaj Patel su Unsplash
