EuroLLM: L'IA Europea che Rompe le Barriere Linguistiche e Tecnologiche

La Visione di EuroLLM: Un Ponte Tra Lingue e Intelligenza Artificiale Aperta

Nonostante la percezione comune di un ritardo europeo nel settore dell'intelligenza artificiale rispetto alle potenze globali, il continente ha lanciato un'iniziativa significativa: EuroLLM. Questo progetto incarna una famiglia di modelli linguistici di grandi dimensioni (LLM) completamente aperti, che si distinguono per la loro totale libertà da restrizioni e per la loro natura open source. L'obiettivo primario di EuroLLM è fornire supporto a tutte le ventiquattro lingue ufficiali dell'Unione Europea, includendo varianti come EuroLLM-9B e EuroLLM-1.7B, ottimizzate per prestazioni elevate o per implementazioni su dispositivi periferici, garantendo così una prossimità ai dati aziendali e pubblici.

L'Architettura e le Finalità del Progetto EuroLLM

EuroLLM ambisce a dimostrare la capacità dell'Europa di creare modelli di intelligenza artificiale all'avanguardia, che siano al contempo trasparenti e accessibili. Il progetto si impegna a superare gli standard attuali, adottando un approccio di progettazione linguistica che previene la predominanza dell'inglese. Si distingue per la sua apertura accademica, rendendo disponibili pesi, tokenizzatori e strumenti alla comunità scientifica, e per l'accesso a infrastrutture di calcolo di eccellenza. L'addestramento dei modelli è stato eseguito sul supercomputer MareNostrum 5, una risorsa pre-exascale messa a disposizione dalla rete EuroHPC, presso il Barcelona Supercomputing Center.

La Collaborazione Europea Dietro EuroLLM e il Suo Impatto

Il consorzio EuroLLM è un esempio di collaborazione paneuropea, coinvolgendo università, centri di ricerca e aziende. Tra i partecipanti figurano enti come Unbabel, Instituto Superior Técnico, University of Edinburgh, Université Paris-Saclay, Aveni / labs Aveni.ai, Sorbonne University, Naver Labs Europe, University of Amsterdam e il Barcelona Supercomputing Center. Il progetto ha ricevuto il sostegno finanziario di iniziative europee quali Horizon Europe, l'European Research Council e EuroHPC JU. I modelli EuroLLM sono liberamente accessibili tramite piattaforme come Hugging Face, per incoraggiare la ricerca, la sperimentazione e l'adozione da parte delle imprese europee.

Dettagli Tecnici e Prospettive Future di EuroLLM

La versione principale del modello, EuroLLM-9B (circa 9 miliardi di parametri), è affiancata da EuroLLM-1.7B, una variante più compatta per dispositivi edge. Il modello 9B è disponibile sia in versione base per il fine-tuning che in versione Instruct per gestire istruzioni e conversazioni. È stato addestrato su un vasto corpus di dati multilingue, comprendente materiale in 35 lingue diverse, con una particolare attenzione alle 24 lingue ufficiali dell'UE. Il team ha annunciato piani per espandere il modello con funzionalità vision e voice, sviluppando una versione multimodale che integrerà testo, immagini e audio, mantenendo l'approccio multilingue.

Accesso e Requisiti per l'Utilizzo di EuroLLM

I modelli EuroLLM-9B e EuroLLM-1.7B sono disponibili su Hugging Face, consentendo agli utenti di provarli direttamente sulla piattaforma o di scaricare i pesi per l'uso locale. Per ridurre il fabbisogno di VRAM, è consigliabile l'uso della quantizzazione (come bitsandbytes a 4-bit) o l'offloading su GPU. Per il modello da 1,7 miliardi di parametri, è sufficiente una GPU consumer con 8-12 GB di VRAM. Per il modello più grande da 9 miliardi di parametri, l'inferenza con 4-bit per un singolo utente richiede almeno una GPU con 24 GB di VRAM e 64 GB di RAM di sistema. Per prestazioni ottimali, si raccomanda una GPU server con almeno 40 GB di VRAM.