Discussione con Pietro Della Peruta, Account Technical Leader e Distinguished Engineer IBM.
Pietro, qual è il tuo punto di vista sull’AI?
L’ Intelligenza Artificiale non è più la “prossima frontiera” dell’evoluzione tecnologica, ma una realtà nell'automazione dei processi, nella comprensione dei documenti, nella interazione con gli utenti e i cittadini. Alla base dell’innovazione i modelli di AI Generativa, per le finalità di asservire servizi, devono essere sempre più “duttili” per essere plasmati sui dati proprietari dell’azienda ed essere efficienti in termini computazionali per un uso sempre più sostenibile.
E’ questa l’essenza dei modelli nati per il business: duttilità e sostenibilità.
E questa è anche l’essenza dei modelli della famiglia Granite prodotti da IBM e disponibili come open source sulle maggiori piattaforme come Hugging Face, Ollama e NVIDIA NIM.
Recentemente è stata annunciata una nuova versione dei modelli IBM Granite. Cosa ci puoi dire a riguardo?
Mi fa piacere condividere l’ultimo annuncio della famiglia granite: Granite 3.0.
In sintesi i modelli annunciati sono:
Granite-3.0-8B-Instruct, Granite-3.0-8B-Base, Granite-3.0-2B-Instruct and Granite-3.0-2B-Base.
Sono modelli decoder a 8 e 2 Miliardi di parametri allenati su 12 trilioni di token su 12 lingue, incluso l’italiano, in modalità “instruct” (ovvero con training set per insegnare al modello a comprendere una infinità di istruzioni) e base. Possono essere usati per compiti general purpose e possono essere fine tuned via InstructLAB. Le prestazioni sono comparabili o superiori al top del mercato.
Per esempio nei pattern RAG (oggi i piu’ usati con gli LLM) si hanno le seguenti prestazioni (RAGBench)
Granite-Guardian-3.0-8B, Granite-Guardian-3.0-2B
E’ una versione fine-tuned del modello di base corrispondente (8B, 2B) usato come safeguard per altri modelli (open source e proprietari). Posto a monte e a valle di altri modelli di AI classifica su bias, profanity, abuse etc e quindi può essere usato per controllare l’esecuzione di modelli di AI. Assicurarsi una AI non pregiudizievole, non controversa, deve essere una priorità per la pubblica amministrazione (e non solo) e questi modelli aiutano allo scopo.
Granite-3.0-3B-A800M-Instruct, Granite-3.0-1B-A400M-Instruct
Interessantissima versione ad architetture di Mix of Expertise da 3 e 1 miliardi di parametri con, rispettivamente, 800 Milioni e 400 Milioni di parametri in inferenze. L’architettura e la dimensione rendono questi modelli eseguibili anche su sole CPU con risparmi di costi notevoli mantenendo un eccellente livello prestazionale. Possono quindi essere usati su infrastrutture generali seza GPU.
Granite-3.0-8B-Instruct-Accelerator
E’ un modello decoder speculativo ad 8 miliardi di parametri con prestazioni +2X superiori ai modelli di dimensioni comparabili. Basato sull’approccio Medusa (https://arxiv.org/pdf/2401.10774) rivisto da IBM reasearch ha un approccio speculativo nella predizione del “next token”. Nella pratica invece di predire semplicemente il next token basato sulle attention (come fanno tutti i modelli) specula su quali potrebbe essere il next token e predice quello successivo. Per esempio, se “felice” è il primo token speculato dopo “sono”, il modello prevede in modo speculativo ciò che viene dopo “felice”, piuttosto che continuare a prevedere ciò che segue “sono”. È stato inoltre introdotto un metodo di addestramento in due fasi che sfrutta una forma di distillazione della conoscenza per addestrare congiuntamente il modello di base e lo speculatore.
Come dicevamo prima tutti questi modelli sono resi disponibili in modalità open source, vero?
I modelli sono disponibili con licenza Apache sulle maggiori piattaforme open source. Possono ovviamente essere scaricati, per esempio da Hugging Face, sperimentati on premise, allineati ai propri dati. Ovviamente per un uso scalabile ed entreprise ready, per servizi in produzione si puo’ sempre usare la piattaforma IBM watsonx.
Ti ringrazio Pietro. Ricordo di seguito il link ufficiale dell’annuncio per eventuali approfondimenti
https://www.ibm.com/new/ibm-granite-3-0-open-state-of-the-art-enterprise-models