La quantizzazione estrema di PrismML tra promesse di efficienza e verifiche mancanti

Ridurre un modello da 27 miliardi di parametri per farlo girare nella memoria di un personal computer o di una singola scheda grafica senza comprometterne le capacità è uno dei temi più battuti della ricerca recente. Il 17 settembre 2026 la società PrismML ha pubblicato sul proprio sito il rilascio di Ternary Bonsai 2 27B, un modello multimodale distribuito con licenza Apache 2.0 e derivato dalla compressione di Qwen3.8 27B. La struttura impiega pesi ternari limitati ai soli valori -1, 0 e +1 in una base ruotata fissa, affiancati da fattori di scala in mezza precisione. Secondo l'annuncio ufficiale, l'operazione riduce l'ingombro della variante principale a 5,9 gigabyte con 1,76 bit effettivi per peso, contro i 53,80 gigabyte della base di partenza. Sulla piattaforma Hugging Face, la scheda tecnica riporta però i numeri di un altro artefatto: la versione MLX a 2 bit, che richiede 8,60 gigabyte complessivi su disco — di cui 0,92 gigabyte destinati alla torre di visione non quantizzata — con 1,72 bit effettivi per peso. Il confronto con i 5,9 gigabyte dell'annuncio non è quindi diretto, e il dato pubblicizzato si riferisce alla configurazione più leggera.

Anche sul fronte delle prestazioni i dati forniti dall'azienda presentano disallineamenti. L'annuncio sul sito di PrismML attribuisce al modello un punteggio medio di 83,9 su una serie di 20 benchmark in modalità di ragionamento, pari al 98,2% del punteggio medio aggregato del modello di partenza; la scheda tecnica su Hugging Face calcola la medesima percentuale del 98,2% ma la ricava da 14 test, con una media di 84,78 contro l'86,32 del modello originale. Come evidenziato dalla testata specializzata MarkTechPost il 18 settembre 2026, si tratta in tutti i casi di misurazioni interne non riprodotte in modo indipendente da soggetti terzi. L'analisi esterna rileva inoltre che il calo di prestazioni si fa più marcato nei compiti agentici complessi, dove il modello si arresta a circa il 75% del punteggio originale su riferimenti come Terminal-Bench e SWE-bench. La stessa documentazione di PrismML ammette del resto che la flessione riguarda in prevalenza le categorie di conoscenza, ragionamento e visione.

Un ulteriore vincolo riguarda l'infrastruttura necessaria per l'esecuzione. L'architettura non può essere caricata tramite le librerie standard: la model card chiarisce che i moduli di caricamento ordinari di MLX non supportano le trasformazioni di rotazione di Hadamard e l'embedding inverso usati dal formato, rendendo obbligatorio l'uso del runtime personalizzato di PrismML o del suo fork di llama.cpp. Per quanto riguarda la velocità, l'annuncio aziendale indica fino a 142,5 token al secondo su scheda NVIDIA GeForce RTX 5090 e 46,8 token al secondo su processore Apple M5 Max, mentre la scheda su Hugging Face assegna alla stessa GPU un valore inferiore, pari a circa 129 token al secondo. Nessuna delle due fonti dichiara la configurazione con cui la misura è stata ottenuta. L'azienda, che sul proprio sito si presenta come nata da ricercatori del Caltech e indica tra i sostenitori Khosla Ventures, Cerberus, Google e Samsung, attribuisce al sistema un consumo di 0,714 milliwattora per token su RTX 4090, che secondo l'azienda sarebbe il 40% più efficiente di un modello da 8 miliardi di parametri a piena precisione.

Finché i numeri non saranno riprodotti da terzi, l'unico dato solido resta l'ingombro sul disco — e la dipendenza da un fork proprietario di llama.cpp, che della licenza Apache 2.0 limita l'uso pratico.

— Olya