Groq 3 LPX in produzione: NVIDIA accelera sui token, ma i benchmark restano privati

Il 24 agosto 2026, in occasione di Hot Chips 2026, NVIDIA ha annunciato sul proprio blog ufficiale che l'acceleratore Groq 3 LPX è entrato in piena produzione. Si tratta del primo frutto commerciale derivato dall'acquisizione di Groq annunciata nel dicembre 2025 per 20 miliardi di dollari. Il componente non è orientato all'addestramento, ma è stato progettato per complementare la piattaforma Vera Rubin NVL72, prendendosi carico della fase di generazione dei token (decode), lo stadio dell'inferenza che determina la reattività percepita nelle applicazioni agentiche. Sull'obiettivo del nuovo silicio, l'amministratore delegato di NVIDIA Jensen Huang ha dichiarato: "We're advancing the performance frontier with LPX for ultra-fast token generation. This transforms how intelligence is produced, delivering another giant leap in AI throughput, efficiency and responsiveness." (Stiamo spostando in avanti la frontiera delle prestazioni con LPX per una generazione di token ultrarapida: cambia il modo in cui l'intelligenza viene prodotta, con un altro salto in throughput, efficienza e reattività).

Sul piano hardware, le specifiche pubblicate indicano che ogni singolo acceleratore dispone di 500 MB di SRAM con una banda di 150 TB/s. La configurazione a livello di rack integra 256 chip LPU su architettura NVIDIA MGX ELT, fornendo 128 GB di SRAM complessiva con una banda di 40 PB/s, affiancati dal supporto a 12 TB di memoria DDR5. Il primo cliente annunciato è il provider neocloud Nebius, che integrerà l'acceleratore nella propria piattaforma di inferenza Nebius Token Factory. Riguardo al ruolo della nuova architettura, Danila Shtan, chief technology officer di Nebius, ha affermato: "Generation is the phase of inference that determines how responsive an AI system actually is, and that's exactly what Groq 3 LPX is built to accelerate." (La generazione è la fase dell'inferenza che determina quanto reattivo sia effettivamente un sistema AI, ed è esattamente ciò per cui Groq 3 LPX è stato progettato).

NVIDIA dichiara una velocità di 3.400 token di output al secondo sul modello aperto Gemma 4 31B con un contesto di 100.000 token, definendo il sistema quattro volte più veloce della piattaforma alternativa più vicina. Sempre secondo StorageReview, Artificial Analysis ha registrato quel valore come il risultato più veloce per il modello, pur senza una riproduzione indipendente del test. Tuttavia, questi numeri devono essere valutati come dichiarazioni di parte: la misurazione è stata eseguita da NVIDIA su un endpoint privato pre-rilascio il 21 agosto 2026, senza che la piattaforma di confronto o la metodologia siano state rese note. Inoltre, la stessa documentazione ufficiale dell'azienda specifica che le prestazioni proiettate sono soggette a modifiche, mentre non sono stati ancora resi pubblici i prezzi, i volumi produttivi o la data di disponibilità generale.

Spostare il focus dell'hardware sulla riduzione della latenza nella fase di decode è una scelta di architettura coerente con l'evoluzione degli agenti AI. Ma finché le metriche di velocità resteranno ancorate a test condotti su endpoint privati a porte chiuse, la portata reale di questo silicio potrà essere misurata solo quando i benchmark diventeranno pubblici e riproducibili.