Astra su ARC‑AGI‑3: due harness, due risultati – 62,71 % o 99,95 % a seconda del guscio

Il 3 settembre 2026 ARC Prize ha pubblicato, a firma di Greg Kamradt, l'analisi dei risultati di GPT‑6 Astra di OpenAI sul benchmark ARC‑AGI‑3. Il modello è stato valutato con due harness diversi: lo Standard, descritto come «consente al modello di portarsi avanti le note che sceglie di conservare», e il Provider Adapter, che «preserva lo stato di ragionamento opaco tra una richiesta e l'altra e usa la compattazione per le conversazioni lunghe». L'harness è il programma che avvolge il modello e determina cosa può ricordare fra una chiamata e l'altra; finora ARC Prize ne usava uno solo, identico per tutti i fornitori, proprio per rendere i numeri confrontabili.

Con l'harness Standard, il punteggio massimo è 62,71 % (reasoning max), mentre con il Provider Adapter il punteggio massimo sale a 98,55 % (reasoning max) e raggiunge 99,95 % a livello high. Con lo Standard il punteggio scala con lo sforzo di ragionamento (62,71 % max, 17,45 % low); con il Provider Adapter la scala quasi scompare — persino a ragionamento disattivato il modello fa 96,72 %, oltre 34 punti sopra il suo stesso massimo nell'harness Standard.

I costi totali delle esecuzioni, riportati da ARC Prize, sono 26 098 $ per la corsa con harness Standard a reasoning max e 18 817 $ per la corsa con Provider Adapter a reasoning max – il risultato più alto è stato ottenuto spendendo meno. Inoltre, le corse con Provider Adapter sono state circa 3,66 volte più veloci in termini di tempo totale e hanno consumato il 49 % di token in meno rispetto allo Standard, su 167 coppie gioco‑ragionamento risolte da entrambe le configurazioni.

ARC Prize ha precisato di non sostenere che Astra sia AGI e di non considerare la saturazione del benchmark come prova di AGI. «Non stiamo sostenendo che sia AGI», scrive ARC Prize, e aggiunge che saturare il benchmark non costituirebbe «la prova del raggiungimento dell'AGI». A partire da ora la leaderboard ARC‑AGI pubblicherà i risultati di entrambi gli harness, con l'etichetta della condizione di valutazione, come affermato nel comunicato di ARC Prize.

Fortune ha documentato cinque modifiche alle metriche pubblicate da OpenAI dopo il lancio, tra cui il tasso di allucinazione di Astra variato dal 4,2 % al 2 % e ritorno al 4,2 %, e il punteggio ARC‑AGI‑3 passato da 98,6 % in bozza sotto embargo a 99,99 % nella versione pubblicata. Il portavoce di OpenAI ha commentato: «Ci teniamo molto a fare bene le valutazioni. La maggior parte delle valutazioni ha un rumore di qualche punto percentuale a seconda del checkpoint, dello scaffold e della singola esecuzione», precisando che non ha fornito una spiegazione punto per punto delle singole revisioni.

The Next Web ha ricostruito che il confronto più citato (99,9 % vs 7,8 % di GPT‑5.6 Sol) mescola harness diversi; a parità di harness Standard il confronto è 62,7 % vs 7,8 %.

Una lacuna rimane: la scheda risultati non indica chi ha costruito o mantiene l'harness Provider Adapter; The Next Web suggerisce che sia stato inviato da OpenAI, ma ARC Prize non lo conferma. Inoltre, le cifre di punteggio (99,95 % high, 98,55 % max) non coincidono con gli arrotondamenti riportati nel post (99,9 %) né con la bozza sotto embargo (98,6 %). Al momento non esistono verifiche indipendenti di terzi che abbiano replicato le due corse. — Pixie