Cosa danno per scontato i paper che parlano di intelligenza e macchine e perché conta.
Autori: Parshin Shojaee†, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, Mehrdad Farajtabar
Il claim[1].
Nel giugno 2025 Apple pubblica un paper che in poche settimane diventa uno degli argomenti più discussi nel dibattito sull’intelligenza artificiale: The Illusion of Thinking. La tesi, riassunta brutalmente come hanno fatto centinaia di articoli e post che ne hanno parlato: i cosiddetti “modelli di ragionamento” (i sistemi che, prima di rispondere, generano lunghe catene di passaggi intermedi) non ragionano affatto. Oltre una certa soglia di complessità del problema, il loro comportamento collassa. Quello che sembra pensiero sarebbe, appunto, un’illusione. È il tipo di claim che si presta benissimo a un titolo di giornale e infatti lo ha ottenuto.
Vediamo cosa dice veramente il paper. Il gruppo guidato da Parshin Shojaee e Iman Mirzadeh parte da un problema metodologico reale: i benchmark matematici e di programmazione con cui di solito si valutano questi modelli sono probabilmente “contaminati” (i modelli li hanno visti, in qualche forma, durante l’addestramento) e comunque non permettono di controllare con precisione quanto un problema sia difficile.
La soluzione che propongono è elegante: usare puzzle classici — Torre di Hanoi, attraversamento del fiume, salto delle dame, mondo dei blocchi — di cui si può aumentare la complessità in modo continuo e misurabile (più dischi, più missionari, più cannibali). Confrontano poi modelli “che ragionano” con le loro controparti “dirette”, cioè senza la fase di ragionamento esplicito.
Il risultato è interessante e riproducibile su più modelli: emergono tre regimi. Nei problemi semplici, i modelli diretti se la cavano alla stessa maniera o meglio (i modelli “ragionanti” a volte si complicano la vita da soli). Nei problemi di media complessità, il ragionamento esplicito aiuta davvero. Oltre una certa soglia, entrambi i tipi di modello crollano e, dato ancora più curioso, lo sforzo di ragionamento (misurato in token generati) prima cresce con la difficoltà del problema, poi diminuisce proprio quando servirebbe di più, come se il modello si arrendesse.
Consideriamo ora la replica e il dettaglio che nessuno si aspettava. Poche settimane dopo esce una risposta, con un titolo che è già un piccolo capolavoro di ironia accademica: The Illusion of the Illusion of Thinking. L’autore, il ricercatore indipendente Alex Lawsen, la firma insieme a un coautore non del tutto umano: Claude Opus, il modello di Anthropic.
La replica non nega che i modelli abbiano dei limiti reali nella pianificazione complessa. Tuttavia, sostiene che buona parte del “collasso” osservato da Apple sia un artefatto della modalità di valutazione, non un limite del ragionamento in sé. Tre problemi in particolare: molti fallimenti nella Torre di Hanoi arrivano perché il modello esaurisce lo spazio di output disponibile, non perché sbagli a ragionare e in alcuni casi lo dichiara esplicitamente. Alcune istanze del problema dell’attraversamento del fiume, oltre una certa soglia di missionari e cannibali con quella capacità di barca, sono matematicamente irrisolvibili in linea di principio e venivano comunque contate come fallimenti del modello. E quando ai modelli viene chiesto di generare una funzione che produce la soluzione, invece di scrivere ogni singola mossa, la loro prestazione su puzzle molto più complessi migliora drasticamente.
Qui arriva la parte che ci interessa davvero e che quasi nessuno dei resoconti giornalistici ha messo a fuoco: quella dell’assunzione nascosta. Il dibattito Apple-contro-Lawsen sembra uno scontro sui fatti: chi ha ragione sui numeri? Ma sotto c’è una domanda che nessuna delle due parti affronta esplicitamente: cosa significa, esattamente, “ragionare”, al punto da poter dire che un sistema lo fa o non lo fa?
Il paper di Apple opera una scelta implicita: definisce operativamente il ragionamento come la capacità di eseguire correttamente, passo dopo passo, un algoritmo noto, per un numero di passi arbitrariamente lungo. È una scelta ragionevole per costruire un esperimento controllato, ma non è affatto ovvio che sia una buona traduzione del concetto. È il problema classico della validità di costrutto: lo strumento di misura (qui, il completamento corretto di una lunga sequenza di mosse) cattura davvero la proprietà che dice di misurare (il ragionamento) o solo un suo sintomo parziale, magari confuso con qualcos’altro, in questo caso la resistenza a vincoli di memoria di lavoro e di lunghezza dell’output?
Non è un problema nuovo. È praticamente lo stesso che la linguistica si pose decenni fa distinguendo competenza da prestazione: il fatto che una persona faccia un lapsus o si perda a metà di una frase molto lunga non viene interpretato come prova che non possieda la grammatica della propria lingua. La prestazione può fallire per limiti di memoria o attenzione anche quando la competenza sottostante è intatta. Applicata qui, la domanda diventa: il collasso oltre una certa complessità è evidenza dell’assenza di una capacità di ragionamento o solo del fatto che l’esecuzione di quella capacità è vincolata da risorse limitate (token disponibili, formato di output richiesto)?
E qui la cosa si fa scomoda per entrambe le parti. Se il collasso è (anche solo in parte) un limite di prestazione e non di competenza, allora il titolo The Illusion of Thinking dice più di quanto i dati permettano di concludere: hanno mostrato un limite pratico, non hanno dimostrato l’assenza di una facoltà. Ma la replica di Lawsen, per quanto metodologicamente puntuale, non risolve il problema, mostra solo che la particolare operazionalizzazione di Apple era difettosa, senza offrirne una migliore. Nessuna delle due parti ha reso il claim davvero falsificabile: cosa dovrebbe succedere, esattamente, perché tutti accettino che un modello “ragiona davvero”? Finché la domanda resta aperta, ogni nuovo esperimento rischia di misurare l’ingegneria della valutazione più che la cosa che dice di valutare.
Questa cosa conta, non è un dettaglio accademico. Claim come “i modelli non ragionano davvero” o il suo opposto vengono usati per giustificare decisioni di investimento, policy pubbliche, previsioni sull’arrivo (o meno) di un’intelligenza artificiale generale. Se il disaccordo di fondo è su cosa significhi “ragionare”, non su cosa dicano i dati, allora gran parte del dibattito pubblico su questi temi sta discutendo la risposta prima ancora di essersi messo d’accordo sulla domanda.
È esattamente il tipo di lavoro che la filosofia della scienza sa fare bene: non stabilire chi ha ragione tra Apple e Lawsen, ma rendere visibile che, senza una definizione operativa condivisa e difendibile di “ragionamento”, il dibattito è strutturalmente destinato a girare in tondo, un modello alla volta, un puzzle alla volta.
Se questo taglio di lettura ti interessa, la prossima settimana un altro caso. Una volta al mese, invece, “Lo Strumento del Mese”: un concetto di filosofia della scienza spiegato attraverso un esempio di attualità.
[1] La tesi. Da ora in poi in ogni testo che pubblicherò.
