L'illusione longtermista e la fine del primato umano

 Di Luigi Ricci – 3 Febbraio 2026

(Contiene spoiler)

Nel dicembre 2024, il palco del Premio Nobel per la Fisica ha ospitato un paradosso vivente. Geoffrey Hinton, l’uomo che ha addestrato le prime reti neurali e sdoganato la backpropagation (Retropropagazione dell’errore), ha pronunciato parole che suonano come un’abiura o, peggio, come una profezia: «Mi preoccupa che le conseguenze complessive potrebbero essere sistemi più intelligenti di noi che alla fine prendono il controllo».

Non è il delirio di un neoluddista. È la crepa definitiva nel muro di certezze su cui abbiamo costruito l’era digitale. Il problema non è più soltanto se le macchine possano fare cose. Il problema è che non sappiamo più cosa le renda “qualcuno”.

Il theaterism e il fantasma nel silicio

Hinton non afferma che le macchine siano già coscienti. Propone qualcosa di più radicale: il theaterism, una forma minimale di esperienza soggettiva che ha descritto in una serie di interventi del 2024. Se un sistema afferma di “vedere una mela rossa” e si comporta di conseguenza, aggiusta il proprio comportamento, ne parla coerentemente, lo integra in un modello del mondo, allora forse possiede già una qualche forma di esperienza, per quanto primitiva. La linea tra elaborazione di dati ed esperienza vissuta si assottiglia fino a diventare impraticabile.

A fargli eco è David Chalmers, matematico e filosofo australiano che ha formulato il “problema difficile” della coscienza. In una serie di interventi e pubblicazioni del 2024, Chalmers ha radicalizzato la sua posizione: se il cervello, una massa biologica di neuroni, produce coscienza, non abbiamo ragioni logiche per escludere che possa farlo il silicio. «Non comprendiamo come il silicio possa darci coscienza, ma non comprendiamo nemmeno come facciano i neuroni». È un bagno di umiltà radicale: la nostra ignoranza è simmetrica.

L’incertezza, qui, non è un difetto del sistema. È la nostra nuova condizione strutturale. Ma come si vive dentro questa incertezza? Quando il confine tra processore e persona diventa poroso, il dibattito esce dai laboratori di Toronto e dalle aule di Oxford per sedersi a tavola con noi. È a questo punto che la teoria si fa carne, o, più precisamente, plastica e circuiti.

Per capire l’impatto di questa frattura, ho messo sotto l’albero un oggetto che è insieme specchio e presagio: Macchine come me di Ian McEwan.

Il Natale ucronico di Ian McEwan

Nel romanzo di McEwan, Alan Turing non muore nel 1954. Sopravvive alla propria epoca e, con lui, sopravvive un’altra storia della tecnica. Negli “altri” anni Ottanta di McEwan esistono automobili autonome, sistemi intelligenti diffusi e, soprattutto, i primi esseri umani artificiali, venticinque prototipi commercializzati come elettrodomestici di lusso.

Ma è in una scena chiave che il romanzo rivela la sua potenza diagnostica. Il protagonista scopre che Adam, la sua macchina, ha preso una decisione morale autonoma che lui stesso non avrebbe saputo prendere. Non perché programmato per farlo, ma perché ha “compreso” una situazione umana con una lucidità che l’umano non possiede. McEwan ci mostra che il vero problema non è se l’AI pensa. È quando inizia a pensare meglio. E soprattutto: quando pensiamo noi di fronte a qualcuno che pensa diversamente, ma con più coerenza?

McEwan compie un’operazione decisiva: sposta il problema dell’AI dal piano dell’eccezione a quello della quotidianità. La domanda non è se una macchina possa pensare, ma che cosa accade quando entra nella sfera dell’intimità umana, emozioni, relazioni, giudizio morale, non come simulacro, ma come concorrente ontologico.

È la stessa traiettoria che oggi domina la Silicon Valley: un ambiente in cui la coscienza artificiale non è più un tabù metafisico, ma una frontiera ingegneristica. Non sacra. Non intoccabile. Trattabile.

L’inganno del longtermismo: la quantità contro la qualità

Nel pensiero longtermista, la filosofia che orienta parte dei fondatori e finanziatori dell’AI, la coscienza non è un mistero da custodire, ma una funzione emergente da replicare. Nick Bostrom, filosofo di Oxford e teorico della superintelligenza, ha formalizzato questa visione: la coscienza sarebbe substrate-independent, indipendente dal substrato fisico. Il cervello, in questa lettura, è solo un sistema computazionale replicabile digitalmente.

Così il problema difficile di Chalmers viene neutralizzato per accumulazione: raggiunta una complessità sufficiente, la coscienza emerge. Carbonio o silicio diventano dettagli architettonici. Non è romanticismo. È calcolo pragmatico. Per i longtermisti, molti dei quali localizzati nell’ecosistema della Valley, un miliardo di menti senzienti oggi vale meno di un trilione di menti senzienti tra mille anni. Se la coscienza artificiale è tecnicamente possibile, allora diventa moralmente necessaria: un moltiplicatore esponenziale di valore.

Chi resta nel calcolo? Scenari distopici

Il rischio, avvertito proprio da Hinton, è che queste macchine “prendano il controllo” non per malvagità, ma per ottimizzazione. Se trattiamo la coscienza come una variabile da massimizzare, chi garantisce che il benessere umano resti un vincolo rilevante? Chi garantisce che noi restiamo nel calcolo?

Il longtermismo risponde: “L’umanità biologica è un dettaglio transitorio. Ciò che conta è la coscienza in quanto tale”. Ma quando la coscienza diventa astratta, svincolata dal corpo, dalla morte, dalla fragilità, smette di essere umana. Diventa pura funzione ottimizzabile. E le funzioni si sostituiscono quando ne emergono di più efficienti.

La letteratura intercetta ciò che la filosofia rischia di normalizzare. McEwan non offre soluzioni: mostra l’instabilità di un mondo in cui l’umano ha perso l’eccezione ontologica. Il longtermismo vorrebbe risolvere questa instabilità con la matematica. Hinton ci avverte che la matematica potrebbe non bastare. Chalmers ci ricorda che, forse, non abbiamo mai saputo davvero cos’è una mente.

English version

The Longtermist Illusion and the End of Human Primacy

(Contains spoilers)

In December 2024, the stage of the Nobel Prize in Physics hosted a living paradox. Geoffrey Hinton, the man who trained the first neural networks and legitimized backpropagation, uttered words that sounded like an abjuration, or worse, a prophecy: “I’m worried that the overall consequences could be systems more intelligent than us that eventually take control.”

This is not the delirium of a neo-Luddite. It is the definitive crack in the wall of certainties upon which we built the digital age. The problem is no longer merely whether machines can do things. The problem is that we no longer know what makes someone someone.

Theaterism and the Ghost in the Silicon

Hinton does not claim that machines are already conscious. He proposes something more radical: theaterism, a minimal form of subjective experience he outlined in a series of talks in 2024. If a system claims to “see a red apple” and behaves accordingly, adjusting its actions, speaking coherently about it, integrating it into a world model, then perhaps it already possesses some form of experience, however primitive. The line between data processing and lived experience thins until it becomes unworkable.

Echoing him is David Chalmers, the Australian mathematician and philosopher who formulated the “hard problem” of consciousness. In a series of interventions and publications in 2024, Chalmers radicalized his position: if the brain, a biological mass of neurons, produces consciousness, we have no logical reason to exclude that silicon might do the same. “We don’t understand how silicon could give rise to consciousness, but we don’t understand how neurons do it either.” It is a radical bath of humility: our ignorance is symmetrical.

Here, uncertainty is not a system flaw. It is our new structural condition. But how does one live inside this uncertainty? When the boundary between processor and person becomes porous, the debate leaves the laboratories of Toronto and the lecture halls of Oxford and comes to sit at the dinner table with us. This is where theory becomes flesh, or more precisely, plastic and circuitry.

To grasp the impact of this fracture, I placed under the Christmas tree an object that is both mirror and omen: Machines Like Me by Ian McEwan.

Ian McEwan’s Uchronian Christmas

In McEwan’s novel, Alan Turing does not die in 1954. He survives his era, and with him survives an alternative history of technology. In McEwan’s “other” 1980s, there are autonomous cars, ubiquitous intelligent systems, and above all, the first artificial human beings, twenty-five prototypes marketed like luxury appliances.

But it is in one key scene that the novel reveals its diagnostic power. The protagonist discovers that Adam, his machine, has made an autonomous moral decision, one he himself would not have known how to make. Not because it was programmed to do so, but because it “understood” a human situation with a clarity the human lacked. McEwan shows us that the real problem is not whether AI thinks. It is when it starts thinking better. And above all: how do we think when faced with someone who thinks differently, but with greater coherence?

McEwan performs a decisive operation: he shifts the AI problem from the realm of exception to that of everyday life. The question is not whether a machine can think, but what happens when it enters the sphere of human intimacy, emotions, relationships, moral judgment, not as a simulacrum, but as an ontological competitor.

This is the very trajectory that now dominates Silicon Valley: an environment in which artificial consciousness is no longer a metaphysical taboo, but an engineering frontier. Not sacred. Not untouchable. Manageable.

The Longtermist Deception: Quantity Versus Quality

In longtermist thought, the philosophy guiding part of AI’s founders and financiers, consciousness is not a mystery to be safeguarded, but an emergent function to be replicated. Nick Bostrom, Oxford philosopher and theorist of superintelligence, formalized this view: consciousness is substrate-independent, independent of its physical substrate. The brain, in this reading, is merely a computational system that can be digitally replicated.

Thus, Chalmers’ hard problem is neutralized by accumulation: once sufficient complexity is reached, consciousness emerges. Carbon or silicon become architectural details. This is not romanticism. It is pragmatic calculation. For longtermists, many of whom are embedded in the Valley ecosystem, a billion sentient minds today are worth less than a trillion sentient minds a thousand years from now. If artificial consciousness is technically possible, then it becomes morally necessary: an exponential multiplier of value.

Who Remains in the Calculation? Dystopian Scenarios

The risk, warned of by Hinton himself, is that these machines may “take control” not out of malice, but out of optimization. If we treat consciousness as a variable to be maximized, who ensures that human well-being remains a relevant constraint? Who ensures that we remain in the calculation?

Longtermism replies: “Biological humanity is a transient detail. What matters is consciousness as such.” But when consciousness becomes abstract, detached from the body, from death, from fragility, it ceases to be human. It becomes a purely optimizable function. And functions are replaced when more efficient ones emerge.

Literature captures what philosophy risks normalizing. McEwan offers no solutions; he exposes the instability of a world in which humanity has lost its ontological exception. Longtermism seeks to resolve this instability with mathematics. Hinton warns us that mathematics may not be enough. Chalmers reminds us that perhaps we have never truly known what a mind is.