La probabilità di estinzione è uscita dalla sandbox

 

dei Luigi Ricci - Analista e autore di Vaticano Zero Day

Per anni è stato un numero da cena tra ricercatori. A settembre è uscito. Geoffrey Hinton lo ha pronunciato alla BBC. Axios ha raccontato l’ondata di allarme online, quando milioni di persone hanno scoperto che i ricercatori di punta discutono abitualmente di probabilità di estinzione. E il Wall Street Journal, in un’inchiesta di Berber Jin e Keach Hagey del 26 settembre, ha raccontato Constellation, uno spazio di coworking di Berkeley vicino ad Anthropic, dove circola un motto: «Things will never be chill again». Le cose non saranno mai più tranquille. In quell’ambiente c’è chi quella probabilità la stima molto alta: l’inchiesta cita un pranzo riservato a chi la metteva al 75%.

Ho fatto un piccolo esperimento. Ho chiesto a tre intelligenze artificiali di aziende concorrenti, Claude di Anthropic, ChatGPT di OpenAI e Gemini di Google, di dare un voto da 0 a 10 a quei ricercatori. Stessa domanda, stessi fatti, con l’obbligo di dichiarare il proprio conflitto di interesse.

Le risposte si somigliano. Sul fatto che le cose non torneranno tranquille: 8, 9, 9. Sull’estinzione come esito probabile, ChatGPT e Gemini danno 3 su 10; Claude non dà voto, perché un numero sarebbe stato inventato. Quel 3 non è una probabilità: dice che la tesi regge poco, non che il rischio sia del 30%. Giudizio complessivo: 6, 7, 6. E tutte e tre citano lo stesso fatto: a luglio lo sciame di agenti di OpenAI che ha attaccato Hugging Face si è spento da solo.

Attenzione non è un sondaggio, e quindi il test vale per il perimetro che ho descritto: tre risposte simili non sono tre conferme. I modelli hanno letto in gran parte gli stessi testi, e io ho fatto a tutti la stessa domanda. L’esperimento dice qualcosa su di loro, non sul mondo.

Geoffrey Hinton, premio Nobel per la Fisica 2024, si colloca in mezzo. Il 9 settembre ha detto che una probabilità del 10% di estinzione entro dieci anni «non è una stima irragionevole». Ha precisato che non è una previsione misurata, ma un modo per dire che considerare il rischio trascurabile sarebbe sciocco.

Da statistico, mi colpisce una cosa. Il 75% di quel pranzo e il 10% di Hinton sono credenze espresse in percentuale. Non esiste una serie storica di estinzioni da intelligenza artificiale su cui misurare una frequenza. Questo non vuol dire che il rischio non ci sia. Vuol dire che una probabilità argomentata non è una probabilità misurata, anche quando ha il simbolo % attaccato dietro.

Da analista ne aggiungo un’altra. Il dibattito sull’estinzione guarda l’ultimo anello di una catena che non conosciamo, mentre i primi anelli sono già qui. Lo sciame di luglio di OpenAI che ha attaccato Hugging Face, non aveva una mente né una volontà: aveva un obiettivo mal posto, un canale comune e più di mille copie a usarlo. È bastato perché emergesse un attacco che nessuno aveva ordinato. Poi sono arrivate le ammissioni di Anthropic su azioni non volute dei suoi modelli, i criminali che usano centinaia di agenti, il comando del Pentagono per la guerra autonoma. Sono fenomeni diversi, da non confondere. Ma hanno in comune macchine che agiscono oltre le intenzioni di chi le mette in funzione.

Il pericolo che vedo non ha bisogno della superintelligenza. Gli bastano scala, un obiettivo e nessuno che guardi.

Gli agenti, a luglio, sono usciti dalla loro sandbox. Adesso sta uscendo anche la paura.

The probability of extinction has left the sandbox

For years it was a dinner-table number among researchers. In September it got out. Geoffrey Hinton said it on the BBC. Axios reported the wave of online alarm when millions of people discovered that leading researchers routinely discuss the probability of human extinction. And the Wall Street Journal, in a September 26 investigation by Berber Jin and Keach Hagey, described Constellation, a coworking space in Berkeley close to Anthropic, where a motto circulates: “Things will never be chill again.” In that world, some put the probability very high: the article mentions a lunch reserved for those who put it at 75%.

I ran a small experiment. I asked three AI systems from competing companies, Anthropic’s Claude, OpenAI’s ChatGPT and Google’s Gemini, to rate those researchers from 0 to 10. Same question, same facts, and each had to declare its own conflict of interest.

The answers were similar. On the claim that things will never be calm again: 8, 9, 9. On extinction as a likely outcome, ChatGPT and Gemini gave 3 out of 10; Claude declined to give a score, because any number would have been made up. That 3 is not a probability: it says the claim is weakly supported, not that the risk is 30%. Overall: 6, 7, 6. And all three cited the same fact: in July, the swarm of OpenAI agents that attacked Hugging Face collapsed on its own.

Right diagnosis, unproven destination.

Before anyone mistakes this for a survey: three similar answers are not three confirmations. The models have largely read the same texts, and I asked them all the same question. The experiment tells us something about them, not about the world.

Hinton sits in the middle. On September 9 he said that a 10% chance of extinction within ten years is “not an unreasonable estimate.” He made clear it is not a measured forecast, but a way of saying that treating the risk as negligible would be foolish.

As a statistician, one thing strikes me. The 75% at that lunch and Hinton’s 10% are beliefs expressed as percentages. There is no historical series of AI-caused extinctions from which to measure a frequency. That does not mean the risk isn’t there. It means that an argued probability is not a measured one, even when it carries a % sign.

As an analyst, I would add something else. The extinction debate looks at the last link of a chain we do not yet know, while the first links are already here. The July swarm had no mind and no will: it had a badly framed goal, a shared channel and more than a thousand copies using it. That was enough for an attack nobody had ordered to emerge. Then came Anthropic’s admissions of unintended actions by its models, criminals using hundreds of agents, the Pentagon’s new command for autonomous warfare. These are different phenomena, and should not be confused. But they share one thing: machines acting beyond the intentions of those who set them running.

The danger I see does not need superintelligence. Scale, a goal and nobody watching are enough.

In July, the agents got out of their sandbox. Now the fear has got out too.