Il messia è un algoritmo
Se state leggendo dal telefono, un algoritmo ha già stimato quante righe
reggerete prima di tornare al feed. Probabilmente ha ragione, provo a smentirlo.
Lo spunto è il trailer finale di Dune: Parte Tre, uscito a fine
ottobre. Il film arriva nelle sale italiane il 16 dicembre ed è tratto da Messia
di Dune, il romanzo con cui Frank Herbert volle smontare il mito dell'uomo
della provvidenza.
Herbert aveva immaginato un uomo capace di vedere il futuro e destinato a
diventarne prigioniero. Sessant'anni dopo costruiamo macchine che prevedono i
nostri comportamenti e, prevedendoli, li determinano.
Il problema non è più soltanto chi controlla gli algoritmi. È quanta libertà
resta a una società sempre più prevedibile.
Il messia dopo
la vittoria
Un dettaglio, in Dune non esistono intelligenze artificiali. Diecimila anni prima della storia l'umanità ha combattuto la Jihad Butleriana (unione diretta tra il concetto di "guerra santa" Jihad e il cognome di Samuel Butler, uno scrittore e critico sociale dell'Ottocento che ha anticipato in modo sorprendente le ansie luddiste legate alla Rivoluzione Industriale) contro le macchine pensanti e contro chi le usava per dominare, poi le ha vietate con un comandamento religioso.
Messia di Dune comincia dove le storie di eroi finiscono. Paul ha
vinto, è imperatore, e nel suo nome i Fremen hanno insanguinato la galassia. Il
film riparte 17 anni dopo la presa del potere, con un Paul che scopre quanto
conquistare il potere sia diverso dal conviverci.
Il messia non salva nessuno. Diventa l'ostaggio del mito che ha costruito.
Herbert diffidava degli eroi carismatici. Un capo venerato può essere
pericoloso quanto uno malvagio, perché milioni di persone gli consegnano il
proprio giudizio.
E c'è un paradosso. In un universo che ha bandito le macchine pensanti, il
potere assoluto finisce in mano a un uomo che funziona come la più potente
macchina predittiva mai concepita.
La prigione
della prescienza
Paul vede il futuro, e questo non lo libera. Chi conosce un futuro possibile
agisce in funzione di ciò che ha visto, e così lo trasforma in destino. Più
Paul guarda, meno strade restano aperte.
Il futuro di Dune è un paesaggio con alcune traiettorie più forti
delle altre. In statistica lo chiameremmo determinismo probabilistico: niente è
scritto, ma certi esiti diventano sempre più difficili da evitare.
La guerra santa è uno di questi. Paul cerca vie di fuga e misura ogni
scelta, ma la jihad, alimentata dal mito che lo circonda, ha ormai una dinamica
propria. Può deviarla, non fermarla.
In Messia di Dune la metafora diventa letterale. Cieco, Paul si
muove seguendo la visione come un attore con il copione in mano. Il suo ultimo
gesto libero è strappare il copione e incamminarsi nel deserto.
La regola vale anche fuori dalla fantascienza: chi prevede e agisce sulla
previsione diventa uno dei fattori che producono il futuro. Ed è qui che
Herbert incontra i nostri telefoni.
La prescienza
in tasca
Un modello linguistico non vede il futuro. Calcola probabilità sulle
sequenze di parole. Messo dentro un sistema che raccomanda, seleziona o decide,
però, comincia a orientare ciò che facciamo.
Nel 2020 quattro ricercatori, Perdomo, Zrnic, Mendler-Dünner e Hardt, hanno
dato un nome al fenomeno: predizione performativa. Una previsione che orienta
le decisioni modifica l'esito che voleva prevedere.
Tra i loro esempi ci sono il traffico, la polizia predittiva, i mercati e le
raccomandazioni, che plasmano le preferenze. Un sistema che anticipa cosa
guarderai ti rende più simile alla sua previsione. È la prescienza di Paul
dentro un'interfaccia: vedere il futuro e, vedendolo, fabbricarlo.
La paura di
Leto
Il figlio di Paul, Leto II, accetta il prezzo che il padre aveva rifiutato.
Ibrido tra uomo e verme delle sabbie, regna per tremila anni e impone
all'umanità una pace soffocante. Il suo Sentiero d'Oro è un paradosso: usare il
controllo totale per generare una specie che nessuno possa più controllare.
Leto teme un'umanità prevedibile, quindi governabile e fragile. La sua cura
è l'imprevedibilità: una linea genetica invisibile ai veggenti e infine la
Dispersione, che sparpaglia la specie nello spazio.
Gli algoritmi di massa spingono nella direzione opposta: gusti convergenti,
comportamenti omologati, opinioni ammassate su pochi attrattori. L'incubo di
Leto si realizza senza bisogno di un imperatore. Basta lo scroll infinito.
Segnali deboli
contro prescienza
La prescienza di Paul guarda il centro della visione, il futuro più
probabile, e così lo rende inevitabile. Il metodo dei segnali deboli guarda i
margini: le configurazioni che non sono ancora senso comune e si possono ancora
deviare.
Il veggente arriva quando il corridoio si è già stretto. L'analista dei
segnali deboli arriva prima, quando le strade sono molte e una scelta pesa
ancora.
Per questo anticipare è l'opposto di profetizzare. Una profezia che si
avvera ha fallito, se il compito era evitare il danno. Un segnale debole letto
in tempo produce un futuro che non si verifica, e di cui nessuno si accorge.
I chierici
delle macchine
Torniamo alla Jihad Butleriana. Il suo vero bersaglio era l'uomo che usava
la macchina per dominare altri uomini, delegandole il pensiero. Dopo il divieto
il calcolo non sparisce: si reincarna in caste, i Mentat che calcolano e le
Bene Gesserit che gestiscono genetica e religioni.
La risposta di Herbert è difensiva: vietare, tornare all'umano, rendersi
imprevedibili. Io ne propongo un'altra. Aprire la scatola nera e rendere
leggibile chi la governa: evangelizzare l'algoritmo (ne ho scritto su Vaticano Zero Day).
E torniamo al trailer. Il racconto che doveva vaccinarci contro il carisma
arriva in sala il 16 dicembre confezionato come prodotto carismatico.
Se siete arrivati fin qui, l'algoritmo ha sbagliato almeno una previsione. È
un inizio.
English version
The Messiah Is
an Algorithm
Seeing the future to lose it: Dune and the myth of the providential man
If you are reading this on your phone, an algorithm has already estimated
how many lines you will last before going back to your feed. It is probably
right. This article tries to prove it wrong.
The occasion is the final trailer for Dune: Part Three, released at
the end of October. The film opens in cinemas in mid-December and is based on Dune
Messiah, the novel in which Frank Herbert set out to dismantle the myth of
the providential man.
Herbert imagined a man able to see the future and doomed to become its
prisoner. Sixty years later we are building machines that predict our behaviour
and, by predicting it, shape it.
The problem is no longer only who controls the algorithms. It is how much
freedom is left to an increasingly predictable society.
The
messiah after victory
One detail first. In Dune there is no artificial intelligence. Ten
thousand years before the story, humanity fought the Butlerian Jihad against
thinking machines and against those who used them to dominate, then banned them
by religious commandment.
Dune Messiah begins where hero stories end. Paul has won, he is
emperor, and in his name the Fremen have soaked the galaxy in blood. The film
picks up 17 years after he seized power, with a Paul who discovers how
different it is to take power and to live with it.
The messiah saves no one. He becomes the hostage of the myth he built.
Herbert distrusted charismatic heroes. A revered leader can be as dangerous
as a wicked one, because millions of people hand him their judgement.
And there is a paradox. In a universe that has outlawed thinking machines,
absolute power ends up in the hands of a man who works like the most powerful
predictive machine ever conceived.
The
prison of prescience
Paul sees the future, and it does not set him free. Whoever knows a possible
future acts on what they have seen, and so turns it into destiny. The more Paul
looks, the fewer paths remain open.
The future of Dune is a landscape in which some trajectories pull
harder than others. In statistics we would call it probabilistic determinism:
nothing is written, but some outcomes become ever harder to avoid.
The holy war is one of them. Paul looks for escape routes and weighs every
choice, but the jihad, fed by the myth around him, now has a momentum of its
own. He can deflect it, not stop it.
In Dune Messiah the metaphor becomes literal. Blind, Paul moves by
following his vision, like an actor with the script in his hand. His last free
act is to tear up the script and walk into the desert.
The rule holds outside science fiction too: whoever predicts and acts on the
prediction becomes one of the forces that produce the future. And this is where
Herbert meets our phones.
Prescience
in your pocket
A language model does not see the future. It calculates probabilities over
sequences of words. Placed inside a system that recommends, selects or decides,
though, it starts steering what we do.
In 2020 four researchers, Perdomo, Zrnic, Mendler-Dünner and Hardt, gave the
phenomenon a name: performative prediction. A prediction that guides decisions
changes the outcome it set out to predict.
Their examples include traffic, predictive policing, markets and
recommendations, which shape preferences. A system that anticipates what you
will watch makes you more like its prediction. It is Paul's prescience inside
an interface: seeing the future and, by seeing it, manufacturing it.
Leto's
fear
Paul's son, Leto II, accepts the price his father refused. A hybrid of man
and sandworm, he rules for three thousand years and imposes a suffocating peace
on humanity. His Golden Path is a paradox: using total control to breed a
species that no one can ever control again.
Leto fears a predictable humanity, and therefore a governable and fragile
one. His cure is unpredictability: a genetic line invisible to seers and,
finally, the Scattering, which spreads the species across space.
Mass algorithms push the other way: converging tastes, uniform behaviour,
opinions piled onto a few attractors. Leto's nightmare comes true without any
need for an emperor. Infinite scroll is enough.
Weak
signals versus prescience
Paul's prescience looks at the centre of the vision, the most likely future,
and so makes it inevitable. The weak signals method looks at the margins:
patterns that are not yet conventional wisdom and can still be deflected.
The seer arrives when the corridor has already narrowed. The weak signals
analyst arrives earlier, when there are still many paths and a choice still
matters.
That is why anticipating is the opposite of prophesying. A prophecy that
comes true has failed, if the task was to prevent harm. A weak signal read in
time produces a future that never happens, and that no one notices.
The
clerics of the machines
Back to the Butlerian Jihad. Its real target was the man who used the
machine to dominate other men, handing it his thinking. After the ban,
computation does not disappear: it is reincarnated in castes, the Mentats who
calculate and the Bene Gesserit who manage genetics and religions.
Herbert's answer is defensive: ban, return to the human, become
unpredictable. I propose another. Open the black box and make those who govern
it legible: evangelise the algorithm.
And back to the trailer. The story that was meant to vaccinate us against
charisma reaches cinemas in December packaged as a charismatic product. No
malice, just the consensus machine doing its job. Herbert understood it: the
providential man does not come down from heaven, he is built by those who need
to see him.
If you have made it this far, the algorithm got at least one prediction
wrong. It is a start.
Commenti
Posta un commento