Che c'è dentro l'AI? Niente di "intelligente", c'è solo statistica. Le parole illuminanti di Andreas Formiconi

Tramite i social media sono incappato in un post... in uno degli ormai innumerevoli post che spiegano come funziona l'intelligenza artificiale generativa; un post che ho trovato particolarmente efficace e illuminante rispetto alla media, soprattutto in un passaggio che reputo utile riportare qui sotto.

L'autore è Andreas Formiconi, Fisico, professore a contratto per il Laboratorio di Tecnologie Didattiche presso l'Università degli Studi di Firenze, autore di libri e articoli. Il post originario si intitola "AI generativa, stato dell’arte, (fosche) previsioni — spero sbagliate ma a pensare male…" ed è disponibile sul sito iamarf.org sotto licenza Creative Commons BY-SA 4.0.

- - - - - - - - - - -

Ma che c’è dentro l’AI? Niente. Pardon, volevo dire niente di “intelligente”, c’è solo statistica. Sofisticatissima statistica, meravigliose architetture informatiche, trasformatori magici che operano in labirinti di reti neurali. Ma nessun pensiero. Spieghiamo alla svelta come le parole (o parti di esse: token) siano immediatamente trasformate in posizioni (vettori) in spazi pluridimensionali — 4096 nel modello più sofisticato che sto usando. Una parola, “gatto” per esempio, diventa una collezione di 4096 numeri. Si chiamano spazi semantici ma le relazioni fra le parole non sono viste semanticamente ma solo in termini di vicinanza fra posizioni (vettori, per chi ha trascorsi matematici: la vicinanza semantica si calcola come prodotto scalare fra questi vettori, tanto più allineati, quanto alto il prodotto scalare e quindi più vicini).

E che ci fanno in questi spazi i Trasformatori Pre-istruiti Generativi (GPT: Generative Pretrained Transformer)? Una sola cosa: partendo da un testo ricevuto (input) indovinano (scelgono a caso fra un insieme di parole più probabili) la prossima parola. E basta, solo che ripetono ricorsivamente questo processo fino a formare un testo completo da mostrare (output). Ricorsivamente vuol dire che ogni nuova parola “indovinata” viene aggiunta al testo originario formando un nuovo input a partire dal quale “indovinare” la parola dopo e così via. Messaggio da portare a casa: zero intelligenza. Però funziona. Ma in contesti precisi, con vincoli precisi e molta attenzione umana, che spesso si risolve in maggiore impiego di tempo, non minore.

[...]

L’AI generativa è generativa ma banale, non creativa! L’implosione della conoscenza, titola un recente lavoro. Che è poi la posizione di Chomsky, che avvalla la sentenza Generative AI is autocompletion on steroids (T9 col turbo). Il motore dei Large Language Model è statistico, solo statistico. Quindi va sempre verso il probabile. La conoscenza umana cresce invece grazie alla ricerca dell’improbabile (induzione).