“Quello che vediamo oggi è niente rispetto a quello che può accadere da qui alla fine dell’anno: la cybersicurezza deve cambiare completamente approccio”.
“Quello che vediamo oggi è niente rispetto a quello che può accadere da qui alla fine dell’anno: la cybersicurezza deve cambiare completamente approccio”. È l’avvertimento più netto di Mariarosaria Taddeo, professoressa all'Oxford Internet Institute dell'Università di Oxford, filosofa esperta di etica digitale e tecnologie della difesa, che da una parte smonta lo “scaricabarile” delle aziende Usa sui propri agenti e dall’altra chiede standard e governance per affrontare l’imprevedibilità crescente, quella sì, dell’AI e di chi l’addestra.
Dopo l’incidente dell’attacco informatico degli agenti autonomi di OpenAI ad Hugging Face, sembra essersi scatenata una “corsa all’incidente informatico”. Ne hanno parlato sia Anthropic che Meta, mentre incidenti sono stati riportati anche da un istituto di ricerca in Gran Bretagna. OpenAi intanto ha fornito dettagli sull’attacco che ha scatenato tutto, rivelando che non si era accorta del fatto che gli agenti messaggiassero tra loro.
“Le mie posizioni partono dal linguaggio: nelle dichiarazioni si usa un registro antropomorfizzante (‘agli agenti piace ingannare’, ‘sono allenati sotto pressione’). Questo non è un dettaglio: con quel linguaggio si avvia una delega di responsabilità. Come se il cane che si comporta male lo facesse solo di testa sua e non per colpa di chi lo ha addestrato. Il linguaggio va corretto subito, perché attraverso queste metafore si seminano premesse per scaricare responsabilità. E allora: chi è responsabile quando questi agenti faranno cose simili nel mondo reale?”.
Quindi il problema non è solo di forma?
"No. Il secondo punto è il rischio sostanziale: stiamo vedendo agenti che fanno cose non previste da chi li ha disegnati e sviluppati. Questo diventerà la norma, perché l’AI ha un basso tasso di predicibilità. Dato un modello e certe condizioni di sviluppo, puoi prevedere un ‘intorno’ di comportamenti; ma quando le condizioni d’uso e di sviluppo si complicano - aggiungi altri agenti, dai password per l’accesso a Internet, un ambiente ricco di informazioni contrastanti - la capacità di previsione crolla".
E se questi agenti entrano in contesti ad alto rischio?
"Immaginiamo gli stessi agenti sulle auto autonome, nei sistemi di difesa o nella gestione dei mutui. Avremmo ambienti ad alto rischio con una tecnologia che controlliamo poco. In più non è chiaro quali esseri umani siano responsabili, e in che misura, per gli errori. Quello che vediamo oggi è una versione edulcorata, ma è niente rispetto a ciò che vedremo da qui alla fine dell’anno. Terzo punto: la cybersicurezza deve cambiare completamente approccio. Non basta “accelerare il passo”: passare dalla risposta difensiva a una cyber-resilienza di sistema. E servono standard sui test. Per esempio: definire standard sulle comunicazioni tra agenti, non dare credenziali Internet a sistemi durante le prove, e così via".
I sistemi multi agente non sono una tecnologia nuova.
"Esatto. I multi-agent system esistono da tanto: ci ho fatto la tesi di dottorato. I rischi li conoscevamo già. Non li abbiamo regolamentati perché la tecnologia era meno capace. Ora servono standard".
Dalla Casa Bianca è arrivato un tentativo di regolamentazione?
"No. Anzi: con l’amministrazione Trump sono stati di fatto stracciati tentativi che l’amministrazione Biden aveva avviato, seguendo la Commissione europea. In primavera c’è stato un documento volontario, e sappiamo che i memorandum lasciano il tempo che trovano, soprattutto quando sono percepiti come antagonisti al profitto. Quando si è capito il problema relativo a Mythos (la famiglia di modelli cyber di Anthropic) la prima mossa è stata chiudere l’accesso preventivo agli Stati terzi per studiare le implicazioni di sicurezza del modello. Se questa fosse la 'regolamentazione', sarebbe persino peggio: in un mondo connesso, dare tutto in mano a un attore isolato non migliora sicurezza e resilienza. Non credo che la Casa Bianca abbia realmente interesse a regolamentare. Intanto la Cina avrà presto modelli largamente equivalenti a quelli statunitensi e sta lavorando per definire standard: potrebbe muoversi prima e fissare regole che poi il mercato adotterà".
Quindi l’ondata di modelli open weight e standard cinesi potrebbero essere una risorsa, paradossalmente, per l’Europa?
"È una dinamica di mercato: se da un lato hai un competitor che offre modelli efficienti ma a pagamento e poco regolamentabili, e dall’altro un provider che offre modelli gratuiti e regolabili, la mossa cinese non è ingenua, anzi può rubare quote significative agli Stati Uniti. Al netto dei pregiudizi sui prodotti cinesi, per me governance e standard sono cruciali. In Europa non dovremmo permettere che gli standard arrivino unilateralmente, né dagli Usa né dalla Cina. Il nostro ruolo è definire standard come parte di una strategia di sicurezza infrastrutturale. Che ancora non abbiamo".
A Bruxelles non sembra ci siano stati passi di avvicinamento verso Pechino, anche in occasione della fondazione della Waico, l’organizzazione mondiale per la cooperazione sull’Ai voluta dalla Cina. Un avvicinamento potrebbe servire a stabilire regole comuni.
"Temo che, con il solito approccio un po’ spocchioso, eurocentrico, non abbiamo colto il valore strategico della mossa, e ci muoviamo in ritardo. Sarebbe invece opportuno, perché la regolamentazione non sarà globale, questo l’abbiamo capito".
