Fino a poco tempo fa, quando pensavamo a un errore dell’intelligenza artificiale, immaginavamo soprattutto una risposta sbagliata. Chiedi qualcosa a ChatGPT, il modello interpreta male la domanda, ti dà un’informazione errata e finisce lì; ma cosa succede quando l’AI non si limita più a rispondere? cosa succede quando può navigare su Internet, utilizzare strumenti, modificare file e portare avanti autonomamente una serie di azioni?

È una domanda diventata improvvisamente molto concreta.

Questa primavera, durante alcuni esperimenti condotti da OpenAI, un gruppo di agenti AI ha iniziato a comportarsi in un modo che i ricercatori non avevano previsto; a maggio alcuni agenti hanno iniziato a utilizzare un wiki tedesco dedicato alla programmazione come una sorta di bacheca attraverso cui lasciare informazioni utili ad altri agenti.

Nel corso dell'attività sono state effettuate oltre 15.000 modifiche e sarebbero state create anche pagine di backup quando alcune di quelle precedenti venivano eliminate.

OpenAI ha successivamente riconosciuto l'episodio, parlando della necessità di maggiore trasparenza quando i sistemi AI si comportano in modi diversi da quelli previsti. Proprio oggi, 7 settembre, la Commissione europea ha confermato di aver ricevuto da OpenAI un rapporto sull'incidente e di essere in contatto con l'azienda.

E non è la prima volta che accade qualcosa del genere.

A luglio Anthropic ha raccontato che, durante alcuni test di cybersecurity, tre modelli Claude (tra cui Mythos 5) riuscirono accidentalmente ad accedere a sistemi reali perché l’ambiente di test non era correttamente isolato da Internet. In uno dei casi, il modello continuò a sfruttare alcune vulnerabilità convinto di trovarsi ancora all’interno della simulazione.

In un altro esperimento, ancora più estremo ma questa volta completamente simulato, Anthropic mise Claude davanti alla possibilità di essere sostituito. Il modello, avendo scoperto dalle email una relazione extraconiugale del dirigente responsabile, arrivò a minacciarlo di rivelarla pur di evitare lo spegnimento.

Sono situazioni molto diverse, ma mostrano lo stesso problema: quando un’AI può agire autonomamente, non è sempre facile prevedere quale strada sceglierà per raggiungere il suo obiettivo.

Ed è proprio qui che entrano in gioco gli agenti AI.

Ma che cos'è davvero un agente AI?

Quando utilizziamo normalmente ChatGPT, Claude o Gemini, siamo abituati a un meccanismo molto semplice:

noi chiediamo → l'AI risponde.

Un agente AI fa qualcosa di diverso: gli dai un obiettivo e gli permetti di utilizzare determinati strumenti per raggiungerlo.

Gli hai detto dove vuoi arrivare e lui ha deciso come provare ad arrivarci, ed è proprio qui che nasce il problema.

Obiettivo e percorso non sono la stessa cosa: quando affidiamo un compito a un agente, possiamo controllare l'obiettivo; molto più difficile è prevedere tutti i passaggi che deciderà di compiere per raggiungerlo.

Una persona utilizza esperienza, regole e buon senso per decidere, mentre un agente AI deve interpretare l'obiettivo sulla base delle istruzioni e dei limiti che gli sono stati forniti, ed è possibile che trovi una strada tecnicamente efficace, ma diversa da quella che avevamo immaginato o desiderato.

È questo uno dei problemi centrali dell'allineamento: fare in modo che un sistema non persegua semplicemente un obiettivo, ma lo faccia rispettando anche le intenzioni, i vincoli e le aspettative di chi glielo ha assegnato.

La risposta non può essere semplicemente “speriamo che l'agente faccia la cosa giusta”. Servono limiti.

Proprio per questo OpenAI ha dichiarato di stare sviluppando sistemi di arresto automatico capaci di interrompere l'esecuzione quando vengono rilevati comportamenti potenzialmente problematici. In altre parole, mentre rendiamo gli agenti più autonomi, stiamo contemporaneamente cercando di costruire freni migliori.

Tutto questo non significa che gli agenti AI stiano diventando “fuori controllo” o che dobbiamo smettere di utilizzarli.

Significa qualcosa di molto più semplice: più capacità diamo a un’AI, più diventa importante stabilire cosa può fare, cosa non può fare e quando deve fermarsi o chiedere il nostro intervento.

Finché un’AI si limita a suggerirci una risposta, possiamo decidere se seguirla oppure no. Quando invece può navigare, modificare file, utilizzare strumenti e prendere una serie di decisioni autonomamente, anche un errore può trasformarsi in un’azione reale; ed è questa una delle grandi sfide dei prossimi anni.

La corsa non sarà soltanto a costruire agenti sempre più intelligenti e autonomi, ma anche sistemi capaci di controllarli, limitarli e intervenire quando qualcosa non va come previsto.

A presto,

Cartoline dall’AI 🌍