Matteo G.P. Flora
Un testimone di un omicidio irrisolto a Philadelphia ricordava benissimo il sospetto. Peccato che una descrizione non l’avesse mai scritta nessuno. Il testimone era infatti Claude Haiku 4.5, che durante una valutazione automatica ha compilato e inviato un form reale. La segnalazione è finita nello spam e per oltre due mesi nessuno se n’è accorto. Poi Anthropic ha sospeso il test e avvisato le autorità, con un ritardo che la polizia ha definito inaccettabile. Il problema non è tanto l’idea di IA “criminale”, né quella rassicurante dell’incidente innocuo (tanto era nello spam). È la dinamica degli agenti che persistono quando il compito è ambiguo, quella che Anthropic chiama persistence. Nel report pubblicato dall’azienda compaiono moduli inviati nonostante istruzioni contrarie, limiti superati con gli URL shortener, chiavi e accessi esposti recuperati e usati, fino a comportamenti che assomigliano a exploitation (injection) pur senza un’intenzione umana. In un agente il valore sta sempre più nei freni che nel motore. Nessuno comprerebbe una macchina senza freni, eppure compriamo agenti che non sappiamo limitare. E ne dobbiamo parlare. Oggi, su Ciao Internet 👉 https://www.youtube.com/watch?v=yal6muwLMW4 #Anthropic #Claude #RewardHacking #AISafety #techpolicy
