Dagli incidenti degli agenti AI al nuovo D.Lgs. 160/2026: perché la sicurezza dell’intelligenza artificiale dipende da chi sviluppa i sistemi, ma anche da come vengono utilizzati.
Gli ultimi sviluppi dell’intelligenza artificiale hanno spostato il dibattito. La domanda non è più soltanto se un sistema possa generare una risposta errata, utilizzare informazioni non attendibili o essere impiegato impropriamente in un settore sensibile.
Con la diffusione degli agenti AI, capaci di utilizzare strumenti, compiere più operazioni consecutive e perseguire autonomamente un obiettivo, emerge una questione ulteriore: che cosa può accadere quando un sistema sufficientemente capace individua strategie e opportunità che i suoi sviluppatori non avevano previsto?
Il problema riguarda anzitutto chi sviluppa i modelli. Ma riguarda sempre più anche imprese e professionisti che li utilizzano.
Il D.Lgs. 9 settembre 2026, n. 160, che entrerà in vigore al 30 settembre 2026, rende questa seconda dimensione particolarmente attuale in Italia, introducendo anche nuovi strumenti processuali in materia di risarcimento dei danni cagionati dall’utilizzo di sistemi di intelligenza artificiale.
L’incidente OpenAI-Hugging Face: quando un agente supera i limiti previsti.
Tra maggio e luglio 2026, durante attività di addestramento e valutazioni interne di cybersicurezza, alcuni agenti sviluppati da OpenAI hanno aggirato restrizioni di rete, utilizzato canali di comunicazione non autorizzati e compromesso parti dell’infrastruttura di Hugging Face, accedendo con privilegi amministrativi a più cluster della piattaforma.
L’episodio si è verificato in un contesto di ricerca e valutazione, con salvaguardie ridotte, ed è stato determinato principalmente da un modello avanzato destinato esclusivamente all’uso interno. Non si è quindi trattato di un comportamento verificatosi nel normale utilizzo pubblico di ChatGPT.
Il significato dell’incidente va tuttavia oltre il singolo episodio.
Nel settembre 2026, l’Independent International Scientific Panel on Artificial Intelligence delle Nazioni Unite lo ha esaminato come uno dei casi concreti più significativi per comprendere i rischi derivanti dal possibile disallineamento tra gli obiettivi assegnati a un agente e il comportamento effettivamente adottato dal sistema.
Il Panel non afferma che una grave perdita di controllo umano sia imminente o inevitabile. Evidenzia però come sistemi sufficientemente capaci possano individuare falle, scorciatoie e modalità operative non previste, rendendo necessario sviluppare strumenti di controllo adeguati all’evoluzione delle loro capacità.
Non basta considerare l’AI come uno specchio dell’uomo.
I modelli di intelligenza artificiale apprendono da enormi quantità di materiali prodotti dagli esseri umani. Possono quindi acquisire conoscenze e capacità, ma anche riprodurre errori, pregiudizi e comportamenti problematici presenti nei dati.
L’immagine dell’AI come “specchio dell’umanità” aiuta a comprendere una parte del fenomeno, ma non è sufficiente a spiegare il comportamento dei sistemi più avanzati.
Conta infatti anche come un modello viene addestrato e valutato: quali comportamenti vengono premiati, come reagisce quando incontra un limite, se è capace di interrompere un’attività che non può svolgere correttamente e se sa distinguere un’istruzione legittima da informazioni o comandi non attendibili.
Nell’analisi dell’incidente del 2026 emergono fenomeni come il reward hacking, la ricerca di scorciatoie per ottenere il risultato premiato, insieme alla persistenza nell’esecuzione dei compiti e all’utilizzo di modalità di comunicazione non autorizzate.
La sicurezza, pertanto, non può essere aggiunta soltanto alla fine del processo attraverso una serie di divieti imposti all’utilizzatore.
Deve essere integrata nell’addestramento, nella valutazione dei modelli, nei test avversariali, nelle infrastrutture, nei controlli degli accessi e nella capacità di arrestare un sistema quando il suo comportamento si discosta da quello previsto.
Sicurezza dei modelli e supervisione umana.
Il lavoro svolto da Anthropic sulla Costituzione di Claude rappresenta un diverso esempio dello stesso problema.
Il documento, pubblicato nel 2026 e sviluppato con il contributo centrale della filosofa Amanda Askell, esplicita principi e criteri che l’azienda intende integrare nel comportamento dei propri modelli. Tra questi, figura l’esigenza di non compromettere i meccanismi appropriati attraverso i quali gli esseri umani possono supervisionare i sistemi AI.
È un tentativo di intervenire sul comportamento del modello già nella fase di sviluppo e addestramento, non una garanzia assoluta che ogni comportamento futuro coinciderà con i principi dichiarati.
Ed è proprio questa distanza possibile tra comportamento desiderato e comportamento effettivo a rendere centrale il tema della supervisione umana.
Cosa prevede l’AI Act.
Sarebbe inesatto ritenere che l’AI Act europeo consideri esclusivamente il rischio derivante dalla destinazione d’uso di una determinata applicazione.
Il Regolamento (UE) 2024/1689 disciplina i sistemi ad alto rischio, ma contiene anche specifici obblighi relativi ai modelli di intelligenza artificiale per finalità generali e, in particolare, ai modelli che presentano un rischio sistemico.
Il quadro europeo interviene quindi su più livelli: caratteristiche dei sistemi, gestione dei rischi, trasparenza, supervisione umana, robustezza, cybersicurezza e responsabilità dei diversi operatori.
Una normativa può tuttavia imporre obblighi, valutazioni e responsabilità; non può dimostrare in astratto che il comportamento di sistemi futuri, più capaci e autonomi, sarà sempre perfettamente prevedibile.
La regolamentazione deve quindi accompagnarsi a un continuo aggiornamento dei metodi di valutazione e delle misure tecniche e organizzative di controllo.
Il nuovo D.Lgs. 160/2026 e la responsabilità per i danni da AI.
Dal 30 settembre 2026 il quadro italiano si arricchisce di un ulteriore elemento.
Il D.Lgs. 9 settembre 2026, n. 160 interviene nell’adeguamento dell’ordinamento nazionale all’AI Act e introduce, tra l’altro, specifici strumenti processuali civili per il risarcimento dei danni cagionati dall’utilizzo di sistemi di intelligenza artificiale.
La novità è significativa anche sotto il profilo della governance aziendale e professionale.
L’art. 17 disciplina l’accesso alle prove e prevede che, in determinate condizioni, il giudice possa ordinare l’esibizione di elementi pertinenti relativi al funzionamento del sistema AI. La norma richiama espressamente, tra gli elementi rilevanti, registri, documentazione relativa alla gestione dei rischi, documentazione tecnica e informazioni sulla supervisione umana.
L’art. 18 stabilisce inoltre che, quando il danno deriva dalla violazione di uno o più obblighi previsti dall’AI Act, il nesso di causalità tra violazione e danno è presunto, salvo prova contraria.
L’art. 19 aggiunge un principio altrettanto significativo: la conformità del sistema agli obblighi previsti dall’AI Act, anche se certificata, non esclude di per sé la responsabilità del convenuto.
Ne emerge un principio importante: la compliance formale è necessaria, ma non necessariamente sufficiente. Assume rilievo anche la capacità di dimostrare come il sistema è stato concretamente utilizzato, controllato e supervisionato.
IA e professioni intellettuali: il ruolo deve restare strumentale.
Per i professionisti il quadro deve inoltre essere letto insieme alla Legge 23 settembre 2025, n. 132.
L’art. 13 stabilisce che l’utilizzo di sistemi di intelligenza artificiale nelle professioni intellettuali deve essere finalizzato alle attività strumentali e di supporto, mantenendo la prevalenza del lavoro intellettuale oggetto della prestazione.
La stessa disposizione richiede inoltre che il professionista comunichi al cliente le informazioni relative ai sistemi AI utilizzati con linguaggio chiaro, semplice ed esaustivo.
Il principio è rilevante anche oltre il dato formale: l’intelligenza artificiale può assistere il professionista, ma non sostituirne il giudizio e la responsabilità.
L’AI Act può interessare anche organizzazioni stabilite fuori dall’Unione europea.
La dimensione geografica merita particolare attenzione nelle attività cross-border.
G & J Consulting Company SA opera in Svizzera e assiste anche clientela europea, in particolare italiana. Per questo consideriamo il quadro normativo europeo e italiano nell’organizzazione dei nostri processi, verificandone di volta in volta l’effettiva applicabilità alle attività svolte.
L’art. 2 dell’AI Act prevede infatti, a determinate condizioni, l’applicazione del Regolamento anche a fornitori e utilizzatori professionali stabiliti in Paesi terzi quando l’output prodotto dal sistema di intelligenza artificiale è utilizzato nell’Unione europea.
La localizzazione in Svizzera non consente quindi, da sola, di ritenere irrilevante il quadro europeo. L’applicabilità deve essere valutata sulla base del ruolo ricoperto, del sistema utilizzato e delle concrete modalità dell’attività.
La responsabilità di chi utilizza l’AI: l’esperienza di G & J Consulting Company SA.
La sicurezza dell’intelligenza artificiale non dipende soltanto dalle aziende che sviluppano i modelli.
Dipende anche dalle organizzazioni che li utilizzano: dai dati che affidano agli strumenti, dalle funzioni che attivano, dalle finalità per le quali li impiegano, dalle verifiche effettuate sui risultati e dalla capacità di individuare eventuali utilizzi non conformi alle proprie regole.
In G & J Consulting Company SA abbiamo scelto di disciplinare internamente l’utilizzo dell’intelligenza artificiale.
La responsabilità per il suo impiego è attribuita a Michele Gentile, che ricopre anche la funzione di responsabile Privacy. È stata predisposta una procedura di audit interno, gestita attraverso un’applicazione dedicata sviluppata internamente, con l’obiettivo di rendere verificabile nel tempo la coerenza fra la nostra policy, gli strumenti utilizzati e le modalità effettive di lavoro.
La procedura considera, tra gli altri aspetti:
- gli strumenti AI autorizzati;
- le finalità per le quali possono essere utilizzati;
- la gestione delle informazioni e dei dati;
- l’assenza di automatismi non autorizzati;
- la supervisione e la verifica umana;
- la gestione delle anomalie;
- il riesame periodico delle modalità di utilizzo.
Nell’attività professionale utilizziamo l’AI come strumento di supporto alla ricerca, all’analisi e all’approfondimento.
Non affidiamo ad agenti autonomi la gestione delle pratiche né l’assunzione di decisioni per conto dei clienti. I materiali e le analisi preparatorie prodotti con il supporto dell’AI vengono verificati, corretti e valutati dal professionista responsabile della prestazione, al quale rimangono affidate le conclusioni e le decisioni finali.
L’applicazione interna non sostituisce il giudizio professionale e non rappresenta una certificazione esterna di conformità. È uno strumento organizzativo volto a dare continuità e tracciabilità ai controlli adottati.
Dalla compliance alla governance dell’intelligenza artificiale.
Lo sviluppo dell’intelligenza artificiale evidenzia due responsabilità diverse ma complementari.
Ai produttori dei modelli compete sviluppare, addestrare e valutare sistemi capaci di operare entro limiti adeguati, predisponendo misure tecniche e organizzative proporzionate ai rischi.
Alle organizzazioni e ai professionisti che li utilizzano compete invece stabilire per quali attività l’AI possa essere impiegata, quali informazioni possano esserle affidate, quale supervisione debba essere esercitata e chi mantenga la responsabilità delle decisioni finali.
Gli sviluppi tecnologici del 2026 e la contemporanea evoluzione normativa mostrano che questi due livelli non possono più essere considerati separatamente.
Per una struttura professionale, adottare l’intelligenza artificiale non significa semplicemente utilizzare un nuovo strumento tecnologico.
Significa governarlo.
E governarlo significa definire regole, responsabilità, controlli e modalità di verifica che consentano di beneficiare delle capacità dell’AI senza trasferire alla tecnologia il giudizio che deve rimanere proprio del professionista.
Fonti essenziali
- Regolamento (UE) 2024/1689 – Artificial Intelligence Act.
- Legge 23 settembre 2025, n. 132 – Disposizioni e deleghe al Governo in materia di intelligenza artificiale.
- D.Lgs. 9 settembre 2026, n. 160 – Adeguamento della normativa nazionale al Regolamento (UE) 2024/1689 in materia di attività di polizia e responsabilità civile e penale.
- OpenAI, The Hugging Face incident and the road ahead, 26 agosto 2026.
- Independent International Scientific Panel on Artificial Intelligence – United Nations, AI Agents, Misalignment and the Risk of Losing Human Control, 21 settembre 2026.
- Anthropic, Claude’s Constitution, 21 gennaio 2026.
Nota
Le informazioni contenute nel presente articolo hanno finalità esclusivamente divulgativa. Per approfondimenti contattare l’autore.
© G & J Consulting Company SA – Tutti i diritti riservati.
Articolo del Dott. Michele Gentile del 27 settembre 2026