L'intelligenza artificiale non è più soltanto uno strumento di supporto alle decisioni. Oggi i sistemi agentici pianificano ed eseguono azioni di marketing in autonomia: definiscono budget, regolano prezzi in tempo reale, segmentano il pubblico e lanciano campagne senza attendere l'approvazione umana. Ma quando la macchina decide da sola, chi risponde degli errori?
Queste sono le domande al centro dell'intervista rilasciata a uno studente del NOVA School of Business and Economics di Lisbona, nell'ambito della tesi di ricerca "How does the adoption of Agentic AI transform marketing processes?". Le risposte offrono una mappa operativa per comprendere come ridisegnare governance, accountability e supervisione umana quando l'IA agisce in autonomia.
⚖️ Da un punto di vista legale e di governance, come cambia la struttura dell'accountability nel passaggio dall'IA come supporto decisionale all'IA come decisore autonomo?
Dalla mia esperienza legale, confermo che questo passaggio non altera la struttura di vertice della governance: il Titolare del Trattamento rimane il fulcro della responsabilità finale verso gli interessati e le autorità. Tuttavia, l'accountability subisce un cambio di paradigma: si sposta dalla validazione della singola decisione alla governance del sistema e dei suoi guardrail.
Se con l'IA di supporto l'umano valida ogni output, con l'IA autonoma (agentica) il Titolare deve garantire una supervisione costante. Questo significa che l'essere umano non deve necessariamente intervenire in ogni singolo passaggio — evitando di diventare un "collo di bottiglia" — ma deve essere sempre pronto a intervenire o bloccare le azioni dell'agente in qualsiasi momento, disponendo di un "kill-switch" effettivo. È un concetto simile a quello dei veicoli a guida autonoma: il sistema si muove da solo, ma l'umano supervisiona che resti entro i binari stabiliti.
La responsabilità del Titolare è piena e "verticale". Se lo sviluppo è interno, il Titolare risponde dell'operato dei suoi programmatori e deve implementare controlli compensativi per verificare che il codice sia corretto e funzionante. In caso di fornitori esterni, la sfida è contrattuale: spesso i termini d'uso tentano di scaricare tutta la responsabilità sul cliente (deployer). Pertanto, l'accountability si traduce nel dovere di effettuare audit specifici per verificare che il fornitore sia valido, efficiente e rispetti gli standard di sicurezza e i limiti operativi concordati. La verifica contrattuale deve prestare particolare attenzione alle procedure di escalation, alle garanzie esplicite fornite dal provider in caso di malfunzionamento e alla conformità con i principi di security by design previsti dall'Art. 32 del GDPR.
🎯 Quando un sistema di IA autonomo prende una decisione di marketing dannosa, chi è effettivamente responsabile? Esiste un rischio di diluizione dell'accountability?
Nella pratica, non assistiamo a una vera diluizione della responsabilità legale "esterna": secondo la struttura verticale prevista dal GDPR e dall'AI Act, il Titolare del Trattamento (o deployer) rimane l'unico e ultimo responsabile per le attività svolte dall'IA per suo conto. Il rischio di diluizione è semmai "interno" o processuale, causato dalla tendenza dei fornitori a limitare drasticamente la propria responsabilità nei termini e condizioni d'uso, rendendo spesso difficile la rivalsa in caso di malfunzionamento.
Il Titolare risponde direttamente ai sensi del GDPR e pertanto ha l'onere di provare di aver adempiuto correttamente a tutti gli obblighi del Regolamento, inclusa l'adozione di misure di sicurezza adeguate (Art. 32) e la corretta gestione dei Responsabili del Trattamento (Art. 28). Non basta dichiarare di essersi affidati a un fornitore esterno; il Titolare ha la responsabilità del controllore e deve verificare, tramite audit specifici, che il fornitore sia valido, efficiente e rispetti gli standard promessi.
La responsabilità del fornitore emerge solitamente solo se il danno deriva da un difetto intrinseco di conformità del prodotto o da una violazione di garanzie contrattuali specifiche, come l'implementazione di un processo di escalation che attivi la supervisione umana quando l'algoritmo tocca soglie critiche. Per evitare che l'operato dell'azienda venga giudicato come una gestione "casuale" del rischio, è essenziale che il Titolare rediga una DPIA (Valutazione di Impatto sulla Protezione dei Dati). Questo strumento permette di trasformare l'adozione dell'IA in una decisione consapevole, mappando preventivamente "uno per uno" rischi come i bias algoritmici o il pricing discriminatorio e definendo le misure necessarie per mitigarli.
La DPIA non rappresenta una scelta puramente difensiva, bensì una valutazione documentata del rischio: il Titolare, dopo aver condotto un'analisi rigorosa, può decidere di procedere comunque assumendosi consapevolmente la responsabilità. La differenza tra una buona e una cattiva governance non risiede nell'assenza di rischi, ma nella capacità di dimostrare di averli identificati, valutati e affrontati consapevolmente. Senza queste tutele e clausole specifiche sui subfornitori, il Titolare rimane il "parafulmine" principale delle sanzioni.
📐 La governance deve aumentare in modo proporzionale al grado di autonomia dell'IA, oppure deve crescere più che proporzionalmente ai livelli più alti?
Assolutamente. La governance deve seguire il principio di proporzionalità sancito dai regolamenti europei come il GDPR, l'AI Act e la NIS2. Questo significa che, sebbene gli obblighi debbano essere commisurati alla realtà aziendale, l'attenzione deve concentrarsi sul rischio effettivo per i diritti e le libertà degli interessati. Tuttavia, concordo sul fatto che per i sistemi ad alta autonomia, come gli agenti AI, la governance debba compiere un salto qualitativo, diventando molto più serrata.
Per un'IA a basso rischio possono bastare presìdi standard, ma quando un sistema agisce in modo autonomo — decidendo ad esempio prezzi o budget in tempo reale — la governance deve farsi estremamente granulare per evitare che errori minimi portino a conseguenze imprevedibili, come un sistema che inizia a vendere prodotti a prezzi variabili a seconda di caratteristiche personali del soggetto. Non è sufficiente una policy statica; servono monitoraggi continui e l'implementazione di guardrail (binari operativi) che impongano limiti interni al sistema, insieme a strumenti di Explainable AI (XAI) per garantire la trasparenza e l'interpretabilità dei processi decisionali.
È fondamentale inoltre prevedere processi di escalation e trigger specifici che attivino la supervisione umana: l'umano deve essere costantemente in grado di intervenire o bloccare l'agente se vengono toccate soglie critiche. In sintesi, maggiore è l'autonomia decisionale della macchina, più robusta e "consapevole" deve essere la cornice di sicurezza e accountability costruita dal Titolare per proteggere l'azienda e gli utenti.
Un aspetto che spesso viene trascurato è che queste valutazioni devono applicarsi a prescindere dalla dimensione aziendale: una PMI deve applicare gli stessi principi di governance in scala proporzionata al rischio effettivo, non è un'esclusiva delle grandi aziende. Anche le realtà minori, se implementano sistemi autonomi, devono effettuare analisi dei rischi, monitoraggi e definire guardrail adeguati alla loro operatività.
🚨 Quali tipi di soglie dovrebbero innescare l'intervento umano nei sistemi di marketing autonomi?
Dal punto di vista della protezione dei dati, la definizione di queste soglie non rappresenta soltanto una scelta di efficienza operativa, ma un preciso obbligo di salvaguardia previsto dall'Articolo 22 del GDPR, che disciplina il diritto dell'interessato di non essere sottoposto a decisioni basate unicamente su trattamenti automatizzati che producano effetti giuridici o significativamente analoghi. In un sistema di marketing autonomo, l'intervento umano deve essere garantito attraverso processi di escalation attivati da specifici trigger (soglie critiche) definiti ex-ante dal Titolare.
Nello specifico, l'intervento di un operatore deve attivarsi obbligatoriamente qualora il trattamento coinvolga le categorie particolari di dati personali (Articolo 9), come i dati biometrici o quelli relativi alla salute. Allo stesso modo, la governance deve prevedere un blocco o un'escalation verso un supervisore quando l'IA interagisce con soggetti vulnerabili, come i minori, per prevenire bias algoritmici, forme di manipolazione (come i dark pattern) o lo sfruttamento della loro naturale fragilità decisionale.
Oltre a questi parametri, devono operare soglie oggettive legate all'impatto economico e sociale della decisione: se l'azione automatizzata incide in modo significativo sulla situazione finanziaria o sulla dignità dell'utente — come nel caso di un pricing discriminatorio, di una negazione di servizi essenziali o di un calcolo di scoring penalizzante — il sistema deve cedere il controllo a un operatore umano. Questo assicura una supervisione costante, dove l'umano non è un ostacolo al processo ma un supervisore pronto a intervenire per garantire la trasparenza, spiegare la logica del trattamento e permettere all'interessato di esprimere il proprio punto di vista.
⚠️ Quali sono i principali rischi legali nell'implementazione di sistemi di IA autonoma nel marketing e nelle funzioni corporate?
L'analisi dei rischi legali associati all'IA autonoma nel marketing deve necessariamente partire da una rigorosa DPIA. Poiché l'autonomia decisionale di questi sistemi può generare impatti significativi sui diritti e le libertà degli interessati, la DPIA non è solo un obbligo legale per l'uso di nuove tecnologie ad alto rischio, ma lo strumento centrale per trasformare l'adozione dell'IA in una decisione consapevole e documentata, anziché un processo lasciato al caso.
La DPIA prevede una descrizione sistematica dei trattamenti, una valutazione della necessità e della proporzionalità, e una valutazione rigorosa dei rischi con indicazione delle misure di mitigazione. Tra i contenuti essenziali figurano anche il coinvolgimento dei responsabili del trattamento e, ove nominato, il parere del Data Protection Officer (DPO), il quale esprime un giudizio sulla conformità dell'implementazione e sulla robustezza delle misure proposte.
Uno dei pericoli più gravi è rappresentato dai bias algoritmici, che possono dar luogo a esiti discriminatori o trattamenti ingiusti. Ad esempio, un sistema di pricing dinamico potrebbe penalizzare determinati utenti basandosi su abitudini di navigazione che correlano indirettamente con la condizione socio-economica, l'etnia o il luogo di residenza, violando i principi di correttezza e non discriminazione del GDPR. A questo si aggiunge il rischio legato all'adozione di dark pattern o tecniche di manipolazione algoritmica studiate per sfruttare le vulnerabilità psicologiche dei consumatori e indurre acquisti impulsivi o raccogliere consensi non validi.
Un'ulteriore problematica riguarda la trasparenza e la spiegabilità. L'opacità intrinseca dei modelli di deep learning rende estremamente complesso soddisfare l'obbligo, previsto dagli Articoli 13, 14 e 22 del GDPR, di fornire informazioni significative sulla logica utilizzata nel processo decisionale. Senza questa "spiegabilità", garantita anche tramite strumenti di XAI, il Titolare rischia di non poter garantire all'interessato l'esercizio effettivo dei suoi diritti, come la possibilità di esprimere il proprio punto di vista o contestare una decisione automatizzata che produca effetti negativi.
Esiste infine un rischio significativo legato alla catena di responsabilità e alla gestione dei fornitori. La velocità e l'autonomia di questi sistemi rendono arduo garantire all'interessato l'esercizio dei diritti di salvaguardia, in particolare la possibilità di ottenere l'intervento umano e di contestare una decisione. Il Titolare rimane sempre il responsabile finale verso le autorità e gli interessati. Affidarsi a un provider senza condurre audit specifici o senza definire clausole precise sui subfornitori può esporre l'azienda a pesanti sanzioni per violazioni commesse da terzi.
🔄 I modelli human-in-the-loop rimangono validi man mano che i sistemi di IA diventano più veloci e autonomi? O la governance dovrebbe spostarsi verso il monitoraggio e il controllo ex-post?
Il modello di supervisione umana è un imperativo legale; attualmente non è ipotizzabile, né per l'AI Act né per le autorità garanti, un sistema che operi in totale assenza di controllo quando impatta sui diritti e le libertà delle persone. Tuttavia, con l'aumentare della velocità e della complessità dei sistemi agentici, il paradigma sta evolvendo necessariamente verso il modello "Human-on-the-loop" (HOTL).
In questo scenario, l'essere umano non deve più convalidare ogni singola azione — evitando così di diventare un "collo di bottiglia" che frenerebbe l'efficienza dei processi — ma agisce come un supervisore che monitora il flusso in tempo reale ed è costantemente pronto a intervenire o bloccare il sistema in qualsiasi momento tramite un "kill-switch" effettivo. Come già accennato, possiamo paragonarlo ai veicoli a guida autonoma: l'agente opera autonomamente lungo i "binari" (guardrail) stabiliti, ma l'umano mantiene la supervisione per correggere eventuali anomalie.
La governance, quindi, non può limitarsi a un mero controllo ex-post, ma deve basarsi sulla definizione preventiva di soglie critiche (trigger) e processi di escalation gerarchica interna. Più il sistema è complesso e autonomo, più serve una struttura gerarchica che definisca chiaramente gli standard operativi entro cui l'IA può muoversi, lasciando all'umano la gestione dei casi anomali o ad alto impatto. Questi limiti interni, definiti attraverso una rigorosa DPIA, permettono all'IA di muoversi entro standard operativi sicuri, garantendo però che ogni caso anomalo o ad alto impatto venga immediatamente riportato alla gestione umana.
In definitiva, l'accountability del Titolare si manifesta proprio nella capacità di dimostrare che il sistema è stato progettato con misure di sicurezza adeguate e che l'autonomia della macchina rimane sempre sotto un controllo umano effettivo e consapevole.
📑 Come dovrebbe essere suddivisa la responsabilità tra l'azienda che utilizza l'IA e il fornitore della tecnologia?
È fondamentale comprendere che la struttura della responsabilità rimane verticale: il Titolare del Trattamento (l'azienda che utilizza l'IA) è e rimane il punto di riferimento finale per le autorità e gli interessati, una posizione che non può essere delegata totalmente tramite clausole contrattuali. Sebbene esista una responsabilità solidale tra Titolare e fornitore, nella prassi i grandi provider tendono a limitare drasticamente la propria responsabilità nei termini d'uso, lasciando il Titolare come principale responsabile delle attività svolte dall'agente.
L'accountability del Titolare si manifesta in quella che definiamo "responsabilità del controllore": non è sufficiente affidarsi a un fornitore esterno, ma è obbligatorio verificare, tramite audit specifici, che il partner sia valido, efficiente e rispetti gli standard di sicurezza e protezione dei dati promessi. Nel rapporto interno tra le parti, il fornitore (Responsabile del trattamento ai sensi dell'Art. 28) risponderà solitamente solo se il danno deriva da un difetto intrinseco di conformità del prodotto rispetto alle specifiche dichiarate o se ha violato garanzie contrattuali specifiche, come l'implementazione di un processo di escalation per la supervisione umana.
Un aspetto che viene spesso trascurato è la catena dei subfornitori. Il Titolare rischia di rispondere anche delle mancanze dei soggetti a cui il fornitore principale si appoggia, qualora non siano state previste clausole contrattuali precise per "allontanare" la responsabilità lungo la filiera e non sia stato controllato correttamente l'operato di tutti i soggetti coinvolti. È essenziale che il Titolare, nel momento in cui si affida a un fornitore, verifichi anche come quel fornitore gestisce i propri subfornitori.
In questo contesto, la DPIA funge da scudo legale per il Titolare: documentando l'analisi dei rischi, la scelta del fornitore, la verifica della catena di subfornitori e le misure di sicurezza adottate (come i guardrail e la supervisione human-on-the-loop), il Titolare trasforma l'uso dell'IA in una decisione consapevole, potendo così dimostrare di aver adempiuto agli obblighi di sicurezza e vigilanza previsti dal GDPR e dalla NIS2.
In sintesi, mentre il fornitore risponde della conformità tecnica della "macchina" e del rispetto delle specifiche contrattuali, il Titolare risponde sempre del modo in cui essa viene inserita nei processi aziendali, della verifica della sua compatibilità con i diritti degli interessati e della vigilanza costante che esercita su di essa.
🚫 Cosa stanno sbagliando le aziende oggi nell'implementazione dell'IA autonoma?
L'errore principale che osservo è senza dubbio sottovalutare la governance, considerandola spesso come un ostacolo all'innovazione invece che come un presidio necessario per la sicurezza e la continuità aziendale. Un errore comune è confondere la "governance difensiva" — fare cioè sempre troppo per non essere responsabili — con la "governance consapevole" — fare scelte documentate e misurate sulla base di una valutazione effettiva dei rischi.
Molte aziende, incluse le realtà più piccole, cadono nell'errore di pensare che l'adozione di un sistema "autonomo" fornito da terzi le esoneri dalla responsabilità legale. In realtà, il principio di proporzionalità del GDPR impone che anche le organizzazioni minori effettuino analisi dei rischi e monitoraggi commisurati alla loro operatività. Le stesse metodologie applicate dalle grandi aziende possono essere scalate proporzionalmente anche alle PMI: non è questione di dimensione, ma di rischio effettivo e di documentazione appropriata.
Un altro sbaglio frequente è l'eccessivo affidamento sui vendor senza condurre audit indipendenti. Il Titolare non può limitarsi a dichiarare di essersi affidato a un soggetto esterno, ma deve verificare attivamente che il fornitore sia valido, efficiente e rispetti gli standard di protezione dei dati promessi. In particolare, occorre verificare se il sistema, una volta integrato nei propri processi, generi esiti discriminatori, opachi o potenzialmente manipolativi. Spesso si trascura anche la catena dei subfornitori, rischiando gravi sanzioni per non aver previsto clausole contrattuali precise che permettano di attribuire correttamente la responsabilità lungo la filiera.
Infine, quello che manca è l'adozione di una decisione consapevole: molte aziende procedono "alla cieca" sperando che tutto vada bene, invece di utilizzare strumenti come la DPIA per censire i rischi uno per uno. La DPIA, condotta con il coinvolgimento dei Responsabili del Trattamento e del DPO (ove nominato), non è un mero esercizio burocratico, ma uno strumento che permette al Titolare di dimostrare, in caso di contestazioni, di aver agito consapevolmente. Senza una valutazione che analizzi preventivamente bias algoritmici, dark pattern, manipolazioni e l'intera catena di fornitori, l'azienda non ha una base documentale solida per provare la propria accountability.
#intelligenzaartificiale #accountability #GDPR
