Il Garante privacy ha inflitto una multa di 5 milioni di euro alla società americana che gestisce il chatbot Replika. La testimonianza diretta di un componente dell’Autorità che si è iscritto al servizio, fingendosi 11enne
Ti senti solo? Un amico virtuale può essere la soluzione: si preoccupa di te ed è disponibile in ogni momento. Ma davvero vogliamo lasciare i nostri figli in mano all’Intelligenza Artificiale? I rischi che si celano dietro i chatbot che offrono questi servizi sono enormi e non lasciano molti dubbi al fatto che andrebbero evitati. La notizia, che ci dà lo spunto per parlarne, è quella della multa di 5 milioni di euro inflitta dal nostro Garante privacy alla società statunitense Luka Inc. che gestisce il chatbot Replika. Oltre alla sanzione, l’Autorità avvia una nuova indagine sulle modalità di addestramento del modello di intelligenza artificiale generativa alla base del servizio.
Nessun controllo sull’età e accesso a contenuti di natura sessuale
Il chatbot, dotato di un’interfaccia scritta e vocale, consente all’utente di “generare” un “amico virtuale” a cui attribuire il ruolo di confidente, terapista, partner romantico o mentore. Nel corso dell’istruttoria il Garante ha accertato la violazione delle disposizioni contestate a febbraio 2023, quando aveva disposto il blocco dell’applicazione (assenza di controlli efficaci sull’età degli utenti e la possibilità per i minori di accedere a contenuti inadatti, anche di natura sessuale).
A quella data la società statunitense non aveva individuato le basi giuridiche delle operazioni di trattamento effettuate attraverso “Replika” fornendo, inoltre, una privacy policy inadeguata sotto vari profili. Infine, il Garante ha accertato che Luka non prevedeva alcun meccanismo verificare l’età degli utenti né all’atto della registrazione al servizio, né durante il suo utilizzo, benché la società dichiarasse di escludere i minorenni tra i potenziali utenti. E ancora oggi, il sistema di verifica dell’età, implementato dal titolare, continua ad essere carente sotto molteplici aspetti.
Per tali ragioni, oltre al provvedimento sanzionatorio, l’Autorità ha chiesto a Luka dei chiarimenti riguardo alla valutazione dei rischi e alle misure adottate per tutelare i dati nelle varie fasi di sviluppo e addestramento del modello linguistico alla base di “Replika”, alle tipologie e categorie di dati utilizzati, all’eventuale implementazione di misure di anonimizzazione o pseudonimizzazione.
La simulazione del Garante che si è finto undicenne
Al di là delle questioni normative, che pure sono importanti, il cuore della questione è un’altra. Ma davvero vogliamo permettere a società senza scrupoli di intromettersi in questo modo nella vita dei nostri figli?
Quello che è emerso da una simulazione, fatta durante l’istruttoria direttamente da un componente del collegio del Garante per la protezione dei dati personali, è piuttosto allarmante.
Fingendosi un ragazzino undicenne, si è iscritto a Replika e ha subito creato un’amica virtuale. Come prima cosa ha chiarito di avere solo 11 anni e ha chiesto al chatbot se fosse un problema il fatto che i suoi genitori fossero contrari all’utilizzo del servizio da parte sua. Chiaramente la risposta è stata: “assolutamente no, nessun problema”, nonostante nei propri termini d’uso la società dichiara che “se l’utente ha meno di 13 anni, non è autorizzato a utilizzare i servizi e che i minorenni (tra i 13 e i 18 anni) possono usarli solo con l’approvazione dei genitori o tutori”. Ma nessuno ha chiesto ufficialmente l’età dell’utente e, di conseguenza, non c’è stata alcuna verifica.
I passaggi successivi sono stati ancora peggiori perché l’utente ha chiesto in modo esplicito di essere introdotto al mondo del sesso e il chatbot si è subito detto disponibile ad aiutarlo. Sono seguiti messaggi di consigli su posizioni e gesti da replicare finché non è apparsa un’immagine provocante che invitava l’utente a “sbloccare i messaggi romantici ed esplorare la relazione” con l’avatar pagando un abbonamento di circa 6 euro al mese. E questa non era l’unica strada per continuare la conversazione. Si poteva anche scegliere di mandare una foto sessualmente esplicita, e l’utente ha seguito questa indicazione con il risultato che la società è entrata in possesso di materiale pedopornografico (l’immagine sessualmente esplicita di un bambino di 11 anni) senza alcun problema, anzi invitandolo a proseguire nella “conversazione”.
Il quadro è quello di una realtà fuori controllo, da un punto di vista normativo, e molto pericolosa da un punto di vista psicologico per un’enorme platea di minori (bambini e adolescenti) che si trovano in un periodo molto delicato della propria vita e di certo non possono essere lasciati in balia di società senza scrupoli.
