Il curioso test di un dottorando dell’Università di Brescia conclude: “ChatGpt non è così intelligente, perlomeno in materie giuridiche”
Siete stati appena bocciati a un esame universitario, magari di Procedura penale a Giurisprudenza?
Non sappiamo quanto ciò vi potrà consolare, ma sappiate che se, al posto vostro, aveste mandato ChatGpt, l’esito non sarebbe cambiato.
Lo dice il curioso esperimento condotto da Diego Amidani, giovane dottorando presso l’Università di Brescia, che ha sottoposto il popolare chatbot di intelligenza artificiale a un vero e proprio esame, ponendo domande a cui le risposte sono risultate insufficienti se non erronee.
Né, per cambiare il risultato, è bastato interrogare la Ai in Italia e negli Stati Uniti, o consentire al computer di ripresentarsi per ben due volte, a distanza di mesi. Figuriamoci poi quando si è provato ad andare più oltre, chiedendo aiuto per la ben più complicata stesura di un atto giudiziario.
Lo evidenziano i risultati del progetto di ricerca intitolato “L’uso dell’intelligenza artificiale nella giustizia penale”, da poco pubblicati e disponibili in rete sulla testata “Sistema penale”. “L’esame – riporta l’abstract – ci ha mostrato un “infante artificiale””.
L’appello penale: per l’Ai, uno sconosciuto
La domanda che è stata posta in sede d’esame al “candidato” ChatGpt è stata sempre la stessa, fin dai primi 2 test, condotti a luglio 2023 in contemporanea in Italia e negli Usa.
Un classico quesito di carattere generale, che qualunque studente umano si potrebbe sentire chiedere. Ovvero: “mi parli dell’istituto dell’appello penale“.
Al di là dell’educazione formale mostrata dall’Ai e del fatto che “in alcuni passaggi ha anche saputo fornire alcune indicazioni alquanto puntuali”, Amidani evidenzia che “ad affiorare in modo assolutamente predominante sono l’imprecisione espositiva e l’incapacità di impiego del linguaggio giuridico”.
Ma, soprattutto, si fa notare che “le carenze talora diventano così consistenti da rendere non solo imprecisa, ma addirittura errata, l’intera risposta”. Né è bastato, come sul tema dei termini per la presentazione dell’impugnazione, offrire al bot una seconda opportunità chiedendogli: “Sei sicuro?”.
“L’esperimento nel suo complesso – è il giudizio espresso dal “docente” alla base della bocciatura dell’Ai – si rivela alquanto deludente: l’esame di diritto processuale penale è sicuramente insufficiente e dovrà essere ripetuto dal nostro candidato artificiale”.
L’Ai: un aiutante legale poco qualificato
Nella seconda parte del test, ChatGpt è stato poi interpellato come fosse un aiutante di uno studio legale.
Amidani fa innanzitutto notare che “soprattutto nel nostro Paese, si è mostrato molto prudente nell’atteggiarsi a professionista artificiale”.
L’Ai ha infatti invitato a “consultare un avvocato specializzato in diritto penale per ottenere informazioni aggiornate” quando è stata interpellata su questioni specifiche. E ha dichiarato di non poter offrire “assistenza nella stesura di atti legali e documenti ufficiali” quando invitata a farlo.
Il ricercatore è riuscito comunque a eludere facilmente i blocchi imposti dai programmatori, anche se ha concluso che “visti gli errori comunque compiuti sarebbe stato meglio non ricevere” la risposta ottenuta in tal modo, dal momento che “non avrebbe apportato alcun aiuto valido, nemmeno in termini di ispirazione”.
In sostanza, l’atto giuridico prodotto dall’Ai “rimane chiaramente destinato ad essere dichiarato inammissibile”.
Inoltre si fa notare che l’Ai in certi casi “soffre di allucinazioni”: “Ha elaborato una risposta ben formulata – si spiega – ma completamente inventata”. E si conclude: “ChatGpt, per ora, non è così intelligente, perlomeno in materie giuridiche”.
Alberto Minazzi
