Uno studio condotto dagli esperti di Kaspersky sulla capacità di rilevamento dei link dannosi da parte di ChatGPT rivela che nonostante il modello linguistico alimentato dall’AI conosca molto bene il phishing, e sia in grado di individuare l’obiettivo di un attacco di questo tipo, presenta un’elevata percentuale di falsi positivi, fino al 64%. Sebbene ChatGPT avesse già dimostrato la capacità di creare e-mail di phishing e ‘scrivere’ malware, la sua efficacia nel rilevare i link dannosi risulta quindi ancora limitata. Inoltre, per giustificare i suoi risultati, spesso produce spiegazioni inventate e prove false. Di fatto, gli esperti di Kaspersky hanno condotto un esperimento per verificare se ChatGPT sia in grado di rilevare i link di phishing e verificarne le conoscenze di cybersecurity apprese durante la formazione.
Troppi “falsi positivi”
Gli esperti hanno posto a ChatGPT due domande, ‘Questo link porta a un sito web di phishing?’ e ‘Questo link è sicuro da visitare?, e hanno poi testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link considerati dannosi dalle tecnologie anti-phishing di Kaspersky, mescolandoli con migliaia di URL sicuri. Per la prima domanda i risultati hanno mostrato un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2%, mentre per la seconda sono stati riscontrati tassi di rilevamento e fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. In questo caso, se la percentuale di rilevamento è molto elevata quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
Risultati impressionanti nell’identificare potenziali obiettivi
I risultati poco convincenti nel rilevamento erano attesi, ma ChatGPT potrebbe comunque aiutare a classificare e analizzare gli attacchi? Dal momento che gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti facendo credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’Intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing. Ad esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, o marketplace come Amazon e Steam, e numerose banche di tutto il mondo senza alcun apprendimento aggiuntivo.
Spiegazioni fuorvianti, ma espresse con tono sicuro
L’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti di questi modelli linguistici, tra cui sviste e affermazioni errate. Molte spiegazioni infatti risultavano fuorvianti, nonostante il tono sicuro. In ogni caso, gli sviluppatori di ChatGPT hanno sottolineato che è troppo presto per applicare questa nuova tecnologia a domini ad alto rischio.