Les cybercriminels contournent les restrictions de ChatGPT pour générer du contenu malveillant.

Les chercheurs de CPR ont récemment découvert un cas où des cybercriminels se servaient de ChatGPT pour « améliorer » le code d’un malware Infostealer de base datant de 2019. Même si ce code n’était pas compliqué ou difficile à créer, ChatGPT a pu améliorer le code de l’Infostealer.

Pour l’instant, il existe deux façons d’accéder aux modèles d’IA ouverts et de travailler avec eux :

Interface utilisateur Web – Pour utiliser ChatGPT, DALLE-2 ou le terrain de jeu OpenAI.

API – Utilisée pour créer des applications, des processus, etc. Vous pouvez utiliser votre propre interface utilisateur avec les modèles et les données d’OpenAI fonctionnant en arrière-plan.

Les exemples ci-dessous concernent des marques légitimes qui ont intégré les modèles d’API d’OpenAI dans le cadre de leurs applications.

Dans le cadre de sa politique de contenu, OpenAI a créé des barrières et des restrictions pour bloquer la création de contenu malveillant sur sa plate-forme. Plusieurs restrictions ont été mises en place au sein de l’interface utilisateur de ChatGPT afin d’empêcher l’utilisation abusive des modèles. Par exemple, si vous demandez à ChatGPT d’écrire un e-mail de phishing pour se faire passer pour une banque ou de créer un malware, il ne le fera pas.

Cependant, CPR signale que les cybercriminels font ce qu’ils peuvent pour contourner les restrictions de ChatGPT et qu’il existe une discussion active dans les forums clandestins expliquant comment utiliser l’API OpenAI pour contourner les barrières et les limitations de ChatGPT. La plupart du temps, cela se fait en mettant en place des bots Telegram qui utilisent l’API. Ces bots font l’objet d’une publicité dans les forums de piratage pour plus de visibilité.

La version actuelle de l’API d’OpenAI est utilisée par des applications externes (par exemple, l’intégration du modèle GPT-3 d’OpenAI aux canaux Telegram) et ne comporte que très peu, voire aucune mesure anti-abus. Cela permet donc de créer du contenu malveillant, comme des e-mails de phishing et du code de malware, sans les limitations ou les barrières que ChatGPT a fixées sur son interface utilisateur.

Un cybercriminel a créé des scripts de base qui utilisent l’API d’OpenAIs pour contourner les restrictions anti-abus.

Pour conclure, nous constatons que les cybercriminels continuent d’explorer la manière d’utiliser ChatGPT pour leurs besoins de développement de malware et de création d’e-mails de phishing. Plus les contrôles mis en place par ChatGPT s’améliorent, plus les cybercriminels parviennent à trouver de nouvelles utilisations frauduleuses des modèles OpenAI – cette fois-ci en abusant de leur API.

Poursuivez votre lecture avec nos différents articles sur les sujets du moment en cybersécurité.