Les cybercriminels contournent les restrictions de ChatGPT pour générer du contenu malveillant.

ChatGPT IA cyberattaques

Dans le dernier blog de Check Point Research (CPR), nous avons décrit comment ChatGPT avait réussi à réaliser un flux d’infection complet, depuis la création d’un e-mail de phishing convaincant à l’exécution d’un reverse shell, capable d’accepter des commandes en anglais.

Les chercheurs de CPR ont récemment découvert un cas où des cybercriminels se servaient de ChatGPT pour « améliorer » le code d’un malware Infostealer de base datant de 2019. Même si ce code n’était pas compliqué ou difficile à créer, ChatGPT a pu améliorer le code de l’Infostealer.

Travailler avec les modèles OpenAI

Pour l’instant, il existe deux façons d’accéder aux modèles d’IA ouverts et de travailler avec eux :

Interface utilisateur Web – Pour utiliser ChatGPT, DALLE-2 ou le terrain de jeu OpenAI.

API – Utilisée pour créer des applications, des processus, etc. Vous pouvez utiliser votre propre interface utilisateur avec les modèles et les données d’OpenAI fonctionnant en arrière-plan.

Les exemples ci-dessous concernent des marques légitimes qui ont intégré les modèles d’API d’OpenAI dans le cadre de leurs applications.

Obstacles à la création de contenu malveillant

Dans le cadre de sa politique de contenu, OpenAI a créé des barrières et des restrictions pour bloquer la création de contenu malveillant sur sa plate-forme. Plusieurs restrictions ont été mises en place au sein de l’interface utilisateur de ChatGPT afin d’empêcher l’utilisation abusive des modèles. Par exemple, si vous demandez à ChatGPT d’écrire un e-mail de phishing pour se faire passer pour une banque ou de créer un malware, il ne le fera pas.

Contournement des limitations pour créer du contenu malveillant

Cependant, CPR signale que les cybercriminels font ce qu’ils peuvent pour contourner les restrictions de ChatGPT et qu’il existe une discussion active dans les forums clandestins expliquant comment utiliser l’API OpenAI pour contourner les barrières et les limitations de ChatGPT. La plupart du temps, cela se fait en mettant en place des bots Telegram qui utilisent l’API. Ces bots font l’objet d’une publicité dans les forums de piratage pour plus de visibilité.

La version actuelle de l’API d’OpenAI est utilisée par des applications externes (par exemple, l’intégration du modèle GPT-3 d’OpenAI aux canaux Telegram) et ne comporte que très peu, voire aucune mesure anti-abus. Cela permet donc de créer du contenu malveillant, comme des e-mails de phishing et du code de malware, sans les limitations ou les barrières que ChatGPT a fixées sur son interface utilisateur.

Exemple – Un script de base pour contourner les restrictions anti-abus vantées par le cybercriminel

Un cybercriminel a créé des scripts de base qui utilisent l’API d’OpenAIs pour contourner les restrictions anti-abus.

Pour conclure, nous constatons que les cybercriminels continuent d’explorer la manière d’utiliser ChatGPT pour leurs besoins de développement de malware et de création d’e-mails de phishing. Plus les contrôles mis en place par ChatGPT s’améliorent, plus les cybercriminels parviennent à trouver de nouvelles utilisations frauduleuses des modèles OpenAI – cette fois-ci en abusant de leur API.

Poursuivez votre lecture avec nos différents articles sur les sujets du moment en cybersécurité.

Partager cet article

Nos billets d’humeur les plus lus

A l’ère du deepfake politique, nos démocraties sont-elles en danger ?

Utilisée par les candidats pour mener leur campagne, ou pour déstabiliser un adversaire,…

Comment réinventer la cybersécurité à l’ère de l’IA ?

Jeux Olympiques, élections... 2024 : une actualité favorable à l'accélération de l’IA.……

Cyber security copywriter : Comment réussir son copywriting en cybersécurité ?

Cyber security copywriter : Comment réussir son copywriting en cybersécurité ?

Sur le marché, de multiples éditeurs et intégrateurs se livrent une véritable bataille…