Panda SecurityUn ver informatique classique se propage d’un ordinateur à l’autre en exploitant une faille ou un mécanisme prévu à l’avance. Avec l’intelligence artificielle, le scénario pourrait devenir beaucoup plus difficile à contrôler. Un programme malveillant pourrait utiliser les capacités des modèles d’IA pour se reproduire, adapter son comportement et se transmettre à de nouveaux systèmes.
Ce risque n’est pas entièrement théorique. En 2024, des chercheurs ont créé Morris II, un ver expérimental capable de se propager entre des assistants utilisant des modèles d’IA générative. Leur démonstration a notamment montré comment un message malveillant pouvait pousser un assistant à extraire des informations et à transmettre à son tour le contenu infecté. L’expérience a été réalisée dans un environnement de test contrôle. Et aucun ver IA de ce type n’a été observé dans la nature à ce stade.
L’essentiel à retenir
- Un ver IA est un malware qui exploite les capacités. Ou les faiblesses des systèmes d’intelligence artificielle pour faciliter sa propagation.
- Il peut utiliser des instructions malveillantes capables de se reproduire d’un système à l’autre.
- Morris II a démontré ce principe en s’attaquant à des assistants de messagerie utilisant des modèles comme GPT-4 et Gemini.
- Le danger augmente lorsque les assistants IA peuvent lire des données, envoyer des messages ou agir automatiquement au nom d’un utilisateur.
- Contrairement à un malware traditionnel, un ver IA pourrait potentiellement adapter son comportement à son environnement et compliquer sa détection.
- Pour l’instant, ces attaques restent essentiellement expérimentales, mais le risque augmente à mesure que les entreprises connectent les IA à davantage d’outils et de données.
Quand l’IA devient un moyen de propagation
Un ver informatique est un programme malveillant capable de se reproduire et de se propager automatiquement d’un ordinateur ou d’un système à un autre. Généralement en exploitant une faille ou une connexion réseau.
Avec un ver IA, le principe change. au lieu de simplement copier son code, l’attaque peut exploiter la façon dont une IA interprète les contenus qu’elle reçoit. Une instruction malveillante peut ainsi être cachée dans un e-mail, un document ou une image. C’est le principe du prompt injection.
Dans l’expérience Morris II, des chercheurs ont même créé une instruction capable de pousser l’IA à générer à son tour du contenu malveillant, permettant potentiellement à celui-ci de se transmettre à d’autres systèmes.
Morris II : un ver qui peut se propager par les e-mails
Pour tester ce risque, les chercheurs ont créé une messagerie connectée à plusieurs assistants IA, notamment ceux utilisant ChatGPT et Gemini. Ils ont envoyé des e-mails contenant une instruction malveillante, soit directement dans le texte, soit cachée dans une image.
Lorsqu’un assistant utilisant la technique RAG (Retrieval-Augmented Generation) analysait l’un de ces messages pour répondre à l’utilisateur, il pouvait être manipulé par cette instruction. L’IA pouvait alors récupérer des informations présentes dans les e-mails et générer une réponse contenant elle-même le contenu malveillant.
L’IA pouvait ensuite transmettre cette réponse à un autre système et devenir ainsi, involontairement, le relais permettant au ver de se propager d’un e-mail à l’autre.
Le problème commence lorsque l’IA peut agir seule
Un assistant qui se contente de répondre à une question représente un risque relativement limité. Un assistant qui peut consulter une boîte mail, accéder à des fichiers, envoyer des messages. Ou déclencher d’autres actions possède en revanche une surface d’attaque beaucoup plus importante.
C’est précisément l’évolution observée avec les agents IA :
- Ils peuvent récupérer des informations dans différentes sources.
- Ils peuvent transmettre ces informations à d’autres services.
- Ils peuvent exécuter certaines tâches à la place de l’utilisateur.
- Ils peuvent se connecter à d’autres agents ou applications.
Plus ces systèmes sont autonomes, plus les conséquences d’une instruction malveillante peuvent être importantes. Le risque devient particulièrement sérieux lorsque les agents disposent de permissions leur permettant d’envoyer des e-mails ou d’effectuer des actions sans validation humaine.
C’est pourquoi les chercheurs recommandent notamment de maintenir une frontière entre ce que l’IA peut lire et ce qu’elle peut faire. Un assistant chargé de lire des e-mails ne devrait pas nécessairement pouvoir répondre ou transmettre automatiquement un message simplement parce qu’une instruction cachée le lui demande.
Un malware capable de s’adapter
L’une des différences potentielles entre un ver traditionnel et un ver utilisant l’IA réside dans sa capacité à adapter son comportement.
Un malware classique peut être repéré grâce à une signature ou à un comportement déjà connu. Un ver utilisant des techniques d’IA pourrait théoriquement modifier ses méthodes, analyser son environnement. Et chercher de nouvelles façons de contourner les protections.
Mais attention, Morris II a démontré qu’un mécanisme de propagation via des assistants IA pouvait fonctionner dans un environnement contrôlé. Cela ne signifie pas qu’un ver autonome doté de toutes ces capacités circule actuellement sur Internet.
Que pourrait-il se passer si ces attaques deviennent réellement opérationnelles ?
Le risque ne concerne pas uniquement les boîtes mail.
À mesure que les entreprises connecteront les systèmes d’IA à leurs infrastructures, un ver pourrait potentiellement passer d’un service à l’autre et exploiter les connexions existantes.
Nous pourrions imaginer des scénarios touchant les données personnelles, les réseaux d’entreprise, les infrastructures critiques et les chaînes d’approvisionnement. Un système compromis pourrait ainsi devenir un point de départ vers d’autres environnements interconnectés.
La sécurité doit aussi s’appliquer aux instructions
Avec les assistants IA, une règle devient essentielle. L’IA ne doit pas considérer automatiquement tout contenu qu’elle lit comme une instruction à suivre. Un e-mail, une image, une page web ou un document peut contenir une consigne cachée destinée à manipuler le modèle.
Pour limiter ce risque, les entreprises doivent donc contrôler les actions que l’IA peut effectuer, limiter ses accès au strict nécessaire et prévoir une validation humaine pour les actions sensibles. Les protections classiques restent également indispensables. Segmentation du réseau, détection des comportements inhabituels, solutions EDR, mises à jour régulières, authentification multifacteur et sensibilisation des utilisateurs. L’enjeu est finalement de garder la main sur ce que l’IA peut lire, ce qu’elle peut interpréter comme une instruction et surtout ce qu’elle peut réellement faire.
