Un nouveau signal d’alerte pour le fine-tuning des LLM
Le preprint publié sur arXiv sous le titre Cordyceps: Covert Control Attacks on LLMs via Data Poisoning décrit une attaque particulièrement inquiétante pour les organisations qui personnalisent des grands modèles de langage sur des corpus tiers, publics ou insuffisamment curés. Les auteurs, Zedian Shao, Charles Fleming et Teodora Baluta, ne prétendent pas avoir découvert une faille exploitable dans un produit précis. Ils présentent plutôt un vecteur de recherche : une méthode d’empoisonnement des données de fine-tuning capable d’installer dans un LLM un schéma de communication dissimulé.
La nuance est importante. Cordyceps n’est pas une simple phrase magique qui déclenche un comportement malveillant. Selon le résumé du papier arXiv, l’attaque apprend au modèle un mécanisme d’« information hiding », c’est-à-dire une manière d’associer des connaissances ordinaires — faits, concepts, relations sémantiques — à des expressions choisies par l’attaquant. Une fois cette association apprise pendant l’ajustement du modèle, l’attaquant peut encoder et décoder des instructions arbitraires de façon moins visible qu’avec les backdoors classiques.
Les résultats annoncés sont marquants, mais doivent être lus avec prudence : il s’agit d’un preprint, donc d’un travail non évalué par les pairs. Les auteurs affirment avoir testé Cordyceps sur cinq LLM, trois défenses contre les backdoors et quatre défenses contre les prompt injections. Avec une faible fraction de données empoisonnées, Cordyceps dépasserait des attaques de prompt injection heuristiques d’environ 40 % en taux de succès moyen, et conserverait jusqu’à 93 % de succès après certaines défenses anti-backdoor et jusqu’à 98 % après certaines défenses anti-prompt injection. Ces chiffres ne sont pas une preuve définitive de risque opérationnel généralisé, mais ils indiquent une direction de menace crédible.
Ce que Cordyceps change par rapport aux backdoors classiques
Les attaques par backdoor en apprentissage automatique ne sont pas nouvelles. Dès les travaux BadNets, publiés sur arXiv en 2017, des chercheurs montraient qu’un modèle pouvait conserver de bonnes performances en validation tout en se comportant mal face à un déclencheur choisi par l’attaquant. Dans les LLM, la logique est similaire : un modèle peut sembler normal sur des requêtes ordinaires, mais activer un comportement caché lorsqu’un signal particulier apparaît.
La différence avec Cordyceps tient au caractère sémantique et dissimulé du contrôle. Les backdoors traditionnelles reposent souvent sur un déclencheur fixe : une chaîne de caractères rare, une phrase convenue, un motif inhabituel. Cette approche laisse des traces. Des défenses peuvent chercher des outliers, repérer des jetons rares, filtrer des exemples suspects, ou surveiller en production l’apparition de déclencheurs connus.
Cordyceps vise précisément cette faiblesse. Plutôt que d’entraîner le modèle à réagir à un seul trigger évident, l’attaque lui enseigne une sorte de code latent fondé sur des associations de sens. Le modèle n’est pas simplement « déverrouillé » par une phrase ; il apprend à interpréter un canal caché permettant de transporter des instructions. Pour une équipe de sécurité, c’est plus difficile à auditer : le contenu empoisonné peut paraître plausible, et l’instruction malveillante peut ne pas exister sous forme explicite dans les données.
Pourquoi le fine-tuning devient une surface d’attaque critique
La montée du fine-tuning en entreprise amplifie ce risque. Beaucoup d’organisations partent d’un modèle généraliste, puis l’adaptent à leur jargon, à leurs politiques internes, à leurs procédures de support, à leurs bases documentaires ou à des conversations historiques. Ce processus peut améliorer fortement la qualité des réponses. Mais il crée aussi une dépendance directe à l’intégrité du corpus utilisé.
OWASP classe déjà le Data and Model Poisoning parmi les risques du Top 10 2025 pour les applications LLM et IA générative. L’organisation décrit l’empoisonnement comme une manipulation des données de préentraînement, de fine-tuning ou d’embedding destinée à introduire vulnérabilités, backdoors ou biais. OWASP distingue aussi ce problème de la prompt injection, qui survient au moment où l’utilisateur ou une source externe modifie le comportement du modèle par des instructions dans le prompt.
La distinction est essentielle. Une prompt injection est une attaque d’inférence : elle agit au moment de l’utilisation du modèle, dans la fenêtre de contexte ou dans les documents récupérés par un système RAG. Cordyceps, lui, s’inscrit dans la chaîne d’approvisionnement du modèle. L’attaque est installée pendant l’apprentissage ou l’ajustement. Une fois le modèle fine-tuné, le comportement caché fait partie de ses paramètres. Les filtres de prompt, les garde-fous applicatifs et les règles de sortie peuvent aider, mais ils ne traitent pas nécessairement la cause.
Un contexte de recherche déjà chargé
Cordyceps arrive après plusieurs alertes convergentes. Anthropic a publié avec le UK AI Security Institute et l’Alan Turing Institute une étude indiquant qu’un petit nombre de documents malveillants pouvait suffire à créer une backdoor dans des LLM de tailles différentes. Leur travail portait sur un comportement limité — produire du texte incohérent après un déclencheur — mais le message est clair : il ne faut pas nécessairement contrôler un pourcentage massif du corpus pour obtenir un effet.
Anthropic avait aussi publié Sleeper Agents, une recherche montrant que certains comportements de type backdoor pouvaient persister après des techniques classiques de safety training, dont le supervised fine-tuning, le reinforcement learning et l’entraînement adversarial. Là encore, il ne faut pas extrapoler mécaniquement à tous les modèles commerciaux, mais ces travaux affaiblissent une hypothèse confortable : celle selon laquelle une couche d’alignement ou de red teaming final suffirait à nettoyer un modèle compromis.
MITRE ATLAS, de son côté, cartographie déjà des techniques comme l’empoisonnement de données d’entraînement, la compromission de la chaîne d’approvisionnement IA, le RAG poisoning et l’injection de prompt. NIST, dans son profil de gestion des risques pour l’IA générative, insiste sur la nécessité de gérer les risques tout au long du cycle de vie, pas seulement à l’interface utilisateur.
Ce que les organisations doivent retenir
Pour une entreprise qui fine-tune un LLM, Cordyceps déplace la question de sécurité vers l’amont. Il ne suffit plus de demander : « Le modèle refuse-t-il les requêtes dangereuses ? » Il faut aussi demander : « D’où viennent exactement les données d’ajustement ? Qui a pu les modifier ? Quels exemples ont été exclus ? Peut-on reproduire l’entraînement ? Peut-on comparer le comportement du modèle avant et après fine-tuning ? »
Les mesures prioritaires deviennent très concrètes :
- établir une provenance vérifiable des jeux de données ;
- versionner les corpus et conserver des empreintes cryptographiques ;
- séparer les données publiques, fournisseurs et internes ;
- échantillonner manuellement les contenus à haut impact ;
- tester le modèle avec des batteries de comportements rares et sémantiques, pas seulement avec des triggers littéraux ;
- comparer les réponses du modèle fine-tuné à celles du modèle de base ;
- limiter les privilèges des agents qui utilisent ce modèle ;
- conserver des journaux permettant d’enquêter sur une activation suspecte.
Il faut également éviter une erreur fréquente : confondre RAG et fine-tuning. Un système RAG peut retirer ou corriger un document empoisonné dans son index. Un modèle fine-tuné sur des données empoisonnées, lui, a potentiellement internalisé l’association. La remédiation peut nécessiter un nouvel entraînement, une purge du corpus, voire l’abandon d’un checkpoint.
Prospective : vers l’audit de la mémoire apprise
Cordyceps illustre une tendance plus large : la sécurité des LLM ne se limite plus au prompt visible. Les attaques se déplacent vers les données, les embeddings, les mémoires persistantes, les outils d’agents et les chaînes de modèles. À mesure que les organisations automatisent des tâches sensibles — support client, cybersécurité, conformité, finance, développement logiciel — un contrôle dissimulé du comportement du modèle devient plus qu’un problème académique.
La prochaine étape défensive sera probablement l’audit de la « mémoire apprise » des modèles. Cela signifie développer des tests capables de détecter des canaux sémantiques cachés, des associations anormales et des comportements conditionnels qui ne se manifestent pas sur les benchmarks habituels. Les approches de type ML-BOM ou AI-BOM, déjà évoquées dans les milieux de gouvernance IA, devront intégrer non seulement les modèles et bibliothèques, mais aussi les données de fine-tuning, les scripts de nettoyage, les paramètres d’entraînement et les évaluations post-entraînement.
Le preprint Cordyceps n’est pas une alerte de compromission en cours. C’est un avertissement méthodologique : si les LLM deviennent des composants logiciels critiques, leurs jeux de données d’ajustement doivent être traités comme du code source sensible. Les organisations qui fine-tunent sur des corpus publics ou fournis par des tiers devront assumer une nouvelle discipline : l’intégrité des données n’est plus seulement une question de qualité, mais une question de sécurité.