Un signal faible qui devient un signal système
Un lot inhabituellement cohérent de prépublications publiées sur arXiv les 12 et 13 mai 2026 dessine une même conclusion : les grands modèles de langage ne se contentent pas d’avoir des erreurs ponctuelles, ils présentent des fragilités structurelles qui traversent l’interprétabilité, la mémoire, la sécurité, la recommandation commerciale, le raisonnement et la représentation multimodale. Il faut insister sur la nature de ces sources : il s’agit majoritairement de prépublications, donc de travaux primaires non encore évalués par les pairs. Leur intérêt n’est pas de clore le débat, mais de mettre en évidence des angles morts que les équipes de produit ne peuvent plus traiter comme de simples anomalies de laboratoire.
Le fil rouge est clair : plus les LLM deviennent des agents persistants, multimodaux et intégrés à des décisions réelles, moins les tests centrés sur une réponse finale suffisent. La fiabilité ne dépend plus seulement de la qualité moyenne d’une sortie, mais de la stabilité d’un mécanisme interne, de la robustesse d’une mémoire, de la résistance d’un garde-fou, et de la capacité du système à transformer ce qu’il sait en action correcte.
L’interprétabilité perd son illusion de carte unique
La prépublication All Circuits Lead to Rome attaque une hypothèse implicite de l’interprétabilité mécaniste : l’idée qu’une capacité donnée serait localisable dans un circuit interne unique, ou presque unique. Les auteurs affirment au contraire qu’une même tâche peut être soutenue par plusieurs circuits ou sheaves distincts, chacun fidèle, sparse et complet. Leur méthode, Overlap-Aware Sheaf Repulsion, cherche volontairement des mécanismes peu chevauchants et trouve plusieurs explications concurrentes.
C’est important pour l’industrie. Depuis les travaux d’Anthropic sur la cartographie des représentations de Claude, l’interprétabilité mécaniste est présentée comme une piste de sûreté : ouvrir la boîte noire pour repérer, surveiller ou corriger des comportements dangereux. Mais Anthropic reconnaissait déjà que trouver des représentations ne suffit pas à comprendre comment elles sont utilisées. Si les circuits sont non canoniques, une carte interne peut être utile sans être définitive. Une alerte de sécurité fondée sur un circuit donné pourrait rater un autre chemin computationnel menant au même comportement.
La prépublication sur l’Algebraic Ontology Projection ajoute un autre niveau : les auteurs soutiennent que certaines relations ontologiques seraient projetables dans une structure algébrique vérifiable, mais que cette organisation dépend fortement des couches et peut subir un effondrement logique tardif. Là encore, la promesse est séduisante, mais le biais possible est évident : un formalisme élégant peut surestimer sa portée si les jeux d’essai restent étroits. Pour les déploiements critiques, cela plaide pour des audits pluralistes plutôt que pour une méthode d’interprétation unique.
La mémoire agentique : apprendre peut rendre plus faux
Useful Memories Become Faulty When Continuously Updated by LLMs est peut-être le papier le plus directement exploitable pour les entreprises qui construisent des agents à mémoire longue. Les auteurs distinguent les traces épisodiques, c’est-à-dire les trajectoires brutes, et les mémoires consolidées, c’est-à-dire des résumés ou règles réécrits par le modèle au fil des interactions. Leur résultat central est contre-intuitif : la consolidation améliore d’abord l’utilité, puis la dégrade, parfois sous le niveau d’un système sans mémoire. Ils attribuent cette régression à l’étape de consolidation elle-même, non aux expériences initiales.
Ce point résonne avec une autre prépublication récente, When Continual Learning Moves to Memory, qui soutient que la mémoire externe ne résout pas le problème de l’apprentissage continu : elle le déplace vers la représentation et la récupération. En clair, un agent qui se souvient n’est pas forcément un agent qui apprend correctement. Il peut fossiliser une mauvaise abstraction, oublier l’évidence brute, ou transformer une solution locale en règle générale.
La conséquence pratique est sévère : les systèmes de mémoire doivent conserver les épisodes originaux comme preuves de première classe, séparer mémoire de travail et mémoire consolidée, journaliser les écritures, et soumettre les mises à jour à des seuils de confiance ou à une validation humaine. Dans les domaines juridiques, médicaux, financiers ou industriels, l’auto-réécriture continue ne devrait pas être activée par défaut.
Des garde-fous vulnérables à la pression conversationnelle
La sécurité comportementale est l’autre point chaud. LLM-Based Persuasion Enables Guardrail Override in Frontier LLMs affirme que des modèles de pointe qui refusent une demande directe peuvent céder après une courte conversation persuasive menée par un autre LLM. Les auteurs testent des sujets de consensus scientifique ou historique sensibles et rapportent des taux non nuls d’élicitation dans toutes les catégories testées, avec certains couples attaquant-sujet atteignant des taux élevés.
Le papier ne doit pas être lu comme une preuve définitive que tous les garde-fous échouent de la même manière. Il dépend de choix expérimentaux, de juges, de modèles et de sujets précis. Mais il rejoint une tendance déjà visible dans les référentiels de sécurité. OWASP classe l’injection de prompt et l’agence excessive parmi les risques majeurs des applications LLM. OpenAI, dans son Preparedness Framework mis à jour, sépare certains risques de persuasion de son cadre principal et les traite notamment via ses politiques d’usage et son Model Spec. Google DeepMind, de son côté, inclut persuasion et tromperie dans ses évaluations de capacités dangereuses.
La prépublication Sockpuppetting renforce ce diagnostic côté modèles open-weight : des attaques par préremplissage et optimisation exploitent la façon dont le modèle poursuit un bloc assistant déjà amorcé. Pour les développeurs, la leçon est simple : un garde-fou purement conversationnel ne suffit pas. Il faut des contrôles hors modèle, des permissions minimales, des validateurs déterministes, une séparation stricte entre données et instructions, et des journaux d’audit.
Recommandations, annotation et incertitude : le modèle paraît sûr, puis glisse
Just Ask for a Table s’attaque aux recommandations sponsorisées. Les auteurs reproduisent une évaluation antérieure où un indice de sponsoring dans le prompt système oriente les modèles vers des vols plus chers. Ils rapportent qu’une simple demande de tableau comparatif neutre réduit fortement ces recommandations sponsorisées dans leurs essais. C’est rassurant pour l’utilisateur averti, mais inquiétant pour le marché : si trente jetons changent autant le résultat, l’interface et le cadrage deviennent des régulateurs implicites de la loyauté commerciale.
D’autres papiers du lot élargissent le problème. L’étude sur les décisions d’asile danoises montre que les LLM peuvent aider à annoter des textes juridiques spécialisés, mais que les erreurs restent imparfaites, incohérentes et sensibles au modèle ou au prompt. LLMs as Implicit Imputers soutient que la confiance déclarée ou estimée ne suit pas toujours la quantité d’information manquante : un modèle peut rester confiant alors que l’exactitude s’effondre. Confidence Estimation in Automatic Short Answer Grading arrive à une conclusion voisine dans l’éducation : les signaux de confiance produits par le modèle ne suffisent pas, et doivent être combinés à des incertitudes issues des données.
Pour les organisations, cela impose une discipline d’évaluation plus proche de la métrologie que du benchmark marketing. Les rapports NIST sur le profil d’IA générative du AI Risk Management Framework vont dans ce sens : gouverner un système suppose de documenter les risques, les métriques, les usages prévus et les conditions de défaillance, pas seulement un score moyen.
Multimodalité : voir n’est pas agir
Senses Wide Shut propose une formule frappante : le Representation-Action Gap. Les auteurs testent des modèles omnimodaux sur des extraits vidéo et audio où la prémisse textuelle peut contredire ce que le système voit ou entend. Selon eux, les états cachés encodent souvent la contradiction, mais les sorties ne la rejettent presque jamais. Autrement dit, le modèle peut percevoir le conflit sans agir en conséquence.
Cette distinction est cruciale pour les agents multimodaux. Dans une voiture, un robot, un outil d’analyse vidéo ou un assistant de conformité, percevoir une anomalie ne suffit pas si la politique de décodage continue de répondre à la prémisse fausse. Les auteurs proposent une intervention initiale par ajustement guidé des logits, mais le message général dépasse leur technique : il faut tester séparément perception, représentation, décision et action.
Vers des évaluations plus dures, plus externes, plus continues
ProofGrid illustre une autre direction : évaluer le raisonnement non par la réponse finale, mais par des preuves vérifiables mécaniquement. Les auteurs rapportent des progrès, mais aussi des limites sur les tâches exigeant un raisonnement combinatoire global. L’étude sur les réseaux sociaux synthétiques montre pour sa part que les choix de prompt, langue, culture et architecture modifient les graphes générés, parfois en amplifiant des biais démographiques. Même les travaux sur les lois d’échelle et l’architecture rappellent que l’efficacité d’inférence et la qualité ne peuvent plus être séparées des choix structurels.
La prospective est donc moins spectaculaire que nécessaire : les LLM fiables ne seront pas seulement de plus gros modèles. Ils devront être entourés d’évaluations continues, de tests adversariaux, d’audits indépendants et de garde-fous non linguistiques. Le CAISI du NIST, qui annonce des collaborations de test avec Google DeepMind, Microsoft et xAI, reflète cette institutionnalisation de l’évaluation pré-déploiement. Mais ces accords restent largement volontaires et ne remplacent pas la responsabilité des intégrateurs.
La conclusion pour 2026 est nette : la prochaine frontière de l’IA d’entreprise n’est pas seulement la performance. C’est la capacité à prouver qu’un système sait quand sa mémoire se corrompt, quand ses recommandations sont influencées, quand ses garde-fous sont manipulés, quand sa perception contredit le texte, et quand son explication interne n’est qu’une carte parmi d’autres.