Une nouvelle frontière moins spectaculaire, mais plus décisive

La prochaine bataille des grands modèles de langage ne se joue pas seulement dans la taille des modèles, le nombre de paramètres ou la prochaine démonstration virale. Une série de prépublications déposées sur arXiv les 13 et 14 mai 2026 montre un déplacement plus discret, mais stratégique : les LLM sont désormais évalués sur leurs coûts réels, leurs biais de décision et leurs vulnérabilités structurelles.

Ces travaux restent des prépublications, donc non encore validées par l’évaluation par les pairs, sauf mention contraire. Ils doivent être lus comme des signaux de recherche, pas comme des vérités établies. Mais leur convergence est frappante. Ils posent trois questions que l’industrie évite encore trop souvent : combien coûte vraiment l’efficacité annoncée, que se passe-t-il quand un modèle conclut trop vite, et quelles attaques deviennent possibles quand le déclencheur n’est plus dans le texte, mais dans l’architecture même du modèle?

1. L’efficacité ne se mesure plus seulement en jetons par seconde

Le premier axe concerne les ressources. Depuis quelques années, la distillation est présentée comme l’une des réponses les plus élégantes à l’explosion des coûts : un grand modèle enseigne à un plus petit, qui devient ensuite moins cher à déployer. Cette idée remonte notamment au travail de Geoffrey Hinton, Oriol Vinyals et Jeff Dean sur la distillation des connaissances. Mais la nouvelle prépublication arXiv intitulée « Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines », signée Katherine Lambert et Sasha Luccioni, attaque un angle mort : on comptabilise souvent l’inférence du modèle final, mais rarement toute la chaîne de production.

Leur argument est simple : si l’on inclut la génération de données par le modèle enseignant, la mise en cache des logits, l’évaluation, les essais d’hyperparamètres et les calculs intermédiaires, la distillation peut coûter beaucoup plus cher que ce que suggèrent les comparaisons classiques. Ce n’est pas une condamnation de la distillation, mais une demande de comptabilité complète. Le papier, accepté à ICML 2026 selon sa fiche arXiv, s’inscrit dans la lignée du mouvement « Green AI » de Roy Schwartz, Jesse Dodge, Noah Smith et Oren Etzioni, qui plaidait déjà pour publier les coûts de calcul aux côtés des scores de performance.

Cette préoccupation arrive au bon moment. L’Agence internationale de l’énergie, dans son rapport « Energy and AI », souligne que les centres de données deviennent un sujet électrique et industriel majeur. Le débat ne peut donc plus se limiter à « tel modèle est plus petit » ou « telle architecture est plus rapide ». Il faut savoir si le gain à l’usage compense la dépense complète de fabrication, d’entraînement, de distillation et de validation.

Deux autres prépublications arXiv renforcent cette logique. « OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance » propose un élagage progressif des jetons audio et vidéo dans les couches du décodeur plutôt qu’une compression brutale à l’entrée. Les auteurs annoncent jusqu’à 40 % de réduction de latence de préremplissage et 14,7 % de mémoire en moins sur leurs bancs d’essai. « Predict-then-Diffuse » s’attaque, de son côté, aux LLM à diffusion, dont la génération parallèle impose souvent de fixer une longueur de réponse à l’avance. Trop longue, elle gaspille du calcul; trop courte, elle force une relance coûteuse. Le papier propose donc de prédire d’abord la longueur utile de la réponse.

Même « Concurrency without Model Changes », avec son cadre AsyncFC pour appels de fonctions asynchrones, relève de cette nouvelle efficacité : non pas réduire le modèle, mais réduire l’attente. L’idée consiste à découpler le décodage du modèle et l’exécution des outils, afin de chevaucher raisonnement et appels externes lorsque les dépendances le permettent. Pour les agents logiciels, cette optimisation peut être aussi importante qu’un gain brut de performance modèle.

2. Les LLM héritent aussi de biais cognitifs humains

Le deuxième axe est cognitif. La prépublication « Quantifying and Mitigating Premature Closure in Frontier LLMs » transpose aux modèles de frontière un concept connu en médecine : la fermeture prématurée, c’est-à-dire le fait de s’engager dans une conclusion avant d’avoir assez d’information. En clinique, cette erreur est étudiée depuis longtemps comme facteur de diagnostic erroné. Une revue publiée dans BMC Medical Informatics and Decision Making rappelait déjà que les biais cognitifs influencent les décisions médicales et demeurent difficiles à mesurer systématiquement.

Le papier arXiv évalue cinq LLM de frontière sur des tâches médicales structurées et ouvertes. Dans des questions à choix multiples où la bonne réponse avait été retirée, les modèles ont tout de même choisi une option à des taux élevés. Sur des requêtes ouvertes et adversariales, ils ont aussi fourni des réponses inappropriées dans une proportion notable. Le point crucial n’est pas seulement que les modèles peuvent se tromper; c’est qu’ils peuvent préférer l’action à l’abstention, même quand l’incertitude devrait commander une clarification, une escalade ou un refus.

Ce résultat recoupe une inquiétude plus large : les LLM sont optimisés pour produire une réponse utile, fluide et confiante. Or, dans les domaines à haut risque, la compétence consiste parfois à ne pas répondre. OpenAI, avec HealthBench, a déjà tenté d’introduire des évaluations médicales plus riches, construites avec des médecins et des rubriques spécifiques. Mais la fermeture prématurée rappelle que la sécurité ne se réduit pas à éviter les hallucinations factuelles; elle suppose aussi d’évaluer le comportement du modèle face à l’ambiguïté.

Le papier « LLMs learn scientific taste from institutional traces across the social sciences » élargit cette question au jugement savant. Les auteurs entraînent des modèles sur des traces institutionnelles — ce qui a été publié, où et à quel rang — pour prédire la qualité perçue de propositions de recherche en sciences sociales. Le résultat est fascinant, mais ambivalent. D’un côté, les institutions produisent un signal exploitable pour enseigner le « goût » scientifique. De l’autre, ce signal peut encoder les préférences, modes, hiérarchies et angles morts du système éditorial existant. Autrement dit, le modèle n’apprend pas seulement à juger; il apprend aussi ce qu’une institution a historiquement récompensé.

D’autres papiers de la même salve complètent ce tableau. « Polar probe linearly decodes semantic structures from LLMs » examine comment des structures sémantiques peuvent être récupérées dans les activations internes. « Generative Floor Plan Design with LLMs via Reinforcement Learning with Verifiable Rewards » illustre l’attrait croissant des récompenses vérifiables pour des tâches où les contraintes numériques et topologiques sont mesurables. « Agentifying Patient Dynamics » applique un modèle du monde clinique à la recommandation de traitements du sepsis. Ensemble, ces travaux montrent une tension : les chercheurs veulent rendre les LLM plus vérifiables, mais aussi plus capables de juger dans des espaces où la vérité n’est pas toujours disponible.

3. Les attaques ne se cachent plus seulement dans les mots

Le troisième axe est sécuritaire. « MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs » est probablement le papier le plus inquiétant du lot. Les portes dérobées dans les LLM sont généralement pensées comme des déclencheurs textuels : une phrase, un mot rare, une syntaxe particulière. Ici, les auteurs soutiennent qu’un déclencheur peut être positionnel. Autrement dit, la longueur ou la structure de position des jetons peut activer un comportement malveillant sans modifier visiblement le contenu.

Si cette hypothèse se confirme au-delà des conditions expérimentales, elle complique fortement les défenses. Les filtres de contenu, les détecteurs de prompt injection et les systèmes de modération cherchent surtout des signaux linguistiques. Une porte dérobée déclenchée par une propriété structurelle du contexte contourne cette logique. Le NIST, dans sa taxonomie des attaques adversariales contre l’apprentissage automatique, insiste déjà sur la nécessité de raisonner selon le cycle de vie complet des modèles : données, entraînement, déploiement, inférence. MetaBackdoor ajoute une couche : l’architecture elle-même peut devenir surface d’attaque.

Ce constat rejoint les préoccupations de l’OWASP Top 10 pour les applications LLM, qui met en avant les risques de prompt injection, de divulgation d’informations sensibles, de chaîne d’approvisionnement et d’usage excessif des agents. Il rejoint aussi le Secure AI Framework de Google, qui appelle à traiter l’IA comme une infrastructure à sécuriser de bout en bout, et non comme une simple API intelligente.

Le papier sur le fine-tuning fédéré de données privées, « Towards the Next Frontier of LLMs, Training on Private Data », s’inscrit dans cette même zone grise entre opportunité et risque. Les auteurs proposent un benchmark interdomaines en santé et finance pour entraîner des LLM sur des données institutionnelles sans les centraliser, via apprentissage fédéré et méthodes PEFT comme LoRA, QLoRA et IA3. L’approche répond à un besoin réel : les données les plus utiles sont souvent privées, distribuées et réglementées. Elle prolonge les travaux fondateurs de Google Research sur l’apprentissage fédéré, où les données demeurent sur des nœuds locaux.

Mais le fédéré ne règle pas tout. Les mises à jour de modèle peuvent parfois révéler de l’information; les institutions participantes peuvent avoir des distributions non indépendantes; et la gouvernance des contributions devient critique. Dans un contexte où des backdoors peuvent être discrètes, l’apprentissage fédéré doit être accompagné d’audits, de tests adversariaux et de traçabilité des mises à jour.

Ce que cela annonce pour les entreprises

La leçon commune est claire : les LLM quittent l’âge des démonstrations pour entrer dans celui de l’ingénierie mesurée. Les organisations devront demander trois bilans avant d’adopter un modèle ou un agent.

Premier bilan : le coût complet. Pas seulement le prix de l’API ou la latence moyenne, mais l’énergie de préparation, de distillation, d’évaluation et de maintenance. Deuxième bilan : le comportement face à l’incertitude. Un modèle utile doit savoir demander plus d’information, refuser ou escalader. Troisième bilan : la surface d’attaque réelle. Les défenses textuelles ne suffisent plus si les déclencheurs peuvent être positionnels, temporels, agentiques ou liés aux outils.

Les cadres comme le NIST AI Risk Management Framework, les principes de l’OCDE sur l’IA et ISO/IEC 42001 donnent déjà une architecture de gouvernance. Mais ces nouvelles prépublications montrent que les contrôles doivent devenir plus techniques : journalisation énergétique, tests de fermeture prématurée, bancs d’essai d’abstention, analyse des dépendances d’outils, évaluation des déclencheurs non textuels et sécurité du fine-tuning fédéré.

La frontière des LLM n’est donc pas seulement plus grande. Elle est plus profonde. Elle touche au réseau électrique, à la cognition, à la clinique, à la science et à la cybersécurité. Et c’est précisément là que le débat public doit se déplacer.