Un appel à la pause venu du cœur de la course
Anthropic vient de remettre sur la table l’idée la plus explosive de la gouvernance de l’intelligence artificielle : une pause mondiale, coordonnée et vérifiable du développement des modèles les plus avancés. Dans un essai publié par l’Anthropic Institute, Jack Clark et Marina Favaro soutiennent qu’il serait « bon pour le monde » de disposer d’un mécanisme permettant de ralentir, voire de suspendre temporairement, l’entraînement et le déploiement de l’IA de pointe si les capacités progressent plus vite que la sécurité, la régulation et les institutions.
Le Monde résume l’enjeu par une formule frappante : Anthropic alerte sur la possibilité d’« IA capables de se fabriquer elles-mêmes ». Mon Carnet insiste de son côté sur la dimension pratique du problème : il ne s’agit pas seulement de proclamer une pause, mais de définir qui y participe, ce qui déclenche l’arrêt, comment on vérifie que les laboratoires respectent l’accord et selon quelles conditions la course peut reprendre.
Le cœur technique de l’alerte est l’auto-amélioration récursive. L’idée n’est pas qu’un chatbot devienne soudainement conscient, mais qu’un système d’IA puisse contribuer de manière déterminante à la conception, l’entraînement, le test et l’optimisation de son propre successeur. Anthropic affirme que Claude est déjà devenu un outil central dans sa propre chaîne de production : selon les données internes publiées par l’entreprise et reprises par Numerama, plus de 80 % du code intégré à la base de production d’Anthropic serait désormais écrit par Claude, tandis que la productivité par ingénieur aurait fortement augmenté par rapport à 2024.
Des chiffres impressionnants, mais intéressés
Ces chiffres doivent être lus avec prudence. Anthropic est ici une source primaire : elle publie ses propres mesures, selon ses propres définitions, dans un contexte où sa réputation de laboratoire « prudent » est aussi un actif stratégique. L’entreprise reconnaît elle-même certaines limites : les gains de productivité déclarés par les employés peuvent être surestimés, les tests internes ne reflètent pas toujours les environnements réels, et les trajectoires exponentielles finissent parfois en courbes en S.
Cela dit, l’alerte ne repose pas sur un simple communiqué marketing. Les travaux de METR sur les horizons de tâches autonomes montrent, eux aussi, que les modèles gagnent rapidement en capacité à exécuter des tâches longues et complexes, même si la mesure exacte de cette progression reste débattue. L’OCDE, dans ses scénarios d’IA à l’horizon 2030, décrit également une accélération des capacités dans la programmation, le raisonnement scientifique et l’usage d’outils numériques. Autrement dit, Anthropic a un biais évident, mais le phénomène qu’elle décrit n’est pas sorti de nulle part.
La contradiction est ailleurs : au moment même où l’entreprise appelle le monde à se donner une pédale de frein, elle appuie elle-même très fort sur l’accélérateur.
Mythos, AWS et le paradoxe Anthropic
01net formule crûment cette tension : « le pied sur l’accélérateur », Anthropic demande au reste du monde de ralentir. Depuis le printemps, l’entreprise a multiplié les signaux d’expansion. Elle a présenté Claude Mythos Preview, un modèle décrit comme extrêmement performant en cybersécurité, capable de trouver et parfois d’exploiter des vulnérabilités complexes. Elle a lancé Project Glasswing, d’abord avec environ 50 partenaires, puis l’a étendu à quelque 150 organisations dans plus de 15 pays, incluant des acteurs d’infrastructures critiques.
Anthropic affirme que Mythos et ses partenaires ont identifié plus de 10 000 vulnérabilités de sévérité élevée ou critique. Le laboratoire ajoute que, dans certains projets open source, le goulot d’étranglement n’est plus la découverte de failles, mais leur vérification, leur divulgation et leur correction par des humains. C’est exactement le type de dynamique qui nourrit son argument : quand l’IA accélère la recherche de vulnérabilités, la société doit se demander si ses mécanismes de contrôle suivent encore.
Mais commercialement, cette accélération est aussi une arme. Mythos est accessible via des canaux contrôlés, notamment l’API de Claude, Amazon Bedrock, Google Cloud Vertex AI et Microsoft Foundry. AWS a par ailleurs lancé une nouvelle expérience Bedrock optimisée pour les API compatibles Anthropic et OpenAI, afin de faciliter la comparaison, l’évaluation et le passage en production des modèles. Anthropic a aussi annoncé avec Amazon un accord massif de capacité de calcul, présenté comme pouvant aller jusqu’à 5 gigawatts pour entraîner et déployer Claude.
Autrement dit, le même acteur qui prévient que la course devient dangereuse investit dans l’infrastructure nécessaire pour rester à la frontière.
« Moat building » ou peur authentique?
C’est ici que la réaction de l’industrie devient féroce. TechRadar rapporte des critiques accusant Anthropic de vouloir construire un « moat », c’est-à-dire un fossé défensif autour de son avance technologique. La lecture cynique est simple : une entreprise bien placée dans la course appelle à ralentir au moment où cela pourrait figer la hiérarchie du marché, compliquer l’arrivée de concurrents et renforcer l’idée que seuls quelques laboratoires « responsables » devraient avoir accès aux modèles les plus puissants.
Cette critique n’est pas absurde. Les appels à la régulation venant des leaders d’un secteur servent souvent, volontairement ou non, à augmenter les coûts d’entrée pour les nouveaux venus. Une pause mal conçue pourrait devenir une barrière à l’innovation, un avantage pour les grandes plateformes cloud, ou un outil de capture réglementaire.
Mais la lecture inverse est tout aussi plausible. TechRadar, tout en se montrant sceptique sur la faisabilité d’une pause mondiale, reconnaît que les craintes d’Anthropic sur l’auto-amélioration récursive ne sont pas dénuées de fondement. Le problème est précisément que l’incitation commerciale et la peur technique coexistent. Anthropic peut chercher à protéger son avance tout en étant sincèrement inquiète de ce qu’elle observe dans ses laboratoires.
La zone grise militaire et biologique
Le dossier Mythos rend cette ambiguïté encore plus inconfortable. TechCrunch et Semafor, en s’appuyant notamment sur des informations attribuées au Financial Times, rapportent que la NSA utiliserait ou préparerait l’utilisation de Mythos pour des opérations cyber offensives. TechCrunch précise que la NSA a refusé de confirmer ou d’infirmer ces informations. Même si les détails opérationnels restent opaques, l’épisode illustre le caractère dual des modèles avancés : un système capable de trouver et corriger des failles peut aussi servir à produire des intrusions.
Le même raisonnement vaut pour la biologie. Dans une lettre ouverte publiée par la Foundation for American Innovation et signalée par 01net, Sam Altman, Dario Amodei, Demis Hassabis, Mustafa Suleyman et plusieurs scientifiques demandent au Congrès américain de rendre obligatoire le filtrage des commandes d’ADN et d’ARN synthétiques. Leur argument : l’IA pourrait abaisser les barrières techniques qui empêchaient jusqu’ici des acteurs malveillants de concevoir des armes biologiques.
Ce n’est pas une preuve que les modèles actuels permettent déjà de fabriquer facilement une arme biologique. C’est un signal politique : les dirigeants des principaux laboratoires veulent transférer une partie du contrôle vers des infrastructures vérifiables — registres, filtrage, audit, traçabilité — plutôt que compter uniquement sur les garde-fous internes des modèles.
Ce que changerait une vraie pause
Une pause crédible ne ressemblerait pas à un bouton rouge spectaculaire. Elle exigerait des seuils publics, des audits indépendants, une surveillance de la capacité de calcul, des obligations de déclaration, des tests de cybersécurité et de biosécurité, et probablement une coordination entre gouvernements rivaux. Les engagements de sécurité pris au Sommet de Séoul en 2024 par les grands développeurs d’IA ont posé une première base volontaire, mais ils restent loin d’un régime international contraignant.
Le principal obstacle est géopolitique. Si seuls les laboratoires américains et européens ralentissent, leurs concurrents chinois, open source ou clandestins pourraient continuer. Si la pause est imposée par les États-Unis, elle sera soupçonnée d’être un outil de domination technologique. Si elle est laissée aux entreprises, elle sera soupçonnée de servir leurs intérêts commerciaux.
La proposition d’Anthropic ne résout donc pas le problème. Elle le nomme. Et c’est déjà beaucoup.
Le vrai signal : l’IA devient une infrastructure de puissance
Le débat ne porte plus seulement sur des chatbots plus rapides ou des assistants de programmation plus utiles. Il porte sur une infrastructure capable d’accélérer la recherche logicielle, la cybersécurité, la biologie, la surveillance, l’influence et les capacités militaires. Si une IA aide à construire la génération suivante d’IA, la vitesse de la course peut cesser d’être dictée par les cycles humains classiques.
La contradiction d’Anthropic est donc le symptôme d’une industrie entière : tous les grands laboratoires veulent être perçus comme responsables, mais aucun ne veut être celui qui ralentit seul. Le risque de « moat building » est réel. Le risque d’auto-amélioration incontrôlée ne peut pas être balayé pour autant.
La question pour les gouvernements, les entreprises et les citoyens n’est plus de savoir s’il faut faire confiance à Anthropic. Elle est de savoir comment construire des freins que même Anthropic, OpenAI, Google, Meta, les États et les militaires ne pourraient pas contourner facilement.