L’IA ne manque pas seulement de puces : elle manque de mémoire
L’industrie de l’intelligence artificielle parle volontiers de GPU, de puissance de calcul et de milliards de paramètres. Mais l’obstacle le plus déterminant devient souvent moins spectaculaire : déplacer, conserver et retrouver les données assez vite pour que les processeurs ne restent pas inactifs. C’est le « mur de la mémoire » : l’écart grandissant entre la vitesse de calcul et la capacité, la bande passante, le coût ou la latence des mémoires disponibles.
Trois annonces récentes l’illustrent à des échelles radicalement différentes. Majestic Labs veut refondre le serveur d’inférence autour d’un immense pool de LPDDR6 plutôt que de HBM embarquée avec les GPU. Meta améliore l’utilisation de ses immenses grappes de GPU en traitant le stockage flash et les caches comme une hiérarchie mémoire. Microsoft, enfin, promet de réduire l’empreinte de Windows 11 pour mieux fonctionner sur des PC dotés de 8 Go de RAM.
Ces réponses ne sont pas interchangeables. Elles traduisent pourtant une même réalité : dans l’IA, le matériel ne vaut que si les données arrivent au bon endroit, au bon moment et à un coût soutenable.
Majestic Labs : remplacer la rareté de la HBM par une mémoire massive
Selon TechRadar, la jeune pousse Majestic Labs prépare Prometheus, un serveur conçu pour l’inférence qui peut réunir jusqu’à 128 To de LPDDR6 dans un espace mémoire partagé. Son processeur Ignite associerait des cœurs Arm à des unités vectorielles et matricielles RISC-V. L’objectif n’est donc pas simplement de substituer un CPU à un GPU : il s’agit de proposer un système dont le ratio mémoire-calcul est beaucoup plus généreux.
Le pari répond à une limite structurelle des accélérateurs actuels. La HBM, mémoire très proche du processeur et extrêmement rapide, offre une formidable bande passante. En contrepartie, elle est chère, complexe à intégrer et limitée par l’espace physique autour de la puce. Or, pour servir un grand modèle de langage, il faut conserver en mémoire ses poids, mais aussi le cache de contexte — le fameux KV cache — qui augmente avec la longueur des conversations et le nombre d’utilisateurs servis simultanément.
Majestic veut contourner cette contrainte grâce à une multitude de puces LPDDR6 standard, agrégées par des interfaces propriétaires et reliées à la puissance de calcul par des câbles en cuivre. IEEE Spectrum et EE Times ont rapporté une architecture à mémoire plate et partagée, dans laquelle chaque accélérateur peut accéder au même espace plutôt que de jongler entre plusieurs niveaux de mémoire locale, mémoire distante et RAM hôte. Le discours est séduisant : davantage de capacité rendrait possibles de très grands modèles, de larges contextes et des systèmes d’agents sans devoir découper agressivement les charges sur une flotte de GPU.
Il faut cependant distinguer le concept, prometteur, de la preuve industrielle. Les chiffres de coût, de consommation et de performance restent pour l’instant des affirmations de Majestic, reprises notamment par TechRadar. L’entreprise n’a pas encore livré de résultats de benchmarks indépendants sur du matériel commercial. Le vrai test sera double : atteindre une bande passante effective suffisante pour les phases sensibles à la mémoire, et offrir une pile logicielle aussi robuste que CUDA et l’écosystème Nvidia. La compatibilité annoncée avec PyTorch, vLLM et Triton réduit la friction, mais elle ne garantit ni la maturité des compilateurs ni la performance réelle.
Meta : ne pas remplacer les GPU, mais cesser de les faire attendre
Chez Meta, le problème est différent. L’entreprise dispose déjà de très grandes infrastructures GPU. Son enjeu est donc d’empêcher que des accélérateurs coûteux restent bloqués pendant le chargement de jeux de données ou de points de reprise d’entraînement.
Dans son billet d’ingénierie, Meta décrit des centaines de grappes de stockage à l’échelle de l’exaoctet et une architecture où les données peuvent devoir traverser des régions avant d’atteindre les machines GPU. Pour certaines charges, l’ingestion pouvait prendre des heures. Or, une heure perdue avant une expérience ou après un redémarrage de grappe est une heure pendant laquelle l’investissement de calcul ne produit rien.
La réponse est principalement logicielle et architecturale. Meta transforme le stockage en une hiérarchie de caches : mémoire des hôtes GPU en niveau L1, flash local en L2, stockage flash régional désagrégé en L3, puis stockage global comme source de vérité. L’entreprise ajoute du préchargement des lots de données, une API de prélecture plus profonde, des politiques d’éviction et un cache de métadonnées. Meta indique observer un taux moyen de succès de 80 % pour son cache de données distribué, tandis que l’accès aux métadonnées mises en cache se fait en une à deux millisecondes.
TechRadar résume cette stratégie par une formule parlante : le stockage devient « un disque dans un ordinateur à l’échelle planétaire ». C’est une métaphore pertinente. Au lieu de considérer SSD, RAM et stockage distant comme des silos, Meta les orchestre comme les niveaux d’une même mémoire virtuelle, mais à l’échelle de centres de données géographiquement distribués.
Cette approche ne rend pas les SSD comparables à la HBM : leurs latences et leurs débits restent incomparablement inférieurs. Elle cherche plutôt à cacher ces écarts par l’anticipation, la proximité des données et le réemploi des contenus les plus demandés. C’est une optimisation du temps mort, pas une substitution matérielle. Meta est aussi juge et partie : ses résultats proviennent de ses propres opérations et ne constituent pas une évaluation indépendante. Mais la publication détaille des mécanismes concrets et cohérents avec les contraintes des systèmes d’IA à très grande échelle.
Microsoft : sur le PC, la mémoire devient un budget à partager
Le cas Windows 11 paraît plus modeste, mais il touche directement le marché grand public. Dans un billet officiel publié le 20 mars 2026, Microsoft a promis d’abaisser l’empreinte mémoire de base de Windows afin de libérer davantage de capacité pour les applications. Le 31 juillet, Windows Central a rapporté une orientation plus explicite : une optimisation de la mémoire pour les configurations de 8 Go et plus d’ici la fin de l’année. Wccftech, relayé via Google News, a également mis en avant ce changement de priorité.
Précision importante : Microsoft ne dit pas qu’un PC de 8 Go devient idéal pour l’IA locale. Windows 11 peut officiellement être installé avec 4 Go, et Microsoft recommande 8 Go pour assurer la pérennité d’un usage courant. Mais 8 Go constituent un budget très étroit dès qu’un navigateur multiplie les onglets, que la visioconférence, les outils bureautiques et les services de sécurité tournent en parallèle. Pour un modèle local conséquent, il faut ajouter les poids du modèle, le contexte et les buffers d’exécution : l’optimisation du système d’exploitation ne change pas cette arithmétique.
L’intérêt de l’effort est ailleurs. Chaque gigaoctet que Windows ne monopolise pas laisse davantage d’espace aux applications classiques, aux petits modèles quantifiés ou aux fonctions d’IA exécutées par une NPU. Microsoft évoque aussi une migration progressive d’éléments de l’interface vers WinUI 3 afin de réduire la latence et la surcharge. C’est une réponse par l’efficacité logicielle : faire davantage avec la mémoire déjà présente plutôt que demander immédiatement plus de RAM.
Une même leçon, trois horizons
Majestic attaque la capacité physique dans le serveur. Meta maximise le rendement des GPU existants en rapprochant intelligemment les données. Microsoft réduit la pression exercée par le système d’exploitation sur les machines les moins dotées. La première voie est risquée mais potentiellement disruptive ; la deuxième est déjà déployée à une échelle industrielle ; la troisième est nécessaire, mais ne résoudra pas à elle seule les besoins des modèles locaux avancés.
La prospective la plus probable n’est pas une victoire unique de la HBM, de la LPDDR ou des SSD. L’IA adoptera des hiérarchies de mémoire toujours plus complexes : HBM pour les calculs les plus exigeants, DRAM ou LPDDR pour la capacité, flash pour l’extension et les caches, et logiciels de prélecture pour masquer les délais. Les gagnants ne seront pas nécessairement ceux qui possèdent la mémoire la plus rapide, mais ceux qui évitent le mieux de gaspiller le calcul.
Le mur de la mémoire devient ainsi un critère de conception aussi stratégique que le nombre de GPU. Pour les centres de données comme pour les PC, l’ère où l’on pouvait traiter la RAM et le stockage comme de simples composants secondaires est terminée.