Deux préprints qui refroidissent l’enthousiasme robotique
Les modèles Vision-Language-Action, ou VLA, sont devenus l’une des grandes promesses de la robotique moderne : donner à un robot la capacité de voir une scène, comprendre une instruction humaine et produire directement une action. Mais deux nouveaux préprints signalés sur arXiv rappellent que cette promesse de généralisation se heurte à des problèmes très concrets dès que l’on quitte le laboratoire : le robot attend trop longtemps avant d’agir, ou il produit des actions qui semblent plausibles pour le modèle mais absurdes, risquées ou physiquement impossibles dans le monde réel.
Le premier article, Premover: Fast Vision-Language-Action Control by Acting Before Instructions Are Complete, signé par Joonha Park, Jiseung Jeong et Taesik Gong, s’attaque à un angle mort rarement mesuré : la latence créée par l’attente de l’instruction complète. Les auteurs notent que les politiques VLA sont généralement évaluées comme si l’utilisateur avait fini de parler ou d’écrire avant que le robot ne commence son raisonnement. Or, dans un déploiement réel, une instruction vocale ou textuelle s’étale sur plusieurs secondes. Pendant ce temps, le robot reste souvent inactif.
Le second préprint, Action Hallucination in Generative Vision-Language-Action Models, de Harold Soh et Eugene Lim, analyse une fragilité plus profonde : les modèles génératifs d’action peuvent halluciner des actions, c’est-à-dire produire des sorties qui violent les contraintes physiques ou conduisent à des échecs au niveau du plan. Les auteurs identifient trois barrières structurelles — topologique, précision et horizon — qui expliqueraient pourquoi certains échecs ne sont pas seulement des accidents d’entraînement, mais des tensions inhérentes entre architectures génératives et comportements robotiques faisables.
Ces deux travaux sont des préprints : ils n’ont pas encore la valeur d’une validation par les pairs. Ils doivent donc être lus comme des signaux de recherche, pas comme des verdicts définitifs. Mais ils sont importants parce qu’ils déplacent la discussion. Le problème n’est plus seulement de savoir si un robot peut réussir une tâche de démonstration. Il est de savoir quand il doit commencer à agir, avec quel degré d’incertitude acceptable, et comment empêcher un modèle généraliste de proposer une action qui n’appartient pas à l’espace physique sûr.
Le problème de la latence : agir avant la fin de la phrase
Premover part d’une observation simple : dans l’interaction humaine, l’action commence souvent avant que l’instruction soit parfaitement terminée. Un serveur qui entend « pourriez-vous me passer… » peut déjà orienter son attention vers la table. Un humain anticipe, prépare, puis corrige si nécessaire. Les robots VLA, eux, sont souvent évalués dans un mode beaucoup plus statique : l’instruction arrive comme une commande complète, puis le modèle infère l’action.
La proposition de Premover est de convertir cette fenêtre morte en pré-calcul utile. Le module garde le backbone VLA gelé et ajoute deux petites têtes de projection : l’une pour les patchs d’image, l’autre pour les jetons de langage. Ces projections produisent une carte de focalisation entre ce que le robot voit et les préfixes de l’instruction en cours. Un seuil de disponibilité décide ensuite quand le robot peut commencer à agir.
Sur la suite de benchmarks LIBERO, les auteurs rapportent une réduction du temps moyen de 34,0 à 29,4 secondes, soit 13,6 % de mieux, tout en maintenant un taux de réussite comparable au scénario où l’instruction complète est disponible : 95,1 % contre 95,0 %. Le résultat le plus parlant est peut-être le contre-exemple : un premoving naïf, qui agit trop tôt sans mécanisme de préparation contrôlée, tombe à 66,4 % de réussite. Autrement dit, anticiper est utile seulement si l’anticipation est gouvernée par une estimation robuste de ce qui est déjà suffisamment clair.
Cette nuance est cruciale pour la robotique domestique, logistique ou industrielle. Un robot qui attend systématiquement la fin de chaque commande paraît lent et peu naturel. Un robot qui démarre trop tôt peut saisir le mauvais objet, bloquer un passage ou créer un risque de sécurité. Premover ne résout pas toute la question, mais il formalise un compromis central : réduire la latence sans transformer l’anticipation en impulsivité mécanique.
L’autre faille : l’hallucination d’action
Le préprint de Soh et Lim aborde une question plus abstraite, mais potentiellement plus grave. Les hallucinations des grands modèles de langage sont désormais bien connues : un système peut produire une phrase convaincante mais fausse. En robotique, l’équivalent n’est pas seulement une erreur informationnelle. C’est une trajectoire de bras, une prise, une poussée, une séquence motrice. Une hallucination devient alors un événement physique.
Les auteurs se concentrent sur les politiques génératives à variables latentes, utilisées pour modéliser une distribution d’actions possibles. Leur thèse est que les hallucinations peuvent provenir d’un décalage structurel entre l’espace des comportements faisables et les architectures courantes. La barrière topologique concerne la forme même de l’espace des actions valides : certaines contraintes physiques ne se laissent pas facilement représenter par des distributions continues simples. La barrière de précision rappelle que de nombreuses tâches robotiques exigent une exactitude géométrique fine, par exemple insérer une pièce, saisir un objet fragile ou aligner un outil. La barrière d’horizon apparaît lorsque les erreurs s’accumulent sur plusieurs étapes : une petite action incorrecte au début peut rendre tout le plan irréparable.
Cette analyse rejoint une inquiétude plus large autour des modèles fondation robotiques. Un VLA peut apprendre des corrélations très riches entre images, texte et gestes, mais cela ne garantit pas qu’il respecte les invariants du monde physique. Le modèle peut avoir une bonne compréhension sémantique de « mettre la tasse dans l’évier » tout en générant une trajectoire qui cogne un obstacle, rate la prise ou confond une étape intermédiaire.
Pourquoi les VLA ont progressé si vite
Pour comprendre l’enjeu, il faut revenir à l’origine récente de cette vague. Avec RT-2, Google DeepMind a popularisé l’idée de traiter les actions robotiques comme des jetons, dans la continuité des modèles vision-langage entraînés sur des données web et robotiques. L’ambition était claire : transférer la connaissance sémantique acquise à grande échelle vers le contrôle robotique.
Open X-Embodiment a ensuite poussé la logique de mutualisation des données, avec un ensemble issu de 22 robots, 21 institutions et 527 compétences. OpenVLA, porté par Stanford, UC Berkeley, Toyota Research Institute, Google DeepMind et d’autres partenaires, a démontré l’intérêt d’un VLA ouvert de 7 milliards de paramètres, entraîné sur 970 000 épisodes robotiques. Octo a suivi une direction voisine avec une politique généraliste open source entraînée sur 800 000 trajectoires. Physical Intelligence, avec π0, a ajouté une architecture de flow matching pour le contrôle généraliste, tandis que NVIDIA Research a présenté GR00T N1 pour les humanoïdes généralistes.
Ces travaux dessinent un mouvement cohérent : la robotique veut sortir du modèle artisanal où chaque tâche, chaque robot et chaque environnement exigent une politique spécifique. Le VLA promet un socle réutilisable, capable de s’adapter à de nouveaux objets, de nouvelles instructions et de nouveaux corps robotiques. C’est précisément pour cela que les failles mises en lumière par Premover et par Soh et Lim sont importantes. Plus le modèle est généraliste, plus ses erreurs peuvent se déplacer vers des situations imprévues.
Ce que cela change pour le déploiement réel
Dans un laboratoire, on peut relancer une expérience, exclure une scène ambiguë ou mesurer un succès après coup. Dans un entrepôt, un hôpital, une cuisine ou une usine, la tolérance à l’erreur est radicalement différente. La sécurité robotique traditionnelle, encadrée notamment par des normes comme ISO 10218 pour les robots industriels, repose sur des hypothèses de contrôle, d’intégration et de limitation du risque. Les VLA introduisent une couche probabiliste et sémantique qui ne rentre pas toujours facilement dans ces cadres.
Google DeepMind, dans ses communications sur Gemini Robotics, insiste déjà sur une approche multicouche : sécurité sémantique, sécurité physique, évaluations adversariales et mécanismes de bas niveau. Le NIST, avec son AI Risk Management Framework, rappelle de son côté que la confiance dans l’IA suppose mesure, gouvernance et gestion continue du risque. Mais les deux préprints montrent qu’il faudra des outils spécifiques à l’action incarnée : benchmarks de latence interactive, tests d’anticipation sous instruction partielle, métriques d’hallucination motrice et vérificateurs physiques capables de filtrer une action avant exécution.
À court terme, l’avenir des VLA passera probablement par des architectures hybrides. Le modèle généraliste proposera une intention ou une distribution d’actions, mais un contrôleur plus classique, un vérificateur de contraintes, un modèle du monde ou une couche de sécurité certifiable devra arbitrer. La question ne sera pas seulement : le robot a-t-il compris ? Elle deviendra : a-t-il compris assez tôt, avec assez de certitude, et son action appartient-elle bien à l’ensemble des comportements sûrs ?
Une promesse intacte, mais moins magique
Ces recherches ne condamnent pas les VLA. Au contraire, elles indiquent où la prochaine génération devra progresser. Premover montre qu’il est possible de récupérer une partie du temps perdu sans sacrifier la réussite, à condition de traiter l’instruction comme un flux plutôt que comme un bloc final. Soh et Lim rappellent que la génération d’action ne peut pas être évaluée comme la génération de texte : une sortie plausible n’est pas nécessairement une sortie faisable.
La leçon pour l’industrie est sobre. Les robots généralistes ne deviendront pas fiables simplement parce que leurs modèles sont plus grands, mieux préentraînés ou plus ouverts. Ils devront apprendre à gérer l’incertitude temporelle et l’incertitude physique. La vraie rupture ne sera pas le robot qui répond à n’importe quelle phrase. Ce sera le robot qui sait quand ne pas bouger, quand commencer prudemment, et quand rejeter sa propre idée d’action.