Yann LeCun et l’avenir de l’IA : des modèles génératifs aux World Models avec JEPA
Cet épisode d’À LA FRENCH reçoit Yann LeCun, pionnier du deep learning, lauréat du Prix Turing 2018 et figure centrale de l’IA moderne. Le cœur de la discussion porte sur sa vision de la prochaine génération d’intelligence artificielle : les World Models, qui doivent remplacer les LLMs actuels pour atteindre une véritable compréhension du monde physique. LeCun explique pourquoi les modèles génératifs échouent dans ce contexte, détaille l’architecture JEPA (Joint Embedding Predictive Architecture), les défis d’entraînement comme l’effondrement (collapse) et la régularisation SIGReg, et présente ses nouvelles initiatives : la startup AmiLabs et le projet fédéré Tapestry.
🔬 Contexte et contributions de Yann LeCun
Yann LeCun est un chercheur français de renommée mondiale, pionnier du deep learning et lauréat du Prix Turing 2018. Il a posé les bases des réseaux de neurones convolutifs (CNN) dès sa thèse en 1987, puis les a développés chez Bell Labs, où il a travaillé sur la reconnaissance de chèques bancaires. Il a ensuite fondé le laboratoire FAIR (Facebook AI Research) à Paris en 2015, qui a formé une génération entière de chercheurs en IA. Il est également professeur à NYU et a reçu le Prix Turing pour ses travaux fondateurs.
🧠 Pourquoi les modèles génératifs échouent pour la prédiction du monde réel
LeCun explique que les modèles génératifs (comme les LLMs ou les modèles de diffusion) sont inadaptés pour modéliser le monde réel, car la majeure partie de l’information dans un signal vidéo ou sensoriel est imprévisible. Prédire chaque pixel est impossible et inefficace. En revanche, les LLMs fonctionnent bien sur des tokens discrets (texte, code) car l’incertitude y est gérable. Pour le monde physique, continu et bruité, une approche non générative est nécessaire.
⚙️ L’architecture JEPA (Joint Embedding Predictive Architecture)
LeCun propose JEPA comme alternative. Au lieu de prédire chaque pixel ou token, JEPA apprend à produire une représentation abstraite du monde dans un espace latent, en éliminant les détails imprévisibles. Le système prédit l’état futur du monde dans cet espace abstrait, sans jamais reconstruire l’entrée originale. Cela permet de modéliser des phénomènes complexes (comme la physique intuitive d’un chat) sans avoir à simuler chaque molécule.
🛠️ Défis d’entraînement : collapse et régularisation (SIGReg)
L’entraînement des JEPA souffre d’un problème majeur : le collapse, où le système ignore l’entrée et produit des représentations constantes. Pour l’éviter, LeCun et son équipe ont développé SIGReg (Sketched Isotropic Gaussian Regularization). Cette méthode force la distribution des représentations dans l’espace latent à être gaussienne et isotrope, maximisant ainsi l’information contenue. Elle s’appuie sur des projections aléatoires et des gradients pour garantir que chaque dimension porte une information unique, sans corrélation. C’est une avancée mathématique et pratique qui évite les limites des méthodes contrastives ou de distillation.
🏢 AmiLabs et le projet Tapestry
LeCun a cofondé AmiLabs, une startup mondiale basée à Paris, avec des bureaux à New York, Montréal et Singapour. L’objectif est de développer des World Models basés sur JEPA pour l’industrie. Le choix de la France est stratégique : accès au talent européen, position géopolitique non-alignée face aux blocs américain et chinois, et volonté de fournir une IA souveraine.
Parallèlement, il est Chief Scientific Officer du projet Tapestry, une fédération d’acteurs (gouvernements, industries, académies) visant à entraîner un modèle de fondation global de manière décentralisée. Chaque participant conserve la souveraineté sur ses données et n’échange que des vecteurs de paramètres. L’objectif est de créer un modèle ouvert, représentant la diversité culturelle et linguistique mondiale, sans dépendre des géants américains ou chinois.
🎯 Takeaway final
Yann LeCun propose une rupture radicale avec l’IA générative actuelle. Pour lui, l’avenir réside dans les World Models non génératifs, capables de comprendre le monde physique via des représentations abstraites et prédictives. L’architecture JEPA, couplée à des techniques de régularisation comme SIGReg, ouvre la voie à des systèmes véritablement intelligents, capables de planifier et d’agir. Avec AmiLabs et Tapestry, il pose les bases d’une IA souveraine, décentralisée et ouverte, loin des monopoles américains et chinois. Une vision ambitieuse qui replace la France et l’Europe au cœur de l’innovation.