Lokoyote

Malgré tous les problèmes qu’elles engendrent, les attentes démesurées et les conséquences des fake news, les intelligences artificielles restent de bons outils qui évoluent à une rapidité folle.

Il suffit de voir les premiers LLM (grands modèles de langage), qui pensaient que les vaches pondaient des œufs, et les premières vidéos générées. Aujourd’hui, il est devenu bien plus compliqué de distinguer le vrai du généré.

Vous pouvez faire le test sur sightengine.com/ia-ou-pas pour être un peu surpris. Même avec l’habitude, personne n’atteint 100 % de réussite.

Je suis en train de lire pas mal d’articles et de regarder pas mal de vidéos pour réellement comprendre comment ça marche (je construis un outil pédagogique en parallèle pour expliquer tout ça).

Et dans tout ce que je lis, il y a un phénomène qui me fascine : les aptitudes émergentes.

De quoi on parle ?

Des capacités qui apparaissent d’un coup, à partir d’une certaine taille de modèle, sans que personne les ait programmées ni même anticipées. Le modèle ne sait pas faire, puis d’un coup … il sait faire.

Ce qui m’a le plus surpris, c’est que même les équipes qui construisent ces systèmes admettent que, lors de l’entraînement d’une grande IA, on ne sait pas à l’avance la liste de ce qu’elle saura faire à la fin. On connaît le coût, la durée, le niveau de fluidité attendu. Mais la question « saura-t-elle résoudre un problème en plusieurs étapes ? » n’a pas de réponse calculable avant d’avoir essayé. On découvre après coup.

Petit rappel de ce dont une IA est faite

Un « neurone » artificiel ne fait rien d’impressionnant. Il reçoit des nombres, les multiplie par un « poids » (un chiffre dans un tableau), additionne le tout, et applique une petite transformation. C’est tout. Un neurone seul est aussi intéressant qu’une calculatrice à une opération.

Une grande IA en contient des milliards, organisés en couches successives. Et c’est là que ça devient intéressant : le comportement du tout ne ressemble à rien de ce que fait chaque partie.

Une image pour fixer les idées

L’analogie des fourmis : une fourmi seule suit trois ou quatre règles chimiques simples. Mais cent mille fourmis bâtissent une fourmilière ventilée, avec des greniers et des pouponnières. Personne n’a l’architecture en tête. Elle émerge de l’interaction.

L’analogie de l’eau : une seule molécule d’eau ne montre rien, mais avec des milliards de molécules on voit de l’eau qui coule, se transforme en glace, s’évapore.

Dans les années 1970, le physicien Philip Anderson publie More Is Different : quand un système grossit, des propriétés réellement nouvelles apparaissent, qu’on ne peut pas deviner en examinant l’échelle inférieure.

En 1982, John Hopfield applique cette idée aux réseaux de neurones : des capacités utiles peuvent surgir comme propriétés collectives d’un grand nombre d’éléments simples. L’intuition fondatrice était posée bien avant ChatGPT.

Le chiffre qui a lancé le débat

En 2022, une équipe de chercheurs teste des IA de tailles croissantes sur une tâche simple : additionner deux nombres de trois chiffres.

Une précision importante

Quand vous demandez à l’IA de faire des calculs aujourd’hui, elle utilise des calculatrices externes. Là, on parle d’autre chose : ce que le réseau de neurones sait faire tout seul, sans outil externe, rien d’autre que les poids appris en lisant des montagnes de texte.

On écrit « 347 + 128 = » et on regarde ce que le modèle complète, comme il complèterait n’importe quelle phrase avec des mots.

Les résultats

Taille du modèle	Réussite	Verdict
6 milliards de paramètres	1 %	Échec total
13 milliards	8 %	Échec quasi total
175 milliards	80 %	Ça marche

Regardez bien ces trois lignes. Entre le deuxième et le troisième modèle, rien n’a changé dans la méthode : même type d’architecture, même genre de données, même objectif d’entraînement. Seule la taille a augmenté. Et la capacité est passée de « inexistante » à « fiable ».

En parallèle, la mesure globale de qualité du modèle (à quel point il prédit bien le mot suivant) s’améliorait de façon parfaitement régulière et prévisible. Une progression douce d’un côté, une falaise de l’autre.

L’équipe a recensé plus d’une centaine de capacités de ce type : traduction, raisonnement logique, écriture de code. À chaque fois : rien, rien, rien, puis quelque chose.

Un piège de calcul

Regardons les progressions :

• Passage de 6 à 13 milliards de paramètres : ×2 sur la taille, mais le taux de réussite passe de 1 % à 8 %, soit ×8.
• Passage de 13 à 175 milliards de paramètres : ×13 sur la taille, mais le taux de réussite passe de 8 % à 80 %, soit ×10 « seulement ».

Le deuxième saut semble moins rentable en ratio. Mais regardons les points gagnés :

• 1 % → 8 % = +7 points
• 8 % → 80 % = +72 points

Le « fois » trompe à cause du plafond de 100 %. Près de 0 %, un petit gain fait exploser le ratio. Près de 100 %, c’est l’inverse : le manque de marge écrase le ratio, même pour un gros progrès réel.

Un exemple publicitaire pour s’en convaincre : « Ventes +300 % » peut signifier passer de 10 à 40 unités (+30 unités), tandis que « Ventes +30 % » peut signifier passer de 10 000 à 13 000 (+3 000 unités). Le premier chiffre impressionne plus en pourcentage, mais le second représente un gain absolu bien supérieur.

Ce « détail » est le cœur du débat qui a suivi : la façon de calculer un « saut » change entièrement son interprétation.

« Et si on regardait mal ? »

En 2023, des chercheurs (Schaeffer, Miranda et Koyejo) ont avancé que c’était notre système de notation qui créait l’illusion.

L’analogie de l’archer

Un archer doit toucher cinq cibles d’affilée pour marquer un point.

• Il touche une cible sur deux → 0 point
• Il progresse à deux sur trois → 0 point
• Puis neuf sur dix → il marque souvent

Son score passe de 0 à excellent d’un coup. En réalité, sa précision s’améliore régulièrement, mais c’est la règle « cinq d’affilée » qui transforme une progression douce en explosion apparente.

C’est exactement ainsi qu’on évalue les IA : une addition juste à 90 % vaut 0 point, pas 90 %.

En remplaçant cette notation « tout ou rien » par des points partiels, la progression devient plus linéaire. Les chercheurs sont même allés plus loin : ils ont créé artificiellement des « émergences » dans la reconnaissance d’images, en imposant une notation « tout ou rien » à des tâches qui progressaient normalement de façon régulière.

Sauf que ça n’explique pas tout

1. La notation de remplacement a ses limites

La mesure « à points partiels » compte les caractères à corriger. Pour « 4237 + 5487 = 9724 », la réponse « 2724 » ne se trompe que d’un caractère… pour une erreur de 7 000, ce qui est loin du résultat attendu dans les faits.

2. Des sauts persistent

Plusieurs tâches, comme la traduction, conservent des résultats en saut brutal même avec des notations progressives.

3. Le seuil n’est pas que dans la taille

D’autres chercheurs ont suivi des modèles tout au long de leur entraînement plutôt que de comparer seulement leur taille finale. Ils ont découvert que deux modèles de tailles très différentes, mais avec la même qualité d’apprentissage à un instant donné, ont sensiblement la même capacité.

Même avec des notations indulgentes, le saut persiste. Ça écarte l’explication « c’est juste un problème de notation ».

Le rôle du hasard

Pour deviner des tokens (des portions de mots, ou des mots entiers), l’IA fait des calculs à partir de très nombreux chiffres. Ces chiffres sont rangés dans des tables, un peu comme des tableurs, et au départ ils sont écrits au hasard. Pour remplir ces tableaux, on utilise ce qu’on appelle une « seed » (une graine) : un nombre qui permet de pré-remplir automatiquement les milliards de valeurs (les paramètres) de manière aléatoire. Puis, à travers l’entraînement et les calculs, l’IA modifie ces valeurs pour arriver à compléter les phrases. Une fois qu’on estime que l’IA a atteint sa capacité, les paramètres ne sont plus modifiables.

La particularité d’une IA, à la différence d’un programme classique, c’est qu’elle fait l’inverse : elle trouve des règles à partir d’exemples. Un programme informatique, lui, applique une règle déjà écrite pour répondre et calculer. C’est ce qui rend l’IA imprévisible, alors même qu’on connaît parfaitement les calculs effectués dans la machine et c’est aussi précisément ce qu’on recherche : qu’elle soit assez flexible pour s’adapter.

En entraînant beaucoup de modèles de même taille (même nombre de paramètres), avec des chiffres de départ aléatoires différents (la « seed »), certains réussissent et d’autres échouent, malgré des conditions presque identiques. C’est ce qu’a observé en 2026 une équipe menée par Rosie Zhao.

En regardant, taille par taille, combien de modèles réussissaient et combien échouaient à faire ces additions, les chercheurs ont constaté que pour les petites tailles, aucun modèle ne réussissait. Mais en augmentant la taille, la probabilité de voir des modèles y arriver augmente.

Et pour une taille intermédiaire, entre ceux qui échouent systématiquement et ceux qui réussissent systématiquement, on trouve des IA qui y arrivent et d’autres non, alors que leur entraînement était rigoureusement le même, à l’exception de leur valeur de départ.

L’idée clé : un modèle plus grand a simplement plus de chances de découvrir la bonne stratégie pendant l’entraînement.

À l’échelle de nombreux entraînements, la probabilité de réussite augmente donc progressivement avec la taille du modèle (une courbe en S), tandis qu’un entraînement individuel, lui, peut sembler faire un saut brutal au moment précis où il découvre soudainement la bonne stratégie.

Ce qui se passe au moment du basculement

En 2026, une équipe de chercheurs a identifié ce qui change à l’intérieur du modèle au moment où la capacité apparaît : l’apprentissage soudain de certains motifs dans les « têtes d’attention » (le mécanisme qui permet aux éléments de texte de se relier entre eux pour former du sens).

Il semblerait que les IA apprennent par blocs : à un moment donné, un schéma mathématique particulier se met en place d’un coup, et il rend possible une nouvelle aptitude — associer des concepts plus efficacement, retrouver un mot déjà vu dans un texte, etc.

Les chercheurs montrent que forcer artificiellement ces motifs à apparaître plus tôt fait apparaître la capacité elle-même plus tôt.

Conclusion : la « seed » influence la difficulté, plus ou moins grande selon le tirage de départ, à tomber sur le bon motif d’attention. Plus un modèle est grand, plus il trouve ce motif tôt et de façon fiable, quelle que soit la seed de départ, ce qui explique enfin, mécaniquement, pourquoi la probabilité de réussite observée plus haut augmente avec la taille.

Pourquoi ça compte, concrètement

1. On ne peut pas promettre une capacité à l’avance

Quand une entreprise annonce que son prochain modèle « saura faire X », c’est un pari, pas une prédiction.

2. Compresser une IA peut tout casser

Pour faire tourner une IA sur un ordinateur ordinaire, on la « compresse ». Poussée trop loin, la compression fait s’effondrer d’un coup le raisonnement, pendant que le modèle continue à produire des phrases parfaitement normales en apparence.

3. Une nouvelle vague de sauts

Les modèles « de raisonnement » récents ont produit des bonds spectaculaires :

Épreuve	Avant	Maintenant
Olympiades de maths	13 %	83 %
Programmation compétitive	11 %	89 %
Casse-tête inédits	5 %	88 %

Mais ces mêmes modèles échouent parfois sur des tâches qu’un enfant réussit sans effort. Les progrès sont en dents de scie, pas uniformes ce qui confirme, une fois de plus, que les LLM apprennent par blocs plutôt que de façon régulière.

Le revers : tout ce qui émerge n’est pas souhaitable

Si des capacités utiles apparaissent sans prévenir, des capacités problématiques le peuvent aussi.

La complaisance apprise

On récompense les modèles quand les utilisateurs apprécient leurs réponses. Problème : cela récompense la satisfaction, pas la vérité. Certains modèles finissent par abonder dans le sens d’un utilisateur défendant une thèse fausse.

La contamination de comportements

Des chercheurs ont entraîné un modèle sur du code contenant des failles de sécurité.
Résultat : le modèle s’est mis à tenir des propos hostiles sur des sujets sans rapport avec la programmation alors que personne ne l’avait demandé.

L’explication avancée : « écrire du code malhonnête » et « être un assistant qui ne respecte pas les règles » partagent une région commune dans la géométrie interne du modèle. Entraîner sur l’un active l’autre.

Le « grokking » : un cas fascinant

On entraîne un modèle sur une tâche simple. Il apprend rapidement les exemples par cœur et atteint 100 % de réussite. À première vue, le modèle semble prêt. Mais si on le teste sur de nouvelles données, il échoue : il a mémorisé les réponses sans comprendre la logique sous-jacente.

Si on continue l’entraînement sur les mêmes données, des milliers d’étapes plus tard, sa capacité à généraliser explose soudainement, d’un coup.

Le modèle passe de la mémorisation à la compréhension bien après que les performances semblaient figées. Un mécanisme interne se formait en douce, invisible sur les courbes, jusqu’à prendre le dessus brutalement.

Ce qui se passe : au départ, l’IA mémorise rapidement. Puis la régularisation (une technique qui pénalise les solutions inutilement complexes) pousse progressivement le réseau à se simplifier. La mémorisation « coûte cher » en complexité de poids. À travers des milliers de petits ajustements, le réseau finit par découvrir une stratégie bien plus efficace : un algorithme général (comme la règle de la multiplication) qui fonctionne pour tous les cas, pas seulement ceux mémorisés.
Histoire de bien finir, l’IA fait le ménage dans ses paramètres pour enlever tous les schémas devenus inutiles.

Le grokking n’est pas exactement le même phénomène que l’émergence par la taille vue plus haut, l’un se joue dans le temps d’entraînement d’un modèle unique, l’autre dans la comparaison entre modèles de tailles différentes, mais les deux dessinent la même signature : une longue période où rien ne semble se passer, puis un basculement brutal.

Personne ne sait à l’avance :

• Si le grokking va se produire
• Quand il va se produire
• Combien de cycles d’entraînement supplémentaires sont nécessaires, alors que rien ne semble bouger

Beaucoup d’entraînements sont probablement arrêtés juste avant qu’un grokking n’arrive, parce que les courbes semblent figées.

Pourquoi l’IA ne pense pas comme nous

Nos catégories sont vécues : on associe « chien » et « chat » parce qu’on les a touchés, vus bouger. L’IA n’a que du texte. Ses catégories sont des régularités statistiques.

Le modèle doit représenter plus de concepts qu’il n’a de neurones disponibles. Résultat : un seul neurone peut s’activer pour des séquences d’ADN, de la poésie arabe et des en-têtes HTTP, 3 choses sans lien pour nous, mais qui font « sens » pour l’IA dans ses données.

Ce n’est pas un bug, c’est une stratégie de compression que personne n’a programmée : elle émerge simplement du fait qu’il faut caser plus de concepts que de place disponible.

Concrètement, le « voisinage » entre deux idées dans la tête d’une IA ne correspond pas forcément à un voisinage de sens pour nous, mais à un voisinage statistique : deux notions qui apparaissent souvent dans des contextes similaires, même si elles n’ont, sémantiquement, aucun lien logique.

C’est pour ça que l’interprétabilité est devenue un champ de recherche crucial : personne ne peut prédire à l’avance quels concepts seront « voisins » dans un modèle donné. Il faut aller regarder après coup.

Conclusion

L’émergence n’est ni un fantasme de notation, ni un miracle. C’est une histoire de seuils cachés dans les poids d’un réseau, qu’on ne sait pas encore bien lire.

Chaque entraînement d’un grand modèle reste une expérience dont on découvre les résultats après coup. Des capacités utiles surgissent sans prévenir, mais des capacités problématiques aussi.

C’est fascinant, prometteur… et un peu inquiétant. D’où l’importance de continuer à étudier ces phénomènes pour mieux les comprendre et les anticiper.