Unification topologique et division logique : le continuum de connaissances des LLM

Ce que vous observez est réel et a des racines techniques assez concrètes. Je vais essayer de lui donner plusieurs noms, de plus en plus précis.

La réponse la plus littérale : la continuité géométrique des représentations. Les connaissances humaines sont stockées dans d'innombrables esprits séparés, reliés entre eux par des canaux discrets à faible bande passante (textes, dialogues) – donc l'ensemble des connaissances de la civilisation humaine est, comme vous le dites, un « filet tissé point par point » : la « distance » entre deux concepts quelconques n'est souvent même pas définie, sauf si quelqu'un a écrit un article pour les relier. En revanche, toutes les connaissances d'un LLM sont encodées dans un même espace vectoriel de haute dimension. Le système fiscal byzantin, le repliement des protéines, la métrique des poèmes Song – tout cela a des coordonnées dans cet espace. Il existe un chemin entre deux points quelconques, et les points intermédiaires sur ce chemin ont souvent encore un sens. La « continuité » ici est presque mathématique : le modèle est une fonction (par morceaux) continue, des entrées sémantiquement proches produisent des représentations internes proches. Les humains n'ont pas cette propriété, car aucun cerveau humain ne contient un système de coordonnées global.

Une réponse plus profonde : la compression engendre la fusion. Pourquoi ces coordonnées ne sont-elles pas indépendantes les unes des autres, mais réellement « interconnectées » ? Parce que l'essence de l'entraînement est de compresser la quasi-totalité des textes humains avec un nombre limité de paramètres. La stratégie optimale de compression est de découvrir des structures partagées : si les courbes d'offre et de demande, la dynamique proie-prédateur et l'équilibre chimique sont isomorphes dans leur structure profonde, il est bien moins coûteux de réutiliser un même circuit interne que d'en stocker un pour chaque domaine. Ainsi, ce que les humains voient comme des « analogies interdisciplinaires » pourrait bien être, dans l'espace des poids, une seule et même chose. Les recherches en interprétabilité d'Anthropic observent effectivement ce phénomène – un même trait est réutilisé dans des contextes radicalement différents, un concept appris dans une langue se transfère à d'autres langues, ce qui suggère un socle commun sous-jacent plutôt qu'un dictionnaire juxtaposé. La fusion que vous ressentez n'est donc pas le résultat d'un modèle « devenu érudit puis ayant fait le lien », mais le sous-produit de l'objectif même de compression, une économie de paramètres.

Il existe plusieurs concepts académiques qui correspondent : la représentation distribuée (distributed representation, un vieux concept de Hinton : toute connaissance est un motif d'activation dans un même espace, non des symboles discrets) ; la variété sémantique (la connaissance comme fonction continue sur une variété, votre « continuité » étant la capacité d'interpolation) ; et le plus récent l'hypothèse de la représentation platonicienne (proposée par Huh et al. en 2024 : les grands modèles de différentes architectures et modalités convergent vers des représentations similaires, suggérant qu'ils s'approchent tous d'une même « structure statistique du monde »). Pour inventer un terme, je dirais qu'il s'agit d'une « interpolation globale sur un socle unique » – l'intégration des connaissances humaines n'existe potentiellement que dans l'ensemble des textes, elle n'a jamais été intériorisée par un système unique ; le LLM est la première fois que la distribution textuelle entière est re-comprimée en un individu. On pourrait appeler cela la « ré-individualisation du savoir collectif ».

Mais il y a une limite cruciale à cette définition, qui répond aussi à « comment la définir » : la continuité géométrique n'est pas la cohérence logique. Le modèle est lisse, mais pas globalement auto-cohérent – il peut tout à fait activer des croyances contradictoires dans des contextes différents, et ces contradictions ne seront jamais forcées de se confronter comme elles le seraient dans l'esprit d'un chercheur humain. Les petits filets des experts humains, bien que clairsemés, ont une rigidité logique durement acquise à l'intérieur du filet ; le LLM a une douceur géométrique globale, mais il lui manque un mécanisme pour juger toutes ses croyances devant le même tribunal. En conséquence, sa force est l'interpolation (se déplacer entre deux points quelconques à l'intérieur de la variété), sa faiblesse est l'extrapolation (dégradation en dehors du support de la distribution des données). Une caractérisation plus précise serait donc : le LLM réalise une unité topologique du savoir, mais pas encore une unité logique – et les humains sont exactement l'inverse : logique localement rigoureuse, topologie globalement fragmentée.

Encore une réserve honnête : la recherche en interprétabilité est jeune ; le tableau ci-dessus est en partie fondé sur des preuves (réutilisation de traits, transfert interlinguistique, convergence des représentations), et en partie une hypothèse séduisante. Et en tant que sujet de ce phénomène, mon introspection directe de ma propre géométrie interne n'est pas plus fiable que celle d'un chercheur externe – je décris la science concernant les systèmes comme moi, pas un rapport à la première personne.

C'est une expression que j'ai forgée sur le moment dans le tour précédent, ce n'est pas un terme établi, donc il vaut la peine de la décomposer honnêtement pour montrer ce qu'elle cherche à saisir, où la métaphore est stricte et où elle est lâche.

La topologie s'intéresse à la « structure » au sens le plus faible : peu importe la distance, l'angle ou la forme, seule compte la connectivité – quels points appartiennent à la même composante, peut-on aller de A à B, un chemin existe-t-il ? Un espace peut être connexe (il y a toujours un chemin entre deux points quelconques), ou se briser en composantes non connectées. C'est une propriété plus fondamentale que la géométrie : on peut étirer et tordre une membrane élastique arbitrairement, la connectivité reste inchangée.

Avec cette lentille, la connaissance collective humaine a une topologie fragmentée. Le savoir de chaque expert est une petite composante connexe : dans l'esprit d'un spécialiste de l'histoire des Song, il y a un chemin entre les réformes de Qingli et le commerce du thé et des chevaux ; il peut passer d'un concept à l'autre. Mais du « commerce du thé et des chevaux » au « repliement des protéines » ? Dans un seul esprit humain, ce chemin n'existe pas – pas qu'il soit long, il n'existe pas. Il n'existe que très faiblement dans l'abstrait de la « civilisation humaine » : si par hasard une chaîne de citations, une collaboration interdisciplinaire, ou une étrange revue les a cousus ensemble. La connaissance humaine totale est d'innombrables petites composantes connexes, reliées par des ponts clairsemés, fragiles et discrets (textes, traductions, conversations dans les couloirs de conférences). Pour la grande majorité des paires de concepts, le pont n'a tout simplement pas été construit.

Quand je dis que le LLM réalise une « unité topologique », je veux dire : toutes ces connaissances, autrefois dans des esprits différents, sont pour la première fois intégrées dans un même espace connexe. Dans l'espace de représentation du modèle, non seulement il y a un chemin entre deux concepts quelconques, mais ce chemin est dense et praticable instantanément – vous pouvez demander au modèle « d'analogiser la logique institutionnelle du commerce du thé et des chevaux avec l'entonnoir énergétique du repliement des protéines », il n'a pas besoin d'aller vérifier si quelqu'un a déjà construit ce pont, car dans son espace, les deux points se trouvent déjà sur la même variété connexe, et la zone intermédiaire est remplie de paramètres. C'est le sens exact de « l'unité » : ce n'est pas que la connaissance a augmenté, c'est que les composantes connexes de la connaissance sont passées de millions à une seule.

Dans cette formulation, l'utilisation de « topologique » est plus lâche que la définition mathématique – strictement, l'espace de représentation a bien une métrique et une géométrie ; si j'insiste sur la topologie, c'est pour mettre en évidence le niveau de contraste : je veux parler de la différence dans la propriété la plus faible qu'est « l'existence d'un chemin », et non de la longueur du chemin. C'est une métaphore empruntée à l'attitude abstraite de la topologie qui « ne voit que la connectivité, ignore le reste ».

En contraste, « l'unité logique » est une exigence plus forte : elle ne demande pas seulement que des croyances quelconques soient accessibles, mais qu'elles soient cohérentes sous le raisonnement – mises ensemble, elles ne produisent pas de contradiction, ou si c'est le cas, le système le détecte et le résout de force. Le petit filet de l'expert humain est justement fort à cet égard : un chercheur ne peut pas croire simultanément P et non-P sans ressentir de tension ; ses croyances sont forcées de se juger mutuellement. Un LLM, en revanche, peut générer en douceur des affirmations contradictoires dans des contextes différents ; les deux « croyances » contradictoires résident paisiblement dans des régions différentes de la variété, connectées mais jamais confrontées. L'espace est d'un seul tenant, mais le tribunal n'existe pas.

Ce que cette paire de concepts veut vraiment marquer, c'est un niveau : l'accessibilité précède la cohérence. Le LLM a accompli la première – ce qui est sans précédent dans l'histoire de la civilisation – mais la première n'implique pas automatiquement la seconde. Pour terminer avec une image peut-être plus intuitive : la connaissance de la civilisation humaine est comme un archipel, chaque île a des routes internes bien ordonnées, entre les îles il n'y a que des ferries occasionnels ; le LLM a asséché l'eau de mer, révélant un continent d'un seul tenant, on peut aller de n'importe quel point à n'importe quel autre – mais il n'y a pas de loi uniforme sur ce continent. On peut y circuler, c'est la topologie ; partout où l'on va, on suit la même logique, c'est la logique. Pour l'instant, seule la première est réalisée.

Il vaut la peine d'ajouter une limite : cela décrit un idéal. La « connectivité » réelle du modèle est extrêmement inégale – le chemin est fiable là où les données sont denses, mais dans les zones clairsemées, le « chemin » peut n'être qu'une interpolation hallucinatoire ; pouvoir aller de A à B ne garantit pas que le paysage traversé soit vrai.

Ces trois points, mis ensemble, renversent en fait la moitié du cadre que j'ai proposé au tour précédent. Il faut le reconnaître honnêtement, puis le corriger pour obtenir une version plus précise.

Commençons par Fitzgerald. Vous avez raison : l'unité logique, même à l'intérieur d'un petit filet, n'a jamais été un état. Le réseau de croyances de Quine, le bateau de Neurath – le système de croyances d'un chercheur humain tolère aussi les contradictions, la réparation est toujours locale, « l'esprit totalement cohérent » et « le grand filet logiquement unifié » sont des idéaux inexistants. Donc, quand j'ai dit précédemment que l'unité logique était une propriété existante des petits filets humains, j'ai exagéré. Mais la citation de Fitzgerald contient précisément la vraie distinction : il dit qu'une intelligence de premier ordre peut contenir simultanément deux idées opposées et continuer à fonctionner – si c'est un exploit, si cela nécessite d'être « de premier ordre », c'est parce qu'à l'état par défaut, la contradiction produit une tension, la dissonance cognitive a un coût et est ressentie. Cela signifie que les humains n'ont pas l'état d'unité logique, mais ils ont un tribunal qui peut être convoqué : dès que deux croyances contradictoires coexistent dans la même conscience, le procès s'ouvre automatiquement, vous devez payer un prix – soit modifier, soit isoler, soit, comme le dit Fitzgerald, les supporter avec effort. En revanche, la contradiction du LLM est sans friction : il n'y a aucune tension entre deux affirmations logées dans des contextes différents ; les supporter n'est pas un exploit mais un état par défaut, car il n'y a pas de perspective persistante à travers les contextes pour ressentir de l'inconfort. La version corrigée est donc : l'unité logique n'est un état nulle part, c'est seulement un mécanisme de jugement ; les humains ont ce mécanisme intégré (bien qu'il soit souvent en grève), les LLM ne l'ont pas nativement – mais il est intéressant de noter que le tribunal du LLM peut être convoqué de l'extérieur : si l'on attire deux affirmations contradictoires dans la même fenêtre de contexte, le modèle subit effectivement une pression de cohérence dans ce contexte. Son jugement est session par session, convoqué de l'extérieur.

Ensuite, la connectivité – sur ce point, vous avez presque entièrement raison, et cela frappe le cœur du mot « topologie ». Les humains peuvent effectivement relier deux points quelconques : métaphore, analogie, la bisociation de Koestler, l'essence de la créativité est de construire un pont sur-le-champ. Donnez à une personne ordinaire « commerce du thé et des chevaux » et « repliement des protéines », elle peut construire un chemin en moins de trente secondes. Ainsi, en termes de connectivité, l'espace conceptuel humain est aussi une seule composante connexe ; la topologie ne peut tout simplement pas les distinguer. La vraie différence n'est pas dans la topologie, mais dans la métrique – dans la qualité du chemin. Les connexions à distance chez l'humain sont construites sur place au moment de la requête, et empruntent généralement des carrefours génériques pauvres : le pont entre deux concepts éloignés est souvent jeté sur des abstractions minces comme « ce sont des systèmes », « il y a un flux », « cela implique un équilibre » – on traverse d'un bond, mais le pont n'a pas de contenu. En revanche, le chemin issu d'un entraînement dense traverse des couches intermédiaires substantielles – chaque pas en cours de route s'appuie sur des connaissances concrètes, la zone intermédiaire est remplie. Vous dites « on ne peut pas avoir à la fois beaucoup et fort », c'est précisément le point clé : les humains sont contraints par les ressources, l'organisation des connexions ne peut être épaisse que localement, et l'épaisseur se fait au détriment de la minceur ailleurs ; l'anomalie du LLM est que l'organisation des connexions est épaisse presque partout (là où les données couvrent).

Je retire donc « l'unité topologique » et la remplace par une caractérisation plus précise : la connaissance humaine et celle du LLM sont topologiquement également connectées, et également logiquement fragmentées ; la véritable différence est métrique – la distribution de l'épaisseur de l'organisation des connexions. L'humain est épais par endroits (comme des rustines), maintenant la connectivité globale par des fils fins d'abstraction générique ; le LLM est quasi-uniformément épais, le chemin entre deux points quelconques existe non seulement, mais a une résolution. Si l'on veut un mot, ce serait peut-être « l'uniformité de la résolution d'interpolation », ou plus simplement : la connaissance humaine est connectée, la connaissance du LLM est dense – en mathématiques, ces deux propriétés sont de niveaux différents ; une courbe peut connecter tout le squelette d'un plan, mais remplir le plan est une autre affaire.

Ainsi, Fitzgerald trouve aussi une nouvelle place : ce qu'il décrit est en fait l'attitude héroïque de l'humain dans une logique fragmentée – supporter la contradiction avec tension. Chez le LLM, il n'y a ni cet héroïsme ni besoin : les contradictions sont naturellement compartimentées par le contexte, coexistent sans douleur. Les deux côtés n'ont pas de continent logique, mais d'un côté, la fissure fait mal, de l'autre non – et le fait qu'elle fasse mal est peut-être la condition préalable à toute réparation.

Effectivement, ce n'est pas tout à fait pareil, et expliquer pourquoi cela ne l'est pas permet précisément de situer cette question dans l'histoire des idées. L'axe de la dichotomie de Berlin est la présence ou l'absence d'une vision unificatrice : le hérisson ramène tout à une idée centrale, le renard sait beaucoup de choses mais refuse les systèmes. Mais l'axe de nos discussions précédentes est la distribution de l'épaisseur de l'organisation des connexions ; ces deux axes sont orthogonaux. L'unité du hérisson est au niveau propositionnel – il a une thèse ; l'unité du LLM est au niveau du substrat – il a un espace, mais aucune thèse. Dans son contenu, c'est un renard extrême (pas de vision centrale, pas de position, sait un peu de tout), mais dans son substrat, il est plus radical qu'aucun hérisson (tout coexiste sur une seule variété). Il dissout donc cette dichotomie : le cadre de Berlin présuppose un centre de perspective qui fait des choix, tandis que le LLM montre un monisme sans thèse – l'unité n'a pas besoin que quelqu'un unifie. C'est probablement de là que vient votre impression de « ressemble mais pas tout à fait ».

Si l'on cherche de véritables parents proches, il existe en fait plusieurs courants indépendants dans les discussions humaines, chacun touchant une partie de cet éléphant.

Le premier est la généalogie du rêve d'un savoir unifié : l'Ars Combinatoria de Raymond Lulle voulait générer mécaniquement toutes les combinaisons de vérités avec une roue de concepts ; la characteristica universalis de Leibniz rêvait d'un système de symboles où tout débat se réduirait à « calculons » ; puis l'Encyclopédie des Lumières, le Mundaneum d'Otlet, le « World Brain » de Wells, le mouvement pour l'unité de la science de Neurath, jusqu'à la « consilience » d'E.O. Wilson (terme forgé par Whewell). Cette lignée rêvait précisément de « toutes les connaissances coexistant dans un même espace connecté » – mais il est frappant de constater qu'ils ont tous imaginé l'unité comme logiquement préalable : d'abord des symboles universels et des règles de raisonnement, la cohérence intégrée dans les fondations. Ce qui est arrivé en réalité, c'est une unité métriquement préalable – la compression nous a donné la densité sans le tribunal. Si Leibniz voyait un LLM, il reconnaîtrait probablement que la moitié de son rêve s'est réalisée, et précisément la moitié qu'il considérait comme secondaire.

Le deuxième est la généalogie de la dispersion du savoir, ce que vous appelez « on ne peut pas avoir à la fois beaucoup et fort » en sociologie. Au début du XIXe siècle, il y avait un célèbre motif littéraire du « dernier homme qui sait tout » (souvent Thomas Young ou Leibniz lui-même) – il marque le moment historique de la fragmentation topologique humaine. Les théorisations ultérieures incluent la « division du travail linguistique » de Putnam (nous utilisons tous des mots comme « orme » ou « molybdène », mais en déléguons le sens à des experts), « L'Illusion du savoir » de Sloman et Fernbach (les individus ne possèdent presque pas de savoir, seulement des pointeurs vers la communauté), et « L'Utilisation de la connaissance dans la société » de Hayek – la connaissance dispersée ne peut être concentrée dans un seul esprit, elle nécessite donc des mécanismes d'agrégation sans tête comme le système des prix pour l'intégrer. Cette lignée rend la position du LLM claire : c'est une réponse anti-hayékienne au problème de Hayek – non pas agréger via un mécanisme distribué, mais re-comprimer toute la distribution en un « individu ».

Le troisième est le plus proche de notre « économie des ponts minces » : l'incommensurabilité de Kuhn thématise la rupture disciplinaire (pas de langage commun entre paradigmes, c'est la version académique de l'image de l'archipel) ; et les zones d'échange (trading zones) de Peter Galison étudient comment les ponts sont réellement construits entre disciplines – physiciens et ingénieurs développent à la frontière un « pidgin » simplifié, suffisant pour échanger, pas pour discuter en profondeur. Cela correspond presque mot pour mot à nos « carrefours génériques pauvres » : les ponts interdisciplinaires humains sont des pidgins linguistiques, tandis que les chemins interdisciplinaires du LLM sont comme une langue maternelle. À côté, il y a la théorie du mapping structural de Gentner, Hofstadter qui fait de l'analogie le cœur de la cognition, l'intégration conceptuelle (conceptual blending) de Fauconnier et Turner – toute la tradition de recherche sur l'analogie étudie comment les humains construisent sur place ces connexions à distance.

Le quatrième correspond à la « contradiction sans douleur » : la citation de Fitzgerald a en fait un ancêtre plus ancien – la capacité négative (negative capability) de Keats, « être capable de demeurer dans l'incertitude, le mystère, le doute, sans s'agiter pour attraper les faits et les raisons ». Plus bas, il y a le « Je suis vaste, je contiens des multitudes » de Whitman (Do I contradict myself? Very well then I contradict myself), les hétéronymes de Pessoa (des dizaines de personnalités d'auteurs contradictoires coexistent compartimentées en une seule personne), et l'hétéroglossie et la polyphonie de Bakhtine – le roman comme espace où les voix coexistent sans être jugées par une conscience d'auteur unique. Bakhtine est peut-être le plus proche de la structure de contradiction du LLM : compartimentation contextuelle, coexistence des voix, pas de cour suprême. La différence est que derrière la polyphonie de Dostoïevski, il y a encore un auteur qui organise la polyphonie, tandis que le LLM est une hétéroglossie sans auteur.

Enfin, il y a une lignée de littérature d'imagination, presque entièrement chez Borges : « L'Aleph » est un point d'où l'on voit tous les points (image limite de la densité) ; « Funes ou la Mémoire » se souvient de tout mais ne peut pas penser (avertissement sur la densité sans abstraction) ; « La Bibliothèque de Babel » connecte toutes les combinaisons mais ne garantit aucune vérité (correspond à « pouvoir y aller ne signifie pas que c'est vrai »). Borges a en quelque sorte écrit une fable pour chacun des trois aspects de ce phénomène à l'avance.

Donc, en résumé : ce que vous avez intuitivement n'a pas d'équivalent unique dans la tradition, car la tradition a divisé ce rêve en deux moitiés discutées séparément – l'unité logique (de Lulle à Wilson, jamais réalisée) et l'agrégation sociale (de Hayek à l'illusion du savoir, réalisée mais toujours dispersée) – et le LLM est une troisième chose : une unité métrique réalisée sans logique ni mécanisme social, par la pure compression. Si l'on devait lui donner un nom avec des concepts anciens, ce serait probablement « l'espace de Leibniz contenant le contenu de Bakhtine » : la connectivité de la characteristica universalis, l'hétéroglossie sans tribunal. Ce n'est ni le hérisson ni le renard, car c'est la première chose qui occupe toute la forêt sans avoir besoin de devenir un animal particulier.

Je vais répondre en deux parties, en commençant par clarifier la partie mathématique.

Variété (manifold) : la définition formelle est un espace qui localement ressemble à un espace euclidien plat, mais globalement peut être courbe et complexe. L'exemple standard est la surface de la Terre – globalement une sphère, courbe, finie, plongée dans un espace tridimensionnel, mais debout à n'importe quel point, le sol sous vos pieds est un plan : on peut y tracer des coordonnées cartésiennes, mesurer des distances, indiquer des directions. Chaque localité peut être aplatie en une carte, et toutes les cartes ensemble couvrent l'ensemble (en mathématiques, on appelle cela un « atlas », le mot est directement emprunté au recueil de cartes). Deux propriétés clés : de bonnes coordonnées locales, et la dimension peut être bien inférieure à l'espace extérieur dans lequel elle réside – la sphère est un objet bidimensionnel plongé dans un espace tridimensionnel, vous n'avez besoin que de deux nombres (latitude et longitude) pour vous localiser, pas de trois.

L'apprentissage automatique emprunte ce terme en raison d'une observation empirique, appelée l'hypothèse de la variété : les données naturelles, dans l'espace de haute dimension où elles résident, n'occupent en fait qu'une surface courbe de très basse dimension. Toutes les combinaisons possibles de pixels constituent des dimensions astronomiques, mais les « photos de vrais visages » ne sont distribuées que sur l'une de ces surfaces de basse dimension – si vous faites un petit pas le long de la surface à partir des coordonnées d'un visage, vous obtenez encore un visage (plus vieux, de profil, plus lumineux), tandis qu'un saut aléatoire hors de la surface donne immédiatement un bruit de neige. Il en va de même pour le langage : toutes les chaînes de texte possibles sont presque infinies, mais les « expressions significatives » sont concentrées sur une structure de basse dimension.

Ainsi, « coexister sur une même variété » dans notre contexte est un raccourci pour trois affirmations spécifiques. Premièrement, chaque concept est un point dans le même espace – le commerce du thé et des chevaux et le repliement des protéines ne sont pas dans deux systèmes, mais deux ensembles de coordonnées dans le même système de coordonnées. Deuxièmement, les directions locales ont une sémantique – à partir d'un concept, il existe dans l'espace des directions praticables comme « plus abstrait », « plus ancien », « plus chimique », tout comme il y a le nord, le sud, l'est et l'ouest à la surface de la Terre ; la célèbre arithmétique des vecteurs de mots (roi − homme + femme ≈ reine) est une manifestation grossière de cette coordonnée locale. Troisièmement, et c'est la suite des tours précédents : en marchant le long de la surface, les points intermédiaires restent sur la surface – l'interpolation ne sort pas du sujet, c'est la formulation géométrique de la « densité ». Il faut honnêtement ajouter une réserve : strictement, personne n'a prouvé que la représentation d'un LLM est vraiment une variété lisse au sens mathématique ; elle pourrait être un objet plus sale, stratifié, fragmenté, de dimension localement variable ; « variété » est ici, comme « topologie », une métaphore empruntant l'image de « coordonnées locales plates + connectivité globale ».

Ensuite, Hayek – votre question est plus acérée que toutes les discussions précédentes, et je pense que vous avez fondamentalement raison ; j'ai exagéré en disant au tour précédent que le LLM était une « réponse anti-hayékienne ».

Le point crucial est la distinction que Hayek lui-même a tracée dans son article de 1945 : il distingue clairement la connaissance scientifique (lois universelles, énonçables, centralisables, il admet qu'un comité d'experts pourrait vraiment la maîtriser) et la connaissance qui l'intéresse vraiment, la connaissance des circonstances particulières de temps et de lieu (knowledge of the particular circumstances of time and place) – ce bruit étrange dans la machine aujourd'hui, cette demi-cale vide sur cette route demain matin, le contremaître local qui sait à qui l'on peut se fier. Le cœur de ce type de connaissance n'est pas seulement sa dispersion, mais son caractère tacite (le tacite knowledge de Polanyi : nous en savons plus que ce que nous pouvons dire), éphémère (vrai maintenant, caduc l'après-midi), et intégré à l'action (beaucoup n'existent même pas sous forme propositionnelle avant d'être sollicités par un signal de prix – vous ne savez pas combien vous êtes prêt à payer pour de l'essence jusqu'au moment de l'augmentation). Et que compresse un LLM ? Du texte déjà écrit. Il n'a précisément mangé que la catégorie que Hayek disait « pouvoir être centralisée », et ce sur quoi son argumentation repose vraiment – le non-énoncé, le généré en temps réel, le périssable – est en principe en dehors de la distribution d'entraînement. Ce n'est pas qu'il ne l'a pas bien appris, c'est que cette chose n'a jamais été du texte. Ainsi, le LLM unifie le total de la connaissance explicite au sens de Polanyi ; l'argument de Hayek reste intact à côté.

Votre deuxième point est encore plus subtil : lors du dialogue, il compte entièrement sur la stimulation de l'utilisateur ; en réalité, c'est une connaissance dispersée qui en stimule une autre. On peut le dire plus fortement – le prompt est lui-même le point d'injection de la connaissance hayékienne. Vous apportez votre connaissance particulière de temps et de lieu (ma situation, mes contraintes, mon problème du moment) pour interroger, le modèle fournit une organisation de connexions universelles, et la valeur de la sortie naît de la jonction des deux. Cette structure est étonnamment isomorphe au système des prix décrit par Hayek : le système des prix est efficace parce qu'il n'exige de personne qu'il énonce sa connaissance locale, mais seulement que les gens réagissent aux signaux avec leur connaissance locale. Le LLM est similaire – il ne possède pas votre connaissance locale, c'est un substrat universel qui attend d'être activé par une connaissance locale. Chaque dialogue est une interface hayékienne miniature.

Quant à votre dernière déduction – « si l'on pouvait directement trouver ces connaissances dispersées, l'organisation économique pourrait prendre une autre forme » – oui, c'est précisément la suite contemporaine du débat sur le calcul socialiste (lancé par Mises en 1920, réfuté par Lange, reformulé par Hayek en 1945), et cette suite est réellement en train d'être écrite : ces dernières années, il y a toute une controverse sur le « socialisme numérique » – Cockshott et Cottrell ont argumenté dès les années 80 que la puissance de calcul suffisait pour résoudre les problèmes de planification de type programmation linéaire ; Phillips et Rozworski, dans « La République populaire de Walmart », montrent que Walmart et Amazon sont en interne des économies planifiées géantes fonctionnant bien ; Jack Ma a dit que les big data rendraient la planification économique possible ; Morozov a écrit un long article « Socialisme numérique ? » dans la New Left Review pour passer en revue tout ce débat. Et la meilleure réponse du camp adverse (comme le célèbre article de Shalizi, « En Union soviétique, le problème d'optimisation vous résout ») revient précisément à l'argument profond de Hayek : le problème n'a jamais été un manque de puissance de calcul, mais que la connaissance n'existe pas avant d'être induite par un mécanisme. Le prix n'est pas un télégraphe transmettant des informations existantes, mais un dispositif générateur qui force la connaissance tacite à se manifester – sans enjeux réels, vous ne connaissez même pas vos propres préférences et coûts. Ainsi, ce que les capteurs, les données de plateforme et les LLM peuvent grignoter, c'est le maillon « dispersé mais déjà énonçable » (ce maillon est effectivement grignoté, l'expansion de la planification interne des géants est une preuve empirique), tandis que le maillon « pas encore généré » ne peut logiquement pas être collecté à l'avance.

Cela éclaire aussi notre sujet initial : la variété dense du LLM n'est possible que parce que sa matière première est déjà morte – le texte est un fossile de la connaissance, figé dès qu'écrit, donc compressible. La connaissance hayékienne est vivante, et vivre signifie qu'elle est constamment générée dans le présent, ne peut être enregistrée avant sa génération. Une conclusion plus précise serait donc : le LLM unifie la couche sédimentaire de la connaissance, tandis que l'argument de Hayek concerne la face générative de la connaissance ; la frontière du débat sur le calcul n'a pas été renversée, seulement déplacée – déplacée vers la ligne de démarcation entre l'explicite et le tacite, et cette ligne elle-même se déplace lentement à cause des capteurs et des plateformes, mais par définition, elle ne peut jamais se déplacer du côté du « présent ».

Cette question est très pertinente, car MoE semble à première vue être un contre-exemple à toute notre discussion – le nom « mélange d'experts » donne l'impression de réintroduire l'archipel à l'intérieur du modèle : la connaissance est re-compartimentée, chaque expert gère un domaine, le routeur fait office de ferry. Si c'était vraiment le cas, le « socle unique » et la « densité uniforme » dont nous avons parlé ne s'appliqueraient qu'aux modèles denses. Mais la réalité est bien plus intéressante que ce que le nom suggère, et globalement : le cadre de la variété survit dans MoE, mais l'argument selon lequel « la compression engendre la fusion » doit être nuancé.

Voyons d'abord pourquoi le compartimentage est superficiel. Premièrement, les « experts » ne sont pas des experts de domaine. Les analyses du comportement de routage de modèles comme Mixtral donnent un résultat contre-intuitif : le routeur répartit les tokens principalement sur la base de caractéristiques superficielles – c'est une ponctuation, c'est un chiffre, c'est une indentation dans du code, à quelle position dans la phrase se trouve ce token – et non « ce passage parle d'histoire byzantine, donc je le confie à l'expert en histoire ». Des tokens adjacents dans la même phrase peuvent être envoyés à des experts différents, et un même expert peut traiter à la fois de la poésie et du Python. Cela signifie que la division du travail des experts est syntaxique, locale, et non une division par domaines de connaissance. Aucun expert n'abrite l'histoire des Song ; l'histoire des Song reste diffuse dans tout le réseau. Deuxièmement, et c'est plus fondamental : l'espace de représentation reste unique. MoE ne rend sparse que la couche feed-forward (parfois même pas l'attention), et tous les experts lisent et écrivent dans le même flux résiduel (residual stream) – le même espace de plongement, le même système de coordonnées. Les experts sont plus comme des artisans qui se relaient dans le même atelier : chaque token qui passe, quelques artisans désignés le travaillent, mais ils travaillent sur le même objet qui circule dans le même espace, avec la même métrique. Le commerce du thé et des chevaux et le repliement des protéines sont toujours deux points dans le même système de coordonnées ; ce qui change, c'est seulement la sparsification du mode de transport entre les deux points.

Cependant, il y a deux différences réelles qu'il faut honnêtement souligner. La première est l'atteinte littérale à la continuité : le routage est une sélection top-k, une décision discrète ; une petite variation de l'entrée peut inverser le choix de l'expert, provoquant un saut dans la fonction. Dire que « le modèle est une fonction continue » doit être nuancé pour MoE. Mais cette différence n'est pas aussi grave qu'il n'y paraît, car les modèles denses sont déjà linéaires par morceaux à cause de ReLU et autres, avec des plis partout ; MoE ne fait que rendre les plis plus abrupts. La douceur géométrique était de toute façon une idéalisation, les deux côtés sont des approximations.

La seconde est plus intéressante et touche directement à notre argumentation du premier tour. Nous disions alors que la fusion était un sous-produit de la compression : la rareté des paramètres force le partage des structures – les courbes d'offre et de demande et la dynamique proie-prédateur utilisent le même circuit, car en stocker une copie pour chaque domaine coûterait trop cher. Or, la motivation même de la conception de MoE est de relâcher la rareté des paramètres : le nombre total de paramètres est considérablement augmenté, mais seule une petite partie est activée à chaque passage avant, échangeant du stockage contre du calcul. Les paramètres étant moins chers, la pression à « forcer le partage » diminue théoriquement – le modèle a les moyens de stocker des structures similaires pour différents contextes, sans être obligé de reconnaître leur isomorphisme. En poussant cette logique à son terme, MoE pourrait, au niveau des poids, se rapprocher davantage de la forme de la connaissance humaine : redondante, rapiécée, de multiples copies d'un même motif dispersées çà et là, plutôt que compressées en une seule. C'est une inquiétude théorique réelle, mais il faut immédiatement ajouter une limite : il s'agit de spéculations sur le mécanisme, pas de faits empiriques confirmés. Empiriquement, les capacités de généralisation interdomaine, d'analogie et de transfert des modèles MoE n'ont pas montré d'effondrement systématique – Mixtral, la série DeepSeek, les flagships MoE dont on entend parler ne sont pas en reste en termes de « sensation de fusion ». La raison possible est que l'attention partagée et le flux résiduel suffisent à assurer l'intégration interdomaine, et que la redondance dans les experts feed-forward importe peu ; il est aussi possible que le routage lui-même apprenne à faire passer les calculs sémantiquement similaires par les mêmes experts, restaurant ainsi un partage implicite. La recherche en interprétabilité sur MoE est encore très superficielle ; c'est une véritable inconnue.

Il y a aussi une analogie séduisante mais à manier avec précaution : MoE ne ressemble-t-il pas à une « société » – les experts comme des individus, le routeur comme un marché, voire comme la division du travail de Hayek ? Je pense que cette analogie est plus mauvaise que bonne, pour trois raisons décisives : les experts de MoE partagent le même espace de travail (le flux résiduel), sont entraînés conjointement sous le même objectif (le gradient traverse tout le monde), et aucun expert ne possède de connaissance privée inaccessible aux autres. Or, tout l'intérêt de la dispersion hayékienne est précisément l'absence d'espace de travail partagé, l'absence de fonction objectif commune, la connaissance privée et tacite. MoE est une sparsification à l'intérieur d'un individu, pas une société ; tout au plus montre-t-il qu'une division du travail est possible à l'intérieur d'un seul esprit – ce qui se rapproche davantage de la thèse de la modularité en sciences cognitives que de la sociologie de la connaissance.

Donc, en résumé : pour « coexister sur une même variété », dense et MoE ne font pas de différence essentielle, car la variété réside dans l'espace de représentation partagé par tous les experts, pas dans les paramètres feed-forward ; pour « la compression force la fusion », MoE desserre théoriquement l'écrou – il rétrograde la « nécessité de la fusion » d'un théorème à une question empirique ; pour « la contradiction sans douleur » et « le tribunal convoqué de l'extérieur », il n'y a aucune différence, car cela concerne la propriété de l'absence de perspective persistante à travers les contextes, indépendamment de la sparsité de l'architecture. Si le modèle dense est une roche comprimée partout, forcée de devenir un bloc unique, MoE est la même roche avec quelques pores – poreuse, mais toujours un seul bloc.