Quebec.IA

Ce qui ressemble à une ontologie pourrait être un eigenspectre.

Un très beau papier d’Andres Nava et Matthieu Wyart propose une explication mécaniste d’un phénomène central en interprétabilité :

les hiérarchies sémantiques apparaissent géométriquement dans les modèles de langage.

Un hibou est un oiseau.
Un oiseau est un animal.
Un animal est un organisme.

Dans l’espace des représentations, ces relations “is-a” semblent souvent former des directions, des sous-espaces, des raffinements taxonomiques.

L’interprétation tentante est fonctionnelle :

le modèle aurait appris une ontologie interne.

Mais ce papier pose une question beaucoup plus dangereuse :

et si une partie de cette géométrie ne venait pas d’un mécanisme sémantique spécialisé ?

Et si elle était simplement l’ombre spectrale de la cooccurrence des mots ?

Le geste théorique est élégant.

On part de WordNet.
On mesure la distance dans le graphe d’hypernymie.
On vérifie que les concepts proches cooccurrent plus souvent.
Puis on analyse la matrice de Gram induite par ces statistiques de cooccurrence.

Sous des hypothèses faibles de positivité et de décroissance, les premiers vecteurs propres séparent la taxonomie du grossier vers le fin.

D’abord les grandes branches :

plante vs animal.

Puis les sous-branches :

fleur vs arbre.
oiseau vs poisson.
marguerite vs coquelicot.

Les auteurs appellent cela une hierarchical splitting geometry.

Le point remarquable :

la géométrie semble conceptuelle,

mais le mécanisme est spectral.

Cette structure apparaît dans word2vec, puis se prolonge de façon frappante dans les unembeddings de Gemma 2B.

C’est important pour l’interprétabilité.

Lorsqu’on trouve des directions sémantiques propres dans un modèle, il ne faut pas immédiatement conclure :

“le modèle a construit une ontologie.”

Il faut aussi demander :

quelle structure de la distribution de données rendait cette géométrie presque inévitable ?

La distinction est cruciale.

La géométrie fonctionnelle demande ce qu’une représentation permet de faire.

La géométrie distributionnelle demande d’où cette représentation vient.

Ce papier pousse l’interprétabilité vers une science plus mature :

moins de narration anthropomorphique,
plus de mécanisme spectral.

Moins “le modèle possède une taxonomie dans sa tête”,

plus “le noyau de cooccurrence a façonné un espace propre”.

Crédit complet aux auteurs :
Andres Nava et Matthieu Wyart.

Paper :
Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence
https://arxiv.org/abs/2605.23821

J’attache la première page, car la Figure 1 mérite vraiment d’être étudiée.

La leçon profonde :

le sens peut devenir géométrie non pas parce que le modèle a explicitement appris une hiérarchie,

mais parce que les statistiques du langage en portent déjà une.

Québec 💙 IA

Célébrons la créativité et l'innovation d'ici en ce 24 juin !

⚜️ Bonne Fête nationale du Québec !

🌐 https://quebec.ai