La géométrie de l’information (Information Geometry) est une théorie de renommée mondiale originaire du Japon, qui introduit la structure de la géométrie différentielle dans l’espace formé par les distributions de probabilité, et élucide l’essence de l’inférence statistique, de l’apprentissage automatique et de la théorie de l’information par l’intuition géométrique. Cette théorie, systématisée par le Dr Shun’ichi Amari et d’autres, est aujourd’hui appliquée à un large éventail de domaines tels que la méthode de descente de gradient naturel (Natural Gradient Descent), qui soutient les fondements de l’IA et du deep learning, la théorie de l’information quantique et la physique statistique, s’imposant comme une “langue commune” dans la science moderne.
Dans cet article, nous expliquerons le monde profond de cette géométrie de l’information de manière aussi détaillée et systématique que possible, en combinant rigueur mathématique, intuition géométrique et exemples de calculs concrets. En allant au-delà d’une simple énumération de formules, nous commencerons par des questions fondamentales telles que “Pourquoi l’espace des distributions de probabilité est-il courbe ?” et “Pourquoi la matrice d’information de Fisher devient-elle un tenseur métrique ?”, pour brosser le tableau complet de la géométrie de l’information, jusqu’aux connexions duales, à la géométrie de l’entropie et aux applications de pointe dans l’apprentissage automatique et les neurosciences.
Chapitre 1 : L’Aube de la Géométrie de l’Information et l’Intuition de Shun’ichi Amari
Des statistiques de l’espace euclidien à l’espace courbe des distributions de probabilité
Dans la statistique classique et l’analyse de données, nous avons inconsciemment traité les données comme des points dans un espace euclidien. Par exemple, lorsqu’on considère un modèle statistique avec des paramètres $\theta = (\theta_1, \theta_2, \dots, \theta_n)$, l’espace des paramètres est souvent considéré comme un espace plat, et la distance entre les paramètres est fréquemment mesurée par la distance euclidienne habituelle. La méthode des moindres carrés, qui minimise l’erreur quadratique, est également basée sur cette intuition géométrique euclidienne.
Cependant, l’espace qui paramètre les distributions de probabilité est-il vraiment “plat” ?
Prenons l’exemple de la distribution normale $N(\mu, \sigma^2)$. L’espace des paramètres est le demi-plan supérieur $\{(\mu, \sigma^2) \in \mathbb{R} \times \mathbb{R}_{>0}\}$ composé de la moyenne $\mu$ et de la variance $\sigma^2 > 0$. Considérons maintenant deux paires de distributions normales.
- $N(0, 1)$ et $N(0.1, 1)$
- $N(0, 100)$ et $N(0.1, 100)$
Si l’on regarde la distance euclidienne des paramètres, la distance est égale à $0.1$ pour les deux paires. Mais qu’en est-il du point de vue de la “distinguabilité” et de la “différence d’information” en tant que distributions de probabilité ? Lorsque la variance est aussi petite que $1$, un simple décalage de $0.1$ de la moyenne modifie considérablement la forme de la distribution, et il est relativement facile de distinguer les deux à partir des données. En revanche, lorsque la variance est extrêmement grande, comme $100$, la distribution est étalée et plate, et même si la moyenne est décalée de $0.1$, le chevauchement des distributions est très important, rendant la distinction des deux à partir des données extrêmement difficile.
Autrement dit, la “différence intrinsèque en tant que distribution” ne correspond pas à la distance euclidienne des paramètres. Dans une région de grande variance, un léger changement de la moyenne n’a presque aucun effet sur la forme de la distribution, tandis que dans une région de petite variance, il entraîne un changement dramatique. Cela suggère fortement que l’espace des paramètres de la distribution de probabilité n’est pas uniforme, mais qu’il s’agit d’un “espace courbe (variété riemannienne) où l’échelle de distance diffère selon le lieu”.
Pourquoi la famille des distributions de probabilité est-elle une variété ?
La géométrie de l’information formule un modèle statistique (une famille de distributions de probabilité) comme une variété différentiable (Differentiable Manifold).
Soit $S$ une famille de distributions de probabilité sur un espace de probabilité $\mathcal{X}$. Lorsque cette famille est spécifiée de manière unique par $n$ paramètres réels continus $\theta = (\theta^1, \dots, \theta^n)$ et que la fonction de densité de probabilité $p(x; \theta)$ est lisse par rapport à $\theta$, $S$ est appelé une variété statistique de dimension $n$ (Statistical Manifold).
$$ S = \{ p(x; \theta) \mid \theta \in \Theta \subset \mathbb{R}^n \} $$Ici, $\theta$ n’est rien d’autre qu’un “système de coordonnées locales (Local Coordinate System)” sur la variété $S$. Dans la théorie des variétés, le système de coordonnées n’est pas essentiel, c’est juste une des représentations. Par exemple, dans le cas d’une distribution normale, on peut choisir $(\mu, \sigma^2)$ comme paramètres, mais on peut aussi choisir $(\mu, \sigma)$ ou $(\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2})$.
L’essence de la géométrie de l’information réside dans la révélation de “la structure géométrique intrinsèque que possède la famille de distributions de probabilité elle-même, indépendante du choix du système de coordonnées”. Shun’ichi Amari a approfondi le concept de “variété riemannienne avec la matrice d’information de Fisher comme métrique” proposé par C.R. Rao, et en introduisant le concept de connexion affine (Affine Connection), il a trouvé dans l’espace des distributions de probabilité non seulement “la courbure”, mais aussi des structures riches telles que “le concept de ligne droite (géodésique)” et “la dualité”.
Chapitre 2 : Modèles Statistiques en tant que Variétés Riemanniennes
Pour définir “la distance” et “l’angle” dans une variété, une métrique riemannienne (Riemannian Metric) est nécessaire. Quelle est la métrique riemannienne naturelle dans une variété statistique ?
Fonction de Score et Matrice d’Information de Fisher
En statistique, la dérivée partielle de la fonction de log-vraisemblance $\log p(x; \theta)$ par rapport au paramètre est appelée “fonction de score (Score Function)” et joue un rôle important.
$$ \partial_i \ell(x; \theta) = \frac{\partial}{\partial \theta^i} \log p(x; \theta) $$$$ E_\theta[\partial_i \ell(x; \theta)] = \int \frac{\partial p(x; \theta)}{\partial \theta^i} dx = \frac{\partial}{\partial \theta^i} \int p(x; \theta) dx = 0 $$$$ g_{ij}(\theta) = E_\theta \left[ \partial_i \ell(x; \theta) \partial_j \ell(x; \theta) \right] $$C.R. Rao (1945) a noté que cette matrice d’information de Fisher est une matrice symétrique définie positive qui satisfait la loi de transformation des tenseurs, et a proposé de l’adopter comme métrique riemannienne (métrique de Fisher) de la variété statistique.
$$ ds^2 = \sum_{i,j} g_{ij}(\theta) d\theta^i d\theta^j $$Ainsi, le modèle statistique devient une variété riemannienne $(S, G)$. La “distance au carré” infinitésimale entre deux distributions de probabilité proches $p(x; \theta)$ et $p(x; \theta + d\theta)$ est mesurée par cette métrique de Fisher.
Théorème de Chentsov en tant que Métrique Invariante
Pourquoi la matrice d’information de Fisher devrait-elle être choisie comme métrique ? Ce n’est pas une simple idée, il y a une profonde nécessité mathématique.
N.N. Chentsov (1972) a formulé l’“invariance (Invariance)” requise dans le cadre de l’inférence statistique. L’inférence statistique ne devrait pas changer ses résultats en raison de la méthode de représentation des données ou de la transformation en statistiques exhaustives (application de Markov). Le théorème de Chentsov a montré un fait surprenant : “dans la variété des distributions de probabilité sur un ensemble fini, la métrique riemannienne qui satisfait la monotonie (contractivité) sous l’application de Markov se limite à la métrique d’information de Fisher, à une constante multiplicative près”.
En d’autres termes, dans l’espace des distributions de probabilité, la seule façon de mesurer la distance qui satisfait l’exigence statistique naturelle selon laquelle “l’information ne diminue pas” est la métrique de Fisher. Cela prouve que la métrique de Fisher est une structure géométrique intrinsèque et inévitable propre aux statistiques.
Exemple de calcul concret de la métrique de Fisher dans la famille des distributions normales
$$ p(x; \mu, \sigma) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) $$$$ \log p = -\log(\sqrt{2\pi}) - \log\sigma - \frac{(x-\mu)^2}{2\sigma^2} $$$$ \partial_\mu \log p = \frac{x-\mu}{\sigma^2}, \quad \partial_\sigma \log p = -\frac{1}{\sigma} + \frac{(x-\mu)^2}{\sigma^3} $$$$ g_{\mu\mu} = E\left[ \left(\frac{x-\mu}{\sigma^2}\right)^2 \right] = \frac{1}{\sigma^2} $$$$ g_{\sigma\sigma} = E\left[ \left(-\frac{1}{\sigma} + \frac{(x-\mu)^2}{\sigma^3}\right)^2 \right] = \frac{2}{\sigma^2} $$$$ g_{\mu\sigma} = g_{\sigma\mu} = 0 $$$$ ds^2 = \frac{1}{\sigma^2} d\mu^2 + \frac{2}{\sigma^2} d\sigma^2 $$Ceci correspond parfaitement (à une différence de constante multiplicative près) à la métrique du demi-plan supérieur de Poincaré, qui est un modèle de géométrie hyperbolique (un type de géométrie non euclidienne) proposé par Henri Poincaré. Autrement dit, on comprend que l’espace de la distribution normale est un espace hyperbolique avec une courbure constante négative. Comme suggéré par l’intuition précédente, dans la région où $\sigma$ est grand (la variance est grande), le tenseur métrique $1/\sigma^2$ devient petit, et la formule confirme que la variation du paramètre est évaluée comme une petite “distance”.
Chapitre 3 : Connexion Duale et Abîme de la Connexion $\alpha$
La métrique riemannienne seule ne peut pas décrire complètement la “courbure” de l’espace. Une connexion affine (Affine Connection) qui détermine “quelle direction est droite” est nécessaire. La plus grande contribution de Shun’ichi Amari est d’avoir découvert qu’il existe une infinité de connexions naturelles dans les variétés statistiques, et qu’elles forment une belle structure de “dualité (Duality)”.
Définition de la Connexion $\alpha$
Amari a introduit une famille de connexions affines appelées connexions $\alpha$, en utilisant un paramètre réel $\alpha$. Ses coefficients de connexion $\Gamma_{ij,k}^{(\alpha)}$ sont définis comme suit :
$$ \Gamma_{ij,k}^{(\alpha)} = E \left[ \left( \partial_i \partial_j \ell + \frac{1 - \alpha}{2} \partial_i \ell \partial_j \ell \right) \partial_k \ell \right] $$La connexion $0$ lorsque $\alpha = 0$ coïncide avec la connexion de Levi-Civita (Levi-Civita Connection) déterminée de manière unique à partir de la métrique de Fisher. C’est la connexion utilisée dans la géométrie riemannienne habituelle. Cependant, les connexions qui jouent le rôle le plus important dans la géométrie de l’information sont les connexions avec $\alpha = 1$ et $\alpha = -1$.
Connexion e, Connexion m et Espace Dual Plat
- Connexion e (Connexion exponentielle $\alpha = 1$) : C’est la connexion qui apparaît naturellement lorsqu’on traite la famille exponentielle (Exponential Family).
- Connexion m (Connexion de mélange $\alpha = -1$) : C’est la connexion qui apparaît naturellement lorsqu’on traite la famille de mélange (Mixture Family).
Ces deux connexions sont dans une relation “duale (Dual)” par rapport à la métrique de Fisher $g_{ij}$. Dans une variété riemannienne, lorsque la dérivée du produit scalaire (métrique) de deux champs de vecteurs est exprimée comme la somme de leurs dérivées covariantes respectives par les connexions, on les appelle des connexions duales.
$$ X \langle Y, Z \rangle = \langle \nabla_X^{(e)} Y, Z \rangle + \langle Y, \nabla_X^{(m)} Z \rangle $$Ce qui est remarquable, c’est le fait que l’espace de la famille exponentielle (comme la distribution normale, la distribution de Poisson, la distribution Gamma, etc.) est “plat (le tenseur de courbure est nul)” par rapport à la connexion e, et en même temps “plat” par rapport à la connexion m. Un tel espace est appelé un espace dualement plat (Dually Flat Space).
Dans un espace dualement plat, il existe des lignes droites par rapport à la connexion e (e-géodésiques) et des lignes droites par rapport à la connexion m (m-géodésiques). De plus, dans ces espaces, il existe, en tant que systèmes de paramètres, des systèmes de coordonnées duaux (le paramètre naturel $\theta$ et le paramètre d’espérance $\eta$) qui sont reliés l’un à l’autre par la transformation de Legendre (Legendre Transformation).
Théorème de Pythagore Généralisé
La beauté de l’espace dualement plat se résume dans le “Théorème de Pythagore Généralisé (Generalized Pythagorean Theorem)”.
Dans l’espace euclidien, lorsque 3 points $P, Q, R$ forment un triangle rectangle avec $\angle PQR = 90^\circ$, $d(P, R)^2 = d(P, Q)^2 + d(Q, R)^2$ est vérifié. Dans l’espace dualement plat de la géométrie de l’information, lorsque la courbe reliant les points $P, Q, R$ (distributions de probabilité) est constituée d’une e-géodésique et d’une m-géodésique, et qu’elles sont “orthogonales” au point $Q$ au sens de la métrique de Fisher, l’équation suivante est strictement vérifiée concernant la divergence (le concept asymétrique de distance) entre les distributions.
$$ D(P \parallel R) = D(P \parallel Q) + D(Q \parallel R) $$Ce théorème explique parfaitement de manière géométrique le critère d’information en statistique, la convergence de l’algorithme EM en apprentissage automatique et le théorème de projection (Information Projection), et on peut dire que c’est un résultat monumental de la géométrie de l’information.
Chapitre 4 : La Divergence et la Géométrie de l’Entropie
La distance dans la géométrie riemannienne est symétrique ($d(x, y) = d(y, x)$), mais la mesure de la “différence” entre les distributions de probabilité dans la théorie de l’information est généralement asymétrique. La géométrie de l’information relie brillamment cette distance asymétrique, “la divergence (Divergence)”, à la structure géométrique de l’espace dualement plat.
Quantité d’Information de Kullback-Leibler (Divergence KL)
$$ D_{KL}(P \parallel Q) = \int p(x) \log \frac{p(x)}{q(x)} dx $$La divergence KL ne satisfait pas aux axiomes de distance (elle est asymétrique et ne satisfait pas non plus l’inégalité triangulaire). Cependant, dans la limite où le point $Q$ se rapproche infiniment du point $P$, le terme de second ordre du développement de Taylor de la divergence KL correspond exactement à la matrice d’information de Fisher.
$$ D_{KL}(\theta \parallel \theta + d\theta) \approx \frac{1}{2} \sum_{i,j} g_{ij}(\theta) d\theta^i d\theta^j $$En d’autres termes, la divergence KL est une distance asymétrique macroscopique, dont la limite microscopique (distance infinitésimale) induit la métrique de Fisher (géométrie riemannienne).
Divergence de Bregman et Transformation de Legendre
Dans l’espace dualement plat, la divergence est formulée comme une “divergence de Bregman (Bregman Divergence)” plus générale. Considérons une fonction convexe $\psi(\theta)$ (correspondant à la fonction génératrice des cumulants ou à l’énergie libre). La divergence de Bregman $D_\psi(\theta_P \parallel \theta_Q)$ est définie comme “l’erreur” entre le plan tangent de la fonction convexe au point $\theta_Q$ et la valeur de la fonction convexe au point $\theta_P$.
$$ D_\psi(\theta_P \parallel \theta_Q) = \psi(\theta_P) - \psi(\theta_Q) - \sum_i (\theta_P^i - \theta_Q^i) \frac{\partial \psi(\theta_Q)}{\partial \theta^i} $$$$ \eta_i = \frac{\partial \psi(\theta)}{\partial \theta^i}, \quad \phi(\eta) = \sum_i \theta^i \eta_i - \psi(\theta) $$Dans la géométrie de l’information, la divergence KL est précisément la divergence de Bregman sur la famille exponentielle, et en utilisant les paramètres duaux $\theta$ (paramètre naturel) et $\eta$ (paramètre d’espérance), la divergence peut être exprimée sous une forme canonique (Canonical form) extrêmement symétrique et belle en utilisant les fonctions duales $\psi, \phi$.
$$ D(P \parallel Q) = \psi(\theta_P) + \phi(\eta_Q) - \sum_i \theta_P^i \eta_Q^i $$Cette formule démontre de manière frappante que la géométrie de l’information n’est pas une simple application de la géométrie différentielle, mais une “géométrie spécifique à la théorie de l’information” profondément liée à la transformation de Legendre et à l’analyse convexe.
Chapitre 5 : Deep Learning et Méthode de Descente de Gradient Naturel
La géométrie de l’information ne s’arrête pas à la beauté théorique, elle démontre une puissance extrêmement pratique dans l’IA moderne, en particulier le deep learning (apprentissage profond). L’exemple le plus marquant en est la “méthode de descente de gradient naturel (Natural Gradient Descent ; NGD)”.
Les limites de la méthode de descente de gradient habituelle
$$ w_{t+1} = w_t - \eta \nabla L(w_t) $$Cependant, le gradient habituel $\nabla L$ suppose que l’espace des paramètres est un “espace euclidien plat”. Comme nous l’avons vu au chapitre 1, l’espace des paramètres du modèle probabiliste représenté par le réseau de neurones est une variété riemannienne courbée par la métrique de Fisher. Le gradient de l’espace euclidien (la direction de la descente la plus raide) ne coïncide pas avec la véritable direction de la descente la plus raide sur la variété riemannienne. Pour cette raison, la trajectoire d’apprentissage change considérablement en fonction de l’échelle des paramètres ou du changement de coordonnées, ce qui entraîne de fréquentes “plateaux (stagnation de l’apprentissage)” où l’efficacité de l’optimisation diminue considérablement.
Mise à jour des paramètres par la métrique de Fisher : Méthode du Gradient Naturel
En 1998, Shun’ichi Amari a proposé le “gradient naturel (Natural Gradient)”, qui est la véritable direction de la pente la plus raide sur la variété riemannienne. Le gradient sur la variété $\tilde{\nabla} L$ est le gradient habituel $\nabla L$ multiplié par la matrice inverse $F^{-1}$ de la matrice d’information de Fisher.
$$ \tilde{\nabla} L(w) = F(w)^{-1} \nabla L(w) $$$$ w_{t+1} = w_t - \eta F(w_t)^{-1} \nabla L(w_t) $$La méthode du gradient naturel réalise un apprentissage invariant indépendant du choix des paramètres (système de coordonnées) en tenant compte de la courbure de l’espace des paramètres (matrice d’information de Fisher). Cela permet de se diriger directement vers la solution optimale même si les lignes de contour de la fonction de perte ont une topographie en forme de fond de vallée déformé, et améliore considérablement la vitesse d’apprentissage. Ceci est similaire aux méthodes d’optimisation du second ordre comme la méthode de Newton, mais c’est une méthode optimisée pour les modèles probabilistes en ce qu’elle utilise la matrice d’information de Fisher garantie d’être semi-définie positive, au lieu de la matrice Hessienne.
Implémentation du calcul approché par K-FAC et percée
Bien que la méthode du gradient naturel soit théoriquement puissante, il y avait un obstacle majeur à son application au deep learning. Dans les réseaux de neurones modernes avec des dizaines de millions à des dizaines de milliards de paramètres, calculer l’énorme matrice d’information de Fisher $F$ (taille $N \times N$) et trouver son inverse était désespéré du point de vue de la complexité de calcul ($O(N^3)$).
Ce problème a été résolu par la méthode K-FAC (Kronecker-factored Approximate Curvature) proposée par James Martens, Roger Grosse et d’autres en 2015. Ils ont montré que la matrice d’information de Fisher des paramètres entre les couches d’un réseau de neurones peut être approchée avec précision par le “produit de Kronecker (Kronecker Product)” de la matrice de covariance de l’entrée et de la matrice de covariance du gradient de la sortie.
$$ F_{layer} \approx A \otimes S $$(Où $A$ est la covariance des valeurs d’activation, $S$ est la covariance des gradients des pré-activations)
En utilisant la propriété du produit de Kronecker $(A \otimes S)^{-1} = A^{-1} \otimes S^{-1}$, le calcul de l’inverse d’une matrice énorme peut être décomposé en calculs inverses de matrices beaucoup plus petites, réussissant à réduire drastiquement le coût de calcul (de $O(N^3)$ à $O(n^3)$, $n$ étant la largeur de la couche). Avec l’implémentation de K-FAC, la méthode du gradient naturel est devenue applicable aux modèles d’apprentissage profond à grande échelle (comme ResNet et Transformer) dans un temps de calcul réaliste, et il a été prouvé qu’elle montrait une convergence extrêmement rapide dans les environnements d’apprentissage distribué. Ce fut un moment historique où la géométrie de l’information a repoussé les limites de l’IA.
Chapitre 6 : Extension à la Physique Statistique, à l’Information Quantique et aux Neurosciences
La polyvalence de la géométrie de l’information ne se limite pas à la statistique et à l’apprentissage automatique. “La géométrie de la probabilité et de l’information” sous-jacente s’est répercutée dans de nombreux domaines scientifiques.
Géométrie de l’Information Quantique
La géométrie de l’information qui traite des distributions de probabilité classiques est naturellement étendue à la géométrie de l’information quantique (Quantum Information Geometry) qui traite de la “matrice densité (Density Matrix)” en mécanique quantique. Dans les systèmes quantiques, en raison de la non-commutativité des observables (le résultat change en fonction de l’ordre des opérateurs), l’équivalent de la métrique de Fisher n’est pas déterminé de manière unique. Au lieu de cela, il existe plusieurs métriques riemanniennes, telles que la métrique de Bures (information de Fisher SLD) et la métrique de Kubo-Mori-Bogoliubov, chacune ayant des significations physiques et théoriques de l’information différentes. La géométrie de l’information quantique se développe rapidement en tant que base théorique pour les ordinateurs quantiques et la communication quantique, notamment les limites de la précision d’estimation des états quantiques (inégalité de Cramér-Rao quantique), l’élucidation géométrique de l’intrication quantique (entanglement) et l’optimisation des algorithmes quantiques.
Principe de l’Énergie Libre et Neurosciences (Codage Prédictif)
Dans le domaine des neurosciences, le principe de l’énergie libre (Free Energy Principle ; FEP) proposé par Karl Friston suppose que le cerveau est un système qui infère la perception et l’action de manière à minimiser la “surprise (Surprise)”. Ce processus d’inférence est formulé comme une inférence bayésienne variationnelle (Variational Bayesian Inference), qui se réduit à un problème d’optimisation minimisant la divergence KL (énergie libre variationnelle) entre la distribution de probabilité du modèle interne dans le cerveau et la vraie distribution de l’environnement externe.
Du point de vue de la géométrie de l’information, le cerveau peut être interprété comme un système dynamique se déplaçant sur une variété de distributions de probabilité, en suivant le gradient de la divergence (c’est-à-dire le gradient naturel). La perception (mise à jour de l’état interne) et l’action (interaction avec l’environnement externe) sont magnifiquement décrites comme un algorithme itératif d’e-projection et de m-projection dans un espace dualement plat. La géométrie de l’information fournit un langage mathématique pour élucider les mécanismes fondamentaux de l’intelligence.
En tant que Frontière des Mathématiques Modernes
Même du point de vue des mathématiques pures, la géométrie de l’information a présenté un nouveau paradigme. Des liens profonds avec la géométrie différentielle affine, la géométrie hessienne et la géométrie symplectique sont en cours d’élucidation. En particulier, l’intégration de la géométrie de Wasserstein (théorie du transport optimal) et de la géométrie de l’information est l’un des sujets de recherche les plus brûlants dans les mathématiques et l’apprentissage automatique actuels. Alors que la divergence KL (géométrie de l’information) mesure le mouvement de “l’information”, la distance de Wasserstein mesure le mouvement de “la masse”. Les tentatives de fusionner ces deux géométries sont directement liées à l’élucidation théorique des modèles génératifs profonds (modèles de diffusion et GAN).
Conclusion : La Forme de l’Univers Tissé par l’Information
La géométrie de l’information, née de l’intuition de Shun’ichi Amari selon laquelle “les modèles statistiques pourraient être courbes”, s’est maintenant développée au-delà de la statistique pour devenir un système théorique grandiose reliant l’apprentissage automatique, la physique quantique et les neurosciences. En considérant les distributions de probabilité non pas comme de simples fonctions, mais comme des “espaces” géométriques, nous pouvons comprendre visuellement le mouvement de l’information, la trajectoire de l’apprentissage et l’essence de l’intelligence.
“La courbure de l’information” enseignée par la métrique d’information de Fisher. “Le théorème de Pythagore généralisé” guidé par la connexion duale. Et “l’évolution rapide de l’IA” ouverte par la méthode du gradient naturel.
La géométrie de l’information continuera d’être la “boussole” la plus sophistiquée pour nous permettre de trouver les constellations de la vérité parmi les étoiles appelées données. Cette exploration magnifique et profonde de la variété riemannienne ne fait que commencer.