1. L’évanouissement du volume de la boule et le « paradoxe des pointes » de l’hypercube

Notre cerveau a évolué pour naviguer dans des espaces euclidiens à deux et trois dimensions (\(d=2, 3\)). Nous projetons spontanément nos intuitions tridimensionnelles — qu’une sphère inscrite occupe l’essentiel du volume d’un cube, qu’une loi normale se concentre autour de sa moyenne à l’origine, ou que deux directions tirées au hasard forment des angles variés — vers les espaces de données à cent, mille ou un million de dimensions (\(\mathbb{R}^d, d \gg 100\)). Or les mathématiques modernes démontrent qu’en grande dimension, notre intuition géométrique ne devient pas seulement approximative : elle s’inverse radicalement à \(180^\circ\) !

Considérons d’abord le volume de la boule euclidienne de rayon \(R\) en dimension \(d\) : \(V_d(R) = \frac{\pi^{d/2}}{\Gamma(d/2 + 1)}R^d\). La fonction Gamma au dénominateur croissant de manière super-exponentielle comme \((d/2e)^{d/2}\), le volume de la boule unité (\(R=1\)) atteint son maximum absolu en \(d = 5\) (\(V_5 \approx 5{,}2638\)) puis décroît inexorablement : lorsque \(d \to \infty\), le volume de la boule unité tend exactement vers zéro (\(\lim_{d\to\infty} V_d(1) = 0\)) ! Pendant ce temps, le volume de l’hypercube circonscrit \([-1, 1]^d\) explose en \(2^d\) et la distance du centre aux \(2^d\) sommets vaut \(\sqrt{d}\). Presque tout le volume d’un hypercube de grande dimension est logé dans ses \(2^d\) coins effilés ; dans le célèbre paradoxe de l’empilement de sphères, la sphère centrale tangente aux \(2^d\) sphères de rayon \(1/2\) placées dans les orthants de \([-1,1]^d\) possède un rayon \(r_c = \frac{\sqrt{d}-1}{2}\) qui dépasse \(1\) dès \(d = 10\) : la sphère enfermée au cœur du cube déborde hors des parois de l’hypercube !

2. Concentration de la mesure : oranges creuses et vecteurs aléatoires orthogonaux

Où se répartit le volume à l’intérieur d’une boule de grande dimension ? Le rapport de volume entre une boule intérieure de rayon \((1-\varepsilon)R\) et la boule totale étant \((1-\varepsilon)^d \le e^{-\varepsilon d}\), en dimension \(d = 1000\), même pour \(\varepsilon = 0{,}01\), les \(99\%\) intérieurs du rayon ne contiennent que \(0{,}99^{1000} \approx 0{,}000043\) du volume total ! Autrement dit, plus de \(99{,}995\%\) du volume d’une boule de grande dimension est comprimé dans une pellicule superficielle (Thin Shell) d’épaisseur \(O(1/d)\), tandis que l’intérieur est presque entièrement vide !

De même, l’aire sur l’hypersphère présente une spectaculaire concentration équatoriale : pour tout pôle Nord fixé \(\mathbf{p}\), la quasi-totalité de la surface de \(S^{d-1}\) se concentre dans une bande de largeur \(\pm O(1/\sqrt{d})\) autour de l’équateur. Il en résulte que deux vecteurs unitaires indépendants tirés uniformément au hasard \(\mathbf{u}, \mathbf{v} \in S^{d-1}\) ont un produit scalaire \(\langle \mathbf{u}, \mathbf{v} \rangle\) de variance \(1/d\) (\(\mathbb{P}(|\langle \mathbf{u}, \mathbf{v} \rangle| \ge \varepsilon) \le 2e^{-d\varepsilon^2/2}\)) : en grande dimension, deux vecteurs aléatoires sont presque sûrement quasi orthogonaux (\( heta \approx 90^\circ\)) ! Même la loi normale standard \(\mathbf{x} \sim \mathcal{N}(\mathbf{0}, I_d)\) déserte son mode à l’origine \(\mathbf{0}\) pour se concentrer, selon le théorème de l’anneau gaussien (Gaussian Annulus Theorem), sur une coquille sphérique de rayon \(\sqrt{d} \pm O(1)\) :

  flowchart TD
    A["High-Dimensional Euclidean Space R^d (d ≫ 100)"] --> B["Volume Vanishes in Center: (1-ε)^d ≈ exp(-ε d) → Thin-Shell Concentration"]
    A --> C["Surface Area Concentrates at Equator: Random Vectors Are Almost Orthogonal (θ ≈ 90°)"]
    A --> D["Distance Contrast Vanishes: (D_max - D_min)/D_min → 0 (Curse of Dimensionality)"]
    B --> E["Gaussian Annulus Theorem: N(0, I_d) Lives on Shell of Radius √d"]
    C --> F["Johnson-Lindenstrauss Lemma: Random Projection Preserves Distances in m = O(ε^-2 log N)"]
    D --> F

3. La malédiction de la dimensionnalité et l’effondrement du contraste des distances

Formulée par Richard Bellman en 1957, la malédiction de la dimensionnalité (Curse of Dimensionality) traduit l’explosion exponentielle de l’échantillonnage : un maillage de pas \(\varepsilon = 0{,}1\) sur \([0,1]^d\) exige \(N = 10^d\) points (\(10^{100}\) en dimension \(100\)). Plus grave encore, Beyer et al. (1999) ont démontré l’effondrement du contraste des distances : lorsque \(d \to \infty\), l’écart relatif entre le plus proche voisin \(D_{\min}\) et le point le plus éloigné \(D_{\max}\) tend vers zéro (\(\lim_{d\to\infty} \frac{D_{\max} - D_{\min}}{D_{\min}} = 0\)). Tous les points deviennent équidistants, ruinant la recherche naïve des \(k\) plus proches voisins (\(k\)-NN) et engendrant le phénomène de hubness.

4. Le salut : hypothèse de la variété et lemme de projection aléatoire de Johnson-Lindenstrauss

Pourquoi l’apprentissage profond, les grands modèles de langage (LLM) et les bases de données vectorielles fonctionnent-ils malgré tout dans des espaces à des milliers de dimensions ? D’une part grâce à l’hypothèse de la variété (Manifold Hypothesis), selon laquelle les données réelles résident sur une sous-variété de faible dimension intrinsèque \(d_{\text{int}} \ll d\) ; d’autre part grâce au miracle même de la concentration de la mesure : le lemme de Johnson-Lindenstrauss (1984) !

Ce lemme prouve qu’en projetant linéairement \(N\) points de \(\mathbb{R}^d\) via une matrice aléatoire gaussienne vers un sous-espace de dimension \(m = O(\varepsilon^{-2} \log N)\), toutes les distances mutuelles sont préservées à \((1 \pm \varepsilon)\) près — où \(m\) est totalement indépendant de la dimension ambiante \(d\) !