01 - Le plateau d'entraînement - quand le gradient disparaît

Les données financières quantitatives sont des données hautement corrélées avec un rapport signal-bruit extrêmement faible. Le défi primaire consiste à extraire d'une fenêtre d'observation non pas la séquence séquentielle des valeurs brutes, mais la dynamique cachée du système - les impulsions transitoires, les inversions cycliques et les changements d'état énergétiques. Comme ces structures sont noyées dans le bruit stochastique, une architecture standard consomme une part disproportionnée de sa capacité uniquement pour la formation de la représentation.

Si le modèle atteint un plateau, le gradient de perte (∇ℒ) s'effondre. L'optimiseur perd sa stabilité directionnelle dans cette région de paramètres plate, car les composantes du gradient convergent vers zéro. A ce stade, le réseau n'a appris que les composantes de variance triviales et dominantes. Les structures prédictives plus profondes du marché restent inaccessibles, car le vocabulaire mathématique actuel du réseau ne suffit pas à les isoler proprement du bruit.

Les méthodes d'optimisation adaptatives comme AdamW n'offrent pas de solution systémique à ce problème : elles corrigent certes l'échelle, mais ne peuvent pas extraire une direction d'un champ de vecteurs dont la valeur attendue est en moyenne nulle. Même la réduction traditionnelle du taux d'apprentissage(ReduceLROnPlateau) ne rompt pas cette stagnation. Elle ne fait que la consolider. Le réseau reste dans la zone plate et commence à apprendre par cœur les structures de bruit à haute fréquence des données de formation - le chemin direct vers un overfitting qui dégrade la métrique de validation avec un certain retard.

Le plateau n'est pas la fin de l'apprentissage. C'est la fin du vocabulaire actuel.
- Diagnostic du problème de la stagnation

02 - Le fondement - Koopman : Quand le mouvement devient une algèbre linéaire

Le mathématicien américain Bernard Koopman a publié 1931 un travail dont presque personne n'avait besoin à l'époque et qui, au cours des dix dernières années, s'est déplacé dans tous les manuels de dynamique guidée par les données. Son idée est à première vue paradoxale : si un système se déplace de manière compliquée et non linéaire, on peut quand même le décrire de manière linéaire - si on est prêt à passer à un espace à dimension infinie dans lequel ce ne sont pas les états eux-mêmes qui évoluent, mais les fonctions sur les états.

Cela semble être un mauvais échange - un problème non linéaire en dimension finie contre un problème linéaire en dimension infinie. En réalité, c'est un excellent échange, car les opérateurs linéaires ont quelque chose que les fonctions non linéaires n'ont généralement pas : un spectre. Valeurs propres et vecteurs propres. Des blocs de construction clairs et décomposables. Celui qui connaît l'opérateur Koopman d'un système connaît ses modes propres - les modèles d'oscillation fondamentaux qui composent chaque mouvement réel, tout comme chaque son peut être composé de sons sinusoïdaux purs.

Personne ne peut calculer l'opérateur Koopman exact d'un système de dynamique de marché. Mais il est possible d'apprendre une approximation de dimension finie à partir des données - la procédure s'appelle Dynamic Mode Decomposition, DMD en abrégé. Dans sa variante basée sur le noyau, comme celle utilisée par l'encodeur, une petite matrice est obtenue automatiquement à partir d'une fenêtre d'observation, dont les valeurs propres répondent précisément à deux questions : à quelle vitesse cette dynamique oscille, et gagne-t-elle ou perd-elle de l'énergie.

Diagramme 01 - Ce que signifie une valeur propre complexe
Chaque point du plan complexe est un mode de mouvement entier - fréquence et croissance en un seul chiffre.

• Modes d'accumulation d'énergie (partie réelle > 0) - orange
• Modes de réduction de l'énergie (partie réelle < 0) - sombre.
• Limite de stabilité - cercle en pointillés

Cette carte est l'observation centrale dont tu as besoin pour comprendre l'encodeur. Une fenêtre d'observation est représentée par dix points dans ce plan complexe. Chaque point est un type de mouvement indépendant que le système contient actuellement. La partie réelle dit si ce mouvement prend de la vitesse ou s'essouffle ; la partie imaginaire dit à quelle vitesse il oscille. A partir de ces dix points, il est possible de reconstruire la fenêtre entière, sans passer par plusieurs centaines de nombres bruts.

03 - La réduction spectrale - Isoler les primitives du système

Le défi structurel de la modélisation de l'espace Koopman réside dans son manque de maniabilité numérique : par construction, il est de dimension infinie. La gestion mathématique de cette dimensionnalité établit un parallèle direct avec la Characteristica Universalis de Gottfried Wilhelm Leibniz et son Ars Combinatoria. Leibniz a postulé avec l'Alphabetum cogitationum humanarum un système universel qui ramène les dynamiques complexes et continues à un ensemble fini de concepts de base orthogonaux et indivisibles - les notiones primitivae. La complexité n'est pas conçue comme un continuum chaotique, mais comme une combinaison linéaire de blocs de construction discrets et primitifs.

Algorithmiquement, cette réduction rationnelle constitue le fondement de la troncature des rangs au sein de l'espace de Hilbert ℋ, que le noyau RBF tend implicitement. Alors que la matrice de similarité K₀ encode la trajectoire complète, bruitée, de la fenêtre d'observation, la décomposition symétrique des valeurs propres qui suit isole les k modes propres dominants. C'est l'acte formel d'isolation des primitives - une projection sur le sous-espace invariant de Koopman de faible dimension :

Projection spectrale - réduction du rang de Leibniz

ℋ  ⟶  ?ₖ

ℋ représente l'espace de Hilbert de dimension infinie comme support formel de toute la dynamique potentielle. ?ₖ définit le sous-espace à k dimensions tendu par les modes propres dominants ; dans la configuration standard, k = 10. Toutes les composantes spectrales au-delà de cette limite sont rejetées analytiquement comme bruit transitoire.

Cette troncature fonctionne comme un mécanisme de régularisation primaire de l'encodeur. Un réseau neuronal qui opère sur le spectre non filtré mémorise inévitablement les singularités stochastiques à haute fréquence de l'échantillon d'entraînement. En comprimant le signal sur les k primitives dominantes, l'architecture impose une abstraction mathématique : les couches en aval n'extraient pas les structures de bruit éphémères d'une fenêtre spécifique, mais les générateurs invariants de la dynamique du système.

04 - La machine - Du signal brut à l'empreinte spectrale

Ce que fait l'encodeur en interne peut être lu comme six étapes successives, dont chacune résout un problème concret. Nous parcourons les étapes centrales de manière mathématique - non pas comme un code walkthrough, mais comme un raisonnement qui répond à une question.

La première étape établit la comparabilité. Le noyau, qui va suivre, travaille avec des distances dans une fonction exponentielle. Si les valeurs d'entrée sont numériquement grandes, la fonction exponentielle s'effondre à zéro et le pipeline entier ne produit que des zéros. Par fenêtre, la standardisation est donc locale.

Standardisation locale

x̂ = (x − μ) / (σ + ε)

Chaque valeur est réduite de la moyenne de la fenêtre μ et divisée par l'écart-type de la fenêtre σ. Le petit sommateur ε empêche la division par zéro lors des phases calmes. Cela rend l'encodeur invariant par rapport au niveau: un mouvement d'un pour cent a l'air identique pour lui, quel que soit le niveau absolu auquel il se produit. Le modèle apprend la dynamique, pas les valeurs absolues.

La deuxième étape fait de l'histoire un état. Une seule observation ne dit presque rien. La dynamique est la relation entre des états successifs. La fenêtre est divisée en deux versions décalées dans le temps - la première contient les observations jusqu'à l'avant-dernière étape, la seconde les observations de la deuxième étape jusqu'à la fin. La comparaison de ces deux versions permettra de déduire plus tard la règle de transition. C'est la vieille idée de Takens: le déroulement est un état.

La troisième étape est la véritable astuce mathématique : la similitude comme géométrie. Au lieu d'inventer des indicateurs à la main, l'encodeur laisse la géométrie des données parler d'elle-même. Pour chaque moment de la fenêtre, on mesure à quel point il est similaire à tous les autres moments. La mesure de la similarité est le noyau RBF:

Noyau RBF - la mesure de similarité

k(x, y) = exp(−γ · ‖x − y‖²)

L'expression ‖x - y‖² est le carré de la distance euclidienne entre deux états - à quelle distance ils se trouvent dans l'espace. La fonction exponentielle comprime cela à une valeur entre 0 et 1 : les états identiques donnent exactement 1, les états éloignés donnent pratiquement 0. Le paramètre γ contrôle la vitesse à laquelle la similarité diminue avec la distance - c'est presque la netteté avec laquelle le système sépare "similaire" de "différent".

La fenêtre devient ainsi une matrice de similarité, dans laquelle chaque entrée est une valeur de similarité entre deux moments. Ce n'est plus une série chronologique - c'est une topographie. Quelles phases se ressemblent, lesquelles ne se ressemblent pas, et comment cela se répartit-il dans la fenêtre. Une deuxième matrice de similarité compare chaque moment avec son successeur et portera l'information pour la règle de transition.

La quatrième étape trouve l'alphabet: Une décomposition des valeurs propres est appliquée à la première matrice de similitude. Les plus grandes valeurs propres montrent les modèles dominants de la topographie. Ici, on coupe - seuls les modes top-k restent, les primitives de Leibniz de la fenêtre.

La cinquième étape construit la règle de transition. Dans l'espace des modes dominants, on construit une petite matrice qui décrit exactement comment la fenêtre évolue d'un pas de temps à l'autre :

Matrice de Koopman réduite dans l'espace des modes

à = Σ⁻¹ · Vᵀ · K₁ · V · Σ⁻¹

V contient les vecteurs propres top-k de la première matrice de similarité - l'alphabet. K₁ est la matrice de similarité décalée dans le temps qui encode la transition d'un pas de temps à l'autre. Σ-¹ normalise les longueurs des vecteurs propres pour que la matrice résultante ne soit pas déformée par les différences d'échelle. Ce qui reste est un opérateur linéaire sur un espace généré de manière non linéaire - l'idée originale de Koopman, ici sous une forme réduite.

La sixième et dernière étape en extrait l'essence. Une deuxième décomposition des valeurs propres est appliquée à cette petite matrice - cette fois-ci, une décomposition qui permet des valeurs complexes. Chaque mode devient une valeur propre complexe. Sa partie réelle est le taux de croissance, sa partie imaginaire la fréquence. Une fenêtre de plusieurs centaines de valeurs brutes devient ainsi 2 × k valeurs - pour dix modes, donc vingt nombres qui portent ensemble toute la dynamique de la fenêtre.

05 - L'implémentation - Le noyau qui se calcule

Ce qui est remarquable dans l'implémentation, ce n'est pas sa longueur, mais sa rareté. Ce qui, en tant que théorie, ressemble à un cours spécialisé, se résume à quelques lignes précises dans PyTorch - sans qu'il soit nécessaire d'écrire une seule boucle. L'ensemble de l'appareil spectral vit dans deux routines intégrées pour la détermination des valeurs propres. Cela rend l'encodeur non seulement lisible, mais aussi complètement différentiable. Il peut être intégré en tant que couche dans chaque réseau neuronal et être entraîné par rétropropagation.

# proprietary — interne Implementierung gekürzt
class KoopmanLeibnizEncoder(nn.Module):
    def __init__(self, rank=10, gamma=0.1):
        super().__init__()
        self.rank  = rank     # Anzahl beibehaltener Leibniz-Primitive
        self.gamma = gamma    # Breite des RBF-Kernels

    def forward(self, x):
        # Lokale Standardisierung pro Fenster — gegen Kernel-Kollaps
        x = (x - x.mean(dim=1, keepdim=True)) / (x.std(dim=1, keepdim=True) + 1e-6)

        # [...] Takens-Einbettung, RBF-Kernel, Spektrum, reduzierte Koopman-Matrix
        # [...] interne Pipeline — Details proprietär
        A_tilde = _internal_spectral_pipeline(x, self.rank, self.gamma)

        # Komplexe Eigenwerte → Wachstum (Re) + Frequenz (|Im|)
        koop_vals, _ = torch.linalg.eig(A_tilde)
        return torch.cat([koop_vals.real, torch.abs(koop_vals.imag)], dim=-1)
                              PYTHON
                            

L'encodeur n'est donc pas un outil de données en amont, mais une composante intégrale de l'architecture. Ce qu'il produit est une empreinte spectrale de la fenêtre d'observation : vingt valeurs dans lesquelles la croissance, l'atténuation et la fréquence des modes de marché dominants sont résumées. La partie intéressante est la manière dont cette information est intégrée dans le modèle - et la raison pour laquelle cet article a été écrit.

06 - L'application - Le casseur de plateau

Dans l'activité de recherche de l'équipe, le grand modèle principal, un système basé sur un transformateur avec des branches de sortie spécialisées et plusieurs niveaux de temps, a montré un plateau à plusieurs reprises dans l'étape 4. La perte a chuté proprement pendant six à huit époques, puis elle est restée plate. Les métriques de validation ont légèrement augmenté - le premier signe d'un début d'adaptation aux spécificités de l'entraînement. Les antidotes classiques n'ont pas fonctionné. Réduire le taux d'apprentissage a renforcé les symptômes. Plus de données ont fourni de légères améliorations, qui se sont noyées dans la variance de plusieurs courses. Le problème était structurel : le modèle avait extrait tout ce qu'il contenait des caractéristiques statistiques locales. Ce dont il avait besoin, ce n'était pas d'une autre optimisation, mais de nouvelles informations.

C'est là que l'encodeur Koopman-Leibniz entre en jeu, mais dans un rôle pour lequel il n'était pas prévu à l'origine. Au lieu d'être un encodeur primaire devant le modèle, il est utilisé comme canal d'information parallèle - un deuxième pipeline de données qui apporte les modes du marché global sur plusieurs niveaux temporels au modèle déjà entraîné. La connexion se fait via une couche d'attention croisée: le modèle principal demande à l'empreinte spectrale les informations qui lui manquent et intègre la réponse dans ses représentations internes.

Une telle extension au milieu de l'entraînement est généralement risquée. Une branche supplémentaire change brusquement le paysage du gradient. Dans le pire des cas, elle déstabilise ce qui a été construit pendant des semaines. C'est là qu'intervient le deuxième élément, presque plus important, de l'expérience : la porte d'entrée zéro.

Diagramme 02 - Le comportement du gate au plateau
Comment un gate démarré à zéro s'ouvre au moment où le gradient de perte disparaît.

• Phase 1 - La ligne de base est stable, le gate reste fermé - pas d'intervention dans l'apprentissage existant.
• Phase 2 - La perte s'aplatit, les gradients s'effondrent, le gate s'ouvre de lui-même et le canal spectral commence à prendre effet.

Le gate est mathématiquement une seule quantité scalaire - nous l'appelons α. Elle est initialisée avec la valeur exactement zéro et multiplie la contribution du nouveau canal spectral avant qu'il ne retourne au modèle principal :

Intervention résiduelle via le gate

h_neu = h_alt + α · CrossAttn(h_alt, z_spektral)

h_ancien est la représentation interne précédente du modèle principal. z_spectral est la séquence d'empreintes spectrales provenant de l'encodeur Koopman-Leibniz sur plusieurs niveaux de temps. L'opération CrossAttn permet au modèle principal d'accéder de manière ciblée aux informations du canal spectral. Tant que α = 0, l'ensemble du terme supplémentaire est exactement nul et le modèle se comporte de manière identique à ce qu'il était auparavant.

Cette construction est le noyau théorique. Le deuxième terme à droite est exactement nul au début - pas petit, pas négligeable, mais analytiquement nul. Le modèle principal ne voit aucun changement, continue à fonctionner sur son paysage de pertes actuel, conserve tous les poids stables. Ce qui change, c'est qu'il y a maintenant un paramètre α avec un gradient défini. Si le chemin de backpropagation détermine qu'une augmentation de α réduirait la perte, alors - et seulement alors - la porte s'ouvrira.

Sur un plateau où tous les autres gradients disparaissent, le gradient concernant α est typiquement le seul qui porte encore un signal clair. L'optimiseur n'a plus d'autre possibilité de réduire la perte - il commence donc à augmenter α de manière minimale. Ainsi, le canal spectral commence à injecter des informations dans le modèle principal. Le paysage de perte, qui était encore plat, prend une nouvelle direction. Le plateau se brise.

Tant que le modèle converge de manière stable, le chemin supplémentaire reste neutre. Ce n'est qu'en cas de stagnation du gradient que le canal spectral devient un chemin de mise à jour efficace.
- Fonctionnement du mécanisme zéro init

Cette construction est mathématiquement élégante, mais deux caractéristiques la rendent particulièrement précieuse dans le cadre de la recherche. Premièrement, c'est une extension à risque zéro: tant que le modèle avance sans aide, l'extension est sans effet. Il n'y a pas de trade-off de stabilité, pas de perturbation de l'optimisation en cours, pas de nouveau réglage des modules d'entraînement. Deuxièmement, elle ne combat pas le symptôme du plateau, mais la cause. Les procédures classiques comme ReduceLROnPlateau ralentissent le mouvement lorsqu'il cesse de fonctionner - elles font plus précisément la mauvaise chose. Au lieu de cela, le casseur de plateau ajoute des informations fondamentalement nouvelles au modèle : des modes de marché globaux sur plusieurs niveaux de temps qui n'existaient pas mathématiquement dans les caractéristiques d'entrée locales.

Dans le canon de recherche plus large, ce mécanisme est apparenté à des procédures telles que ReZero et LayerScale - les deux fonctionnent avec des chemins résiduels dont la contribution est contrôlée par un facteur d'échelle apprenable qui démarre à zéro. Ce qui différencie le casseur de plateau est sa fonction : l'extension résiduelle n'apporte pas de profondeur supplémentaire au réseau, mais une classe spécifique d'informations - des modes spectraux du système que l'encodeur extrait explicitement. Ce n'est pas une capacité de modèle supplémentaire, mais une base de représentation différente.

07 - Le point - Trois propriétés qui agissent ensemble

Les méthodes spectrales dans l'analyse des séries temporelles ne sont pas nouvelles. Ce qui rend la variante Koopman-Leibniz qualitativement nouvelle dans cette combinaison - encodeur plus porte zéro-init plus cross-attention - ce sont trois propriétés qui se renforcent mutuellement.

Elle est invariante par niveau. Grâce à la normalisation locale par fenêtre, l'encodeur voit des mouvements, pas des niveaux. Le modèle qui fonctionne avec ce mécanisme peut fonctionner sur n'importe quel système de dynamique de marché, sans que les plages de valeurs absolues ne jouent jamais un rôle.

Il est non linéaire, sans avoir à inventer des fonctions non linéaires. Le noyau RBF intègre implicitement les données dans un espace à dimension infinie, dans lequel les relations non linéaires compliquées deviennent des structures linéaires. Personne ne doit deviner de quels indicateurs le système pourrait avoir besoin - la géométrie des données génère elle-même les relations non linéaires.

Elle est interprétable de manière spectrale. Ce qui arrive à la sortie, ce ne sont pas des variables latentes mystérieuses, mais des valeurs de croissance et de fréquence avec une signification dynamique claire. Celui qui veut savoir pourquoi un modèle a pris une certaine décision dans une situation donnée peut regarder l'empreinte spectrale et lire, au sens littéral, dans quel état dynamique le système se trouvait à ce moment-là.

Les scalers classiques normalisent les nombres. L'encodeur Koopman-Leibniz normalise la signification.
- En clair

Il n'y a pas de différence sémantique. Celui qui donne à un modèle des séries chronologiques brutes le force à effectuer lui-même la traduction en dynamique - avec toute la capacité de ses matrices de poids et tout l'effort de l'entraînement. Celui qui lui donne la dynamique à l'avance a soudain une capacité libre que le modèle peut utiliser pour prendre des décisions réelles.

C'est le même mécanisme qui se trouve derrière les objectifs d'aide à l'entraînement spécialisés - de petites dépenses secondaires qui obligent le réseau à reconstruire explicitement des quantités pertinentes dès les premières couches - mais un niveau plus bas. De tels objectifs auxiliaires obligent le backbone à comprendre le monde avant de prendre une décision. L'encodeur Koopman-Leibniz oblige les données d'entrée à révéler leur dynamique avant même qu'elles n'atteignent le modèle. Dans la configuration Plateau-Breaker, cela devient une troisième propriété : le modèle peut continuer à apprendre, juste au moment où il s'était arrêté.

08 - Perspective - Ce qui vient ensuite

Les outils mathématiques sont tous issus du répertoire classique - Bernard Koopman en 1931, Floris Takens en 1981, le noyau RBF de la boîte à outils standard des statistiques, les techniques d'apprentissage résiduelles de la recherche récente sur l'apprentissage profond. Ce qui a changé, c'est le matériel. Il y a quelques décennies, une décomposition des valeurs propres représentait un sérieux effort numérique. Aujourd'hui, elle se fait en quelques microsecondes dans une passe avant PyTorch sur le GPU - et surtout de manière différentiable, donc intégrable dans chaque pipeline d'apprentissage basé sur le gradient.

Ainsi, ce qui est considéré comme de l'ingénierie des fonctionnalités se déplace. Au lieu de choisir des indicateurs à la main ou de laisser au réseau le soin d'imaginer lui-même des représentations, il est possible de construire une classe entière d'encodeurs qui écrivent des structures mathématiques - décompositions spectrales, topologies, opérateurs différentiels - directement dans le flux de données. L'encodeur Koopman-Leibniz en est une instance. Combiné avec des portes zéro-init, il devient quelque chose qui manque jusqu'à présent dans la pratique courante du ML : un outil qui ne combat pas le symptôme d'un entraînement stagnant, mais sa cause mathématique.

Une ligne de démarcation se dessine ainsi, qui va au-delà de l'application concrète. Les architectures d'IA dominantes d'aujourd'hui - des grands modèles de langage de maisons comme OpenAI, Anthropic ou Google DeepMind jusqu'aux transformateurs génératifs les plus récents - sont fondamentalement construites de manière anthropocentrique (du grec ánthropos, "homme") : Ils modélisent le langage humain, la perception humaine, la prise de décision humaine, et ils sont figés dans un espace de paramètres discrets appris, dont ils ne quittent plus la géométrie après l'entraînement. Les opérateurs Koopman-Leibniz, en revanche, travaillent dans l'espace spectral continu des lois invariantes du système. Cela ouvre un champ de recherche propre au-delà de la classe de modèles centrés sur l'homme : des transformateurs adaptatifs génératifs qui ne dérivent pas leur représentation de données humaines, mais de la dynamique du système observé lui-même.

L'essai actuel le montre : l'encodeur ne brise pas le plateau par une capacité supplémentaire, mais par un filtrage plus précis de la dynamique du système. Il agit comme un déclencheur sélectif - il reste inactif pendant les phases où le modèle converge de manière autonome et n'intervient que lorsque la stagnation du gradient menace. Le système gagne ainsi en stabilité sans compromettre le vocabulaire de caractéristiques existant et appris.

Si le réseau stagne sur le plateau, ce n'est plus l'entrée qui lui manque, mais la résolution pour extraire proprement le signal du bruit.
- Principe opérationnel de la méthode Koopman-Leibniz