01 - Il plateau di formazione - Quando il gradiente scompare

I dati finanziari quantitativi sono dati altamente correlati con un rapporto segnale/rumore estremamente basso. La sfida principale consiste nell'estrarre da una finestra di osservazione non la sequenza di valori grezzi, ma le dinamiche nascoste del sistema: impulsi transitori, inversioni cicliche e cambiamenti di stato energetici. Poiché queste strutture si perdono nel rumore stocastico, un'architettura standard consuma una parte sproporzionata della sua capacità per la sola formazione della rappresentazione.

Se il modello raggiunge un plateau, il gradiente di perdita (∇ℒ) crolla. L'ottimizzatore perde la sua stabilità direzionale in questa regione di parametri piatti perché le componenti del gradiente convergono a zero. A questo punto, la rete ha appreso solo le componenti di varianza banali e dominanti. Le strutture più profonde e predittive del mercato non vengono raggiunte, poiché l'attuale vocabolario matematico della rete non è sufficiente per isolarle in modo netto dal rumore.

I metodi di ottimizzazione adattativa come AdamW non offrono un rimedio sistemico in questo caso: sebbene correggano la scalatura, non possono estrarre una direzione da un campo vettoriale il cui valore atteso è in media pari a zero. Anche la riduzione convenzionale del tasso di apprendimento(ReduceLROnPlateau) non interrompe questa stagnazione. Si limita a cementarla. La rete rimane nella zona piatta e inizia a memorizzare le strutture di rumore ad alta frequenza dei dati di addestramento - la strada diretta verso l'overfitting, che causa il degrado della metrica di validazione con un certo ritardo.

Il plateau non è la fine dell'apprendimento. È la fine del vocabolario corrente.
- Diagnosi del problema della stagnazione

02 - Le fondamenta - Koopman: quando il movimento diventa algebra lineare

Il matematico americano Bernard Koopman pubblicò un articolo 1931 che all'epoca non serviva a nessuno e che negli ultimi dieci anni è entrato in tutti i libri di testo sulla dinamica guidata dai dati. A prima vista, la sua idea è paradossale: se un sistema si muove in modo complicato e non lineare, può comunque essere descritto in modo lineare - se si è disposti a passare a uno spazio infinito-dimensionale in cui non sono gli stati stessi a svilupparsi, ma le funzioni sugli stati.

Questo sembra un cattivo compromesso: un problema non lineare a dimensione finita per uno lineare a dimensione infinita. In realtà, si tratta di un ottimo scambio, perché gli operatori lineari hanno qualcosa che le funzioni non lineari di solito non hanno: uno spettro. Autovalori e autovettori. Elementi chiari e scomponibili. Chiunque conosca l'operatore di Koopman di un sistema conosce i suoi autovalori - i modelli di oscillazione fondamentali da cui è composto ogni movimento reale, proprio come ogni suono può essere composto da toni sinusoidali puri.

Nessuno può calcolare l'esatto operatore di Koopman di un sistema di dinamiche di mercato. Ma è possibile imparare un'approssimazione finite-dimensionale dai dati: il metodo si chiama Dynamic Mode Decomposition, o DMD. Nella sua variante basata sui kernel, utilizzata dal codificatore, da una finestra di osservazione si ottiene automaticamente una piccola matrice i cui autovalori rispondono esattamente a due domande: a che velocità oscilla questa dinamica e se guadagna o perde energia.

Grafico 01 - Cosa significa un autovalore complesso
Ogni punto nel piano complesso rappresenta un'intera modalità di movimento: frequenza e crescita in un unico numero.

• Modalità di accumulo di energia (parte reale > 0) - arancione
• Modi che impoveriscono l'energia (parte reale < 0) - scuro
• Limite di stabilità - cerchio tratteggiato

Questa mappa è la visualizzazione centrale necessaria per comprendere il codificatore. Una finestra di osservazione è mappata su dieci punti in questo piano complesso. Ogni punto rappresenta un tipo di movimento indipendente che il sistema contiene attualmente. La parte reale indica se questo movimento sta prendendo velocità o si sta esaurendo; la parte immaginaria indica la velocità di oscillazione. L'intera finestra può essere ricostruita a partire da questi dieci punti, senza dover ricorrere a diverse centinaia di numeri grezzi.

03 - Riduzione spettrale: isolare le primitive del sistema

La sfida strutturale nella modellazione dello spazio di Koopman risiede nella sua ingombro numerico: è infinitamente dimensionale per costruzione. La padronanza matematica di questa dimensionalità traccia un parallelo diretto con la Characteristica Universalis di Gottfried Wilhelm Leibniz e la sua Ars Combinatoria. Con l'Alphabetum cogitationum humanarum, Leibniz postulò un sistema universale che riconduce le dinamiche complesse e continue a un insieme finito di concetti di base ortogonali e indivisibili - le notiones primitivae. La complessità non è intesa come un continuum caotico, ma come una combinazione lineare di blocchi primitivi discreti.

Algoritmicamente, questa riduzione razionale costituisce la base per il troncamento del rango all'interno dello spazio di Hilbert ℋ, che il kernel RBF implicitamente copre. Mentre la matrice di somiglianza K₀ codifica la traiettoria completa e rumorosa della finestra di osservazione, la successiva decomposizione simmetrica degli autovalori isola i k autovalori dominanti. Questo è l'atto formale dell'isolamento primitivo: una proiezione sul sottospazio a bassa dimensione e invariante di Koopman:

Proiezione spettrale - riduzione del rango di Leibniz

ℋ  ⟶  ?ₖ

ℋ rappresenta lo spazio di Hilbert infinito-dimensionale come vettore formale dell'intera dinamica potenziale. ₖ definisce il sottospazio k-dimensionale attraversato dagli autovalori dominanti; nella configurazione standard, k = 10. Tutte le componenti spettrali oltre questo limite vengono scartate analiticamente come rumore transitorio.

Questo troncamento funziona come meccanismo di regolarizzazione principale del codificatore. Una rete neurale che opera sullo spettro non filtrato memorizza inevitabilmente le singolarità stocastiche ad alta frequenza del campione di allenamento. Comprimendo il segnale fino alle k primitive dominanti, l'architettura impone un'astrazione matematica: gli strati a valle non estraggono le strutture di rumore effimere di una finestra specifica, ma i generatori invarianti della dinamica del sistema.

04 - La macchina - Dal segnale grezzo all'impronta digitale spettrale

Ciò che il codificatore fa internamente può essere letto come sei fasi successive, ognuna delle quali risolve un problema specifico. Esaminiamo i passaggi centrali dal punto di vista matematico, non come una guida al codice, ma come un'argomentazione che risponde a una domanda in ogni caso.

Il primo passo stabilisce la comparabilità. Il kernel che segue lavora immediatamente con le distanze in una funzione esponenziale. Se i valori in ingresso sono numericamente grandi, la funzione esponenziale collassa a zero e l'intera pipeline produce solo zeri. Ogni finestra viene quindi standardizzata localmente.

Standardizzazione locale

x̂ = (x − μ) / (σ + ε)

Ogni valore viene ridotto del valore medio della finestra μ e diviso per la deviazione standard della finestra σ. Il piccolo sommatore ε impedisce la divisione per zero per le fasi di quiete. Questo rende il codificatore invariante rispetto al livello: un movimento dell'1% gli appare uguale, indipendentemente dal livello assoluto in cui si verifica. Il modello apprende le dinamiche, non i valori assoluti.

Il secondo passo trasforma la storia in uno stato. Una singola osservazione non dice quasi nulla. La dinamica è la relazione tra stati successivi. La finestra viene divisa in due versioni ritardate nel tempo: la prima contiene le osservazioni fino al penultimo passo, la seconda le osservazioni dal secondo passo alla fine. La regola di transizione verrà poi ricavata dal confronto di queste due versioni. È la vecchia idea di Takens: la progressione è uno stato.

Il terzo passo è il vero trucco matematico: la somiglianza come geometria. Invece di inventare manualmente degli indicatori, il codificatore lascia che sia la geometria dei dati a parlare. Per ogni punto nel tempo della finestra, misura quanto è simile a tutti gli altri punti nel tempo. La misura della somiglianza è il kernel RBF:

Il kernel RBF - la misura della somiglianza

k(x, y) = exp(−γ · ‖x − y‖²)

L'espressione ‖x - y‖² è il quadrato della distanza euclidea tra due stati - quanto sono distanti nello spazio. La funzione esponenziale comprime questo valore in un intervallo compreso tra 0 e 1: gli stati identici danno come risultato esattamente 1, quelli distanti praticamente 0. Il parametro γ controlla la velocità con cui la somiglianza diminuisce con l'aumentare della distanza: è, per così dire, l'acutezza con cui il sistema separa i "simili" dai "diversi".

La finestra diventa quindi una matrice di somiglianza in cui ogni voce è un valore di somiglianza tra due punti nel tempo. Non si tratta più di una serie temporale, ma di una topografia. Quali fasi sono simili, quali no e come sono distribuite nella finestra. Una seconda matrice di somiglianza confronta ogni punto temporale con il suo successore e contiene le informazioni per la regola di transizione.

La quarta fase individua l'alfabeto: Alla prima matrice di somiglianza viene applicata una decomposizione agli autovalori. Gli autovalori più grandi mostrano i modelli dominanti della topografia. Rimangono solo i modi top-k, le primitive di Leibniz della finestra.

Il quinto passo costruisce la regola di transizione. Nello spazio dei modi dominanti, viene costruita una piccola matrice che descrive esattamente l'evoluzione della finestra da un passo temporale all'altro:

Matrice di Koopman ridotta nello spazio dei modi

à = Σ⁻¹ · Vᵀ · K₁ · V · Σ⁻¹

V contiene gli autovettori top-k della prima matrice di somiglianza - l'alfabeto. K₁ è la matrice di somiglianza spostata nel tempo che codifica la transizione da un passo temporale al successivo. Σ-¹ normalizza le lunghezze degli autovalori in modo che la matrice risultante non sia distorta dalle differenze di scala. Ciò che rimane è un operatore lineare su uno spazio generato in modo non lineare: l'idea originale di Koopman, qui in forma ridotta.

Il sesto e ultimo passo è la lettura dell 'essenza. A questa piccola matrice viene applicata una seconda decomposizione degli autovalori, questa volta con valori complessi. Ogni modalità diventa un autovalore complesso. La sua parte reale è il tasso di crescita, la sua parte immaginaria è la frequenza. Una finestra di diverse centinaia di valori grezzi diventa quindi 2 × k valori - cioè venti numeri per dieci modalità, che insieme trasportano l'intera dinamica della finestra.

05 - L'implementazione - Il nucleo che fa i calcoli

L'aspetto notevole dell'implementazione non è la sua lunghezza, ma la sua brevità. Ciò che in teoria sembra una lezione specialistica, in PyTorch si riduce a poche righe precise, senza che sia necessario scrivere un solo ciclo. L'intero apparato spettrale è contenuto in due routine integrate per la scomposizione degli autovalori. Questo rende il codificatore non solo leggibile, ma anche completamente differenziabile. Può essere inserito in qualsiasi rete neurale come strato e addestrato tramite backpropagation.

# proprietary — interne Implementierung gekürzt
class KoopmanLeibnizEncoder(nn.Module):
    def __init__(self, rank=10, gamma=0.1):
        super().__init__()
        self.rank  = rank     # Anzahl beibehaltener Leibniz-Primitive
        self.gamma = gamma    # Breite des RBF-Kernels

    def forward(self, x):
        # Lokale Standardisierung pro Fenster — gegen Kernel-Kollaps
        x = (x - x.mean(dim=1, keepdim=True)) / (x.std(dim=1, keepdim=True) + 1e-6)

        # [...] Takens-Einbettung, RBF-Kernel, Spektrum, reduzierte Koopman-Matrix
        # [...] interne Pipeline — Details proprietär
        A_tilde = _internal_spectral_pipeline(x, self.rank, self.gamma)

        # Komplexe Eigenwerte → Wachstum (Re) + Frequenz (|Im|)
        koop_vals, _ = torch.linalg.eig(A_tilde)
        return torch.cat([koop_vals.real, torch.abs(koop_vals.imag)], dim=-1)
                              PYTHON
                            

Il codificatore non è quindi uno strumento a monte dei dati, ma un componente integrale dell'architettura. Ciò che produce è un'impronta digitale spettrale della finestra di osservazione: venti valori che riassumono la crescita, l'attenuazione e la frequenza delle modalità di mercato dominanti. Il modo in cui queste informazioni vengono inserite nel modello è la parte davvero interessante e il motivo per cui è stato scritto questo articolo.

06 - L'applicazione: il rompi-altopiano

Durante la ricerca del team, il modello principale di grandi dimensioni, un sistema basato su trasformatori con rami di uscita specializzati e piani temporali multipli, ha ripetutamente raggiunto un plateau nella fase 4. La perdita è scesa nettamente da sei a sei anni. La perdita è diminuita in modo netto per sei-otto epoche, poi è rimasta piatta. Le metriche di convalida sono aumentate leggermente, il primo segnale di un incipiente adattamento alle specifiche dell'allenamento. Gli antidoti tradizionali non hanno funzionato. L'abbassamento del tasso di apprendimento ha esacerbato i sintomi. Un maggior numero di dati ha apportato lievi miglioramenti che si sono persi nella varianza delle esecuzioni multiple. Il problema era strutturale: il modello aveva estratto tutto ciò che poteva dalle caratteristiche statistiche locali. Non aveva bisogno di un'altra ottimizzazione, ma di nuove informazioni.

È qui che entra in gioco il codificatore di Koopman-Leibniz, ma in un ruolo per il quale non era stato originariamente previsto. Invece di essere il codificatore principale di fronte al modello, viene utilizzato come canale di informazione parallelo, una seconda pipeline di dati che alimenta le modalità del mercato globale al modello già addestrato su diversi livelli temporali. Il collegamento avviene tramite un livello di attenzione incrociata: il modello principale chiede all'impronta spettrale le informazioni che gli mancano e integra la risposta nelle sue rappresentazioni interne.

Un'estensione di questo tipo nel bel mezzo dell'addestramento è solitamente rischiosa. Un ramo aggiuntivo cambia bruscamente il paesaggio del gradiente. Nel peggiore dei casi, destabilizza ciò che è stato costruito per settimane. È proprio qui che entra in gioco il secondo componente, quasi più importante, dell'esperimento: il gate zero-init.

Diagramma 02 - Il comportamento del gate al plateau
Come un gate avviato a zero si apre esattamente quando scompare il gradiente di perdita

• Fase 1 - La linea di base è stabile, il cancello rimane chiuso - nessun intervento sull'apprendimento esistente.
• Fase 2 - La perdita si appiattisce, il gradiente crolla, il gate si apre automaticamente e il canale spettrale inizia ad avere effetto.

Il gate è matematicamente una singola quantità scalare - la chiamiamo α. Viene inizializzata con un valore esattamente pari a zero e moltiplica il contributo del nuovo canale spettrale prima di farlo rientrare nel modello principale:

Intervento residuo attraverso il gate

h_neu = h_alt + α · CrossAttn(h_alt, z_spektral)

h_alt è la precedente rappresentazione interna del modello principale. z_spectral è la sequenza di impronte spettrali del codificatore di Koopman-Leibniz su diversi piani temporali. L'operazione CrossAttn permette al modello principale di accedere in modo specifico alle informazioni del canale spettrale. Finché α = 0, l'intero termine aggiuntivo è esattamente nullo e il modello si comporta in modo identico a prima.

Questa costruzione è il nucleo teorico. Il secondo termine sul lato destro è esattamente nullo all'inizio - non piccolo, non trascurabile, ma analiticamente nullo. Il modello principale non vede alcun cambiamento, continua a funzionare con il suo precedente paesaggio di perdite e mantiene tutti i pesi stabili. L'unica cosa che cambia è che ora c'è un parametro α con un gradiente definito. Se il percorso di retropropagazione determina che un aumento di α ridurrebbe la perdita, allora - e solo allora - il cancello si aprirà.

Su un altopiano in cui tutti gli altri gradienti scompaiono, il gradiente relativo ad α è in genere l'unico che porta ancora un segnale chiaro. L'ottimizzatore non ha altro modo per ridurre la perdita, quindi inizia ad aumentare α al minimo. Il canale spettrale inizia quindi a fornire informazioni al modello principale. Il panorama delle perdite, che era semplicemente piatto, assume una nuova direzione. L'altopiano si rompe.

Finché il modello converge in modo stabile, il percorso aggiuntivo rimane neutrale. Solo quando il gradiente ristagna, il canale spettrale diventa un percorso di aggiornamento efficace.
- Come funziona il meccanismo zero-init

Questa costruzione è matematicamente elegante, ma due proprietà la rendono particolarmente preziosa nelle applicazioni di ricerca. In primo luogo, si tratta di un'estensione a rischio zero: finché il modello progredisce senza aiuti, l'estensione è inefficace. Non c'è nessun compromesso di stabilità, nessuna interruzione dell'ottimizzazione in corso, nessuna nuova messa a punto dei programmi di allenamento. In secondo luogo, non combatte il sintomo del plateau, ma la causa. I metodi tradizionali, come ReduceLROnPlateau, rallentano il movimento quando smette di funzionare e, più precisamente, fanno la cosa sbagliata. Il rompi-tappeto aggiunge invece informazioni fondamentalmente nuove al modello: modalità di mercato globali su più livelli temporali che non erano matematicamente presenti nelle caratteristiche di input locali.

Nell'ambito della ricerca più ampia, questo meccanismo è legato a metodi come ReZero e LayerScale: entrambi lavorano con percorsi residuali il cui contributo è controllato da un fattore di scala apprendibile che parte da zero. Ciò che distingue il Plateau-Breaker è la sua funzione: l'estensione residua non aggiunge profondità alla maglia, ma una classe specifica di informazioni - modalità spettrali del sistema che il codificatore estrae esplicitamente. Non si tratta più di capacità del modello, ma di una diversa base di rappresentazione.

07 - La battuta finale - Tre proprietà che lavorano insieme

I metodi spettrali nell'analisi delle serie temporali non sono una novità. Ciò che rende la variante di Koopman-Leibniz qualitativamente nuova in questa combinazione - codificatore più zero-init-gate più attenzione incrociata - sono tre proprietà che si rafforzano a vicenda.

È invariante rispetto al livello. Grazie alla normalizzazione locale per finestra, l'encoder vede i movimenti, non i livelli. Il modello che funziona con questo meccanismo può funzionare su qualsiasi sistema di dinamiche di mercato senza che gli intervalli di valori assoluti giochino mai un ruolo.

È non lineare senza dover inventare caratteristiche non lineari. Il kernel RBF incorpora implicitamente i dati in uno spazio infinito-dimensionale in cui le complicate relazioni non lineari diventano strutture lineari. Nessuno deve indovinare quali indicatori potrebbero servire al sistema: la geometria dei dati genera da sola le relazioni non lineari.

Può essere interpretato in modo spettrale. Ciò che arriva in output non sono misteriose variabili latenti, ma valori di crescita e frequenza con un chiaro significato dinamico. Se vuoi sapere perché un modello ha preso una certa decisione in una determinata situazione, puoi osservare l'impronta spettrale e leggere letteralmente lo stato dinamico in cui si trovava il sistema in quel momento.

Gli scalari classici normalizzano i numeri. Il codificatore di Koopman-Leibniz normalizza il significato.
- In parole povere

Non c'è alcuna differenza semantica. Dare a un modello le serie temporali grezze lo costringe a eseguire da solo la traduzione in dinamica, con tutta la capacità delle sue matrici di peso e con tutto lo sforzo dell'addestramento. Dare le dinamiche in anticipo libera improvvisamente capacità che il modello può utilizzare per le decisioni effettive.

È lo stesso meccanismo che sta alla base degli obiettivi ausiliari dell'addestramento specializzato: piccole uscite secondarie che costringono la rete a ricostruire esplicitamente le quantità rilevanti nei primi livelli, solo un livello più in profondità. Tali obiettivi ausiliari costringono la struttura portante a comprendere il mondo prima di decidere. Il codificatore di Koopman-Leibniz costringe i dati di input a rivelare la loro dinamica prima ancora di raggiungere il modello. Nella configurazione plateau-breaker, questa proprietà diventa la terza: il modello può continuare ad apprendere esattamente quando si è fermato.

08 - Prospettive - Cosa ci aspetta

Gli strumenti matematici provengono tutti dal repertorio classico - Bernard Koopman 1931, Floris Takens 1981, il kernel RBF dalla cassetta degli attrezzi statistici standard, le tecniche di apprendimento residuo dalla recente ricerca sul deep learning. Ciò che è cambiato è l'hardware. Qualche decennio fa, la decomposizione degli autovalori era un serio sforzo numerico. Oggi viene eseguita in un passaggio in avanti di PyTorch sulla GPU in microsecondi - e soprattutto è differenziabile, cioè incorporabile in qualsiasi pipeline di formazione basata sul gradiente.

Questo cambia ciò che viene considerato ingegneria delle caratteristiche. Invece di selezionare gli indicatori a mano o lasciare che sia la rete a trovare le proprie rappresentazioni, è possibile costruire un'intera classe di codificatori che scrivono strutture matematiche - decomposizioni spettrali, topologie, operatori differenziali - direttamente nel flusso di dati. Il codificatore di Koopman-Leibniz ne è un esempio. Combinato con le porte zero-init, diventa qualcosa che finora è mancato nella pratica comune del ML: uno strumento che non combatte il sintomo della formazione stagnante, ma la sua causa matematica.

Si sta quindi delineando una linea di demarcazione che va oltre l'applicazione specifica. Le architetture di IA dominanti al giorno d'oggi - dai grandi modelli linguistici di aziende come OpenAI, Anthropic o Google DeepMind ai più recenti trasformatori generativi - sono essenzialmente antropocentriche (dal greco ánthropos, "umano"): Modellano il linguaggio umano, la percezione umana, il processo decisionale umano e sono congelati in uno spazio di parametri discreto e appreso, dalla cui geometria non escono mai dopo l'addestramento. Gli operatori di Koopman-Leibniz, invece, lavorano in uno spazio spettrale continuo di leggi di sistema invarianti. Questo apre un campo di ricerca separato dalla classe dei modelli incentrati sull'uomo: i trasformatori adattivi generativi che non derivano la loro rappresentazione dai dati umani, ma dalle dinamiche del sistema osservato stesso.

I test attuali dimostrano che il codificatore non supera il plateau aggiungendo capacità, ma filtrando in modo più preciso le dinamiche del sistema. Agisce come un trigger selettivo: rimane inattivo nelle fasi in cui il modello converge in modo indipendente e interviene solo quando il gradiente rischia di ristagnare. In questo modo il sistema guadagna stabilità senza compromettere il vocabolario di caratteristiche esistenti e apprese.

Se la rete ristagna sull'altopiano, non manca più l'input, ma la risoluzione per estrarre il segnale in modo pulito dal rumore.
- Principio di funzionamento del metodo Koopman-Leibniz