01 - plateau treningowe - gdy gradient znika

Ilościowe dane finansowe to wysoce skorelowane dane o wyjątkowo niskim stosunku sygnału do szumu. Głównym wyzwaniem jest wyodrębnienie z okna obserwacji nie sekwencyjnej sekwencji surowych wartości, ale ukrytej dynamiki systemu - przejściowych impulsów, cyklicznych odwróceń i energicznych zmian stanu. Ponieważ struktury te są tracone w szumie stochastycznym, standardowa architektura zużywa nieproporcjonalnie dużo swojej pojemności na samo tworzenie reprezentacji.

Jeśli model osiągnie plateau, gradient strat (∇ℒ) załamuje się. Optymalizator traci stabilność kierunkową w tym płaskim obszarze parametrów, ponieważ składniki gradientu zbiegają się do zera. W tym momencie sieć nauczyła się tylko trywialnych, dominujących składników wariancji. Głębsze, predykcyjne struktury rynku pozostają nieosiągnięte, ponieważ obecne słownictwo matematyczne sieci nie jest wystarczające do ich czystego odizolowania od szumu.

Adaptacyjne metody optymalizacji, takie jak AdamW, nie oferują tutaj systemowego środka zaradczego: chociaż korygują skalowanie, nie mogą wyodrębnić kierunku z pola wektorowego, którego oczekiwana wartość wynosi średnio zero. Nawet konwencjonalna redukcja współczynnika uczenia(ReduceLROnPlateau) nie przerywa tej stagnacji. Jedynie ją utrwala. Sieć pozostaje w płaskiej strefie i zaczyna zapamiętywać struktury szumu o wysokiej częstotliwości danych treningowych - bezpośrednia droga do nadmiernego dopasowania, co powoduje, że metryka walidacji pogarsza się z opóźnieniem.

Płaskowyż nie jest końcem nauki. Jest to koniec bieżącego słownictwa.
- Diagnoza problemu stagnacji

02 - Fundament - Koopman: Kiedy ruch staje się algebrą liniową

Amerykański matematyk Bernard Koopman opublikował artykuł 1931, który w tamtym czasie prawie nikomu nie był potrzebny, a w ciągu ostatnich dziesięciu lat znalazł się w każdym podręczniku dotyczącym dynamiki opartej na danych. Na pierwszy rzut oka jego pomysł jest paradoksalny: jeśli system porusza się w skomplikowany nieliniowy sposób, nadal można go opisać liniowo - jeśli jesteś przygotowany na przejście do nieskończenie wymiarowej przestrzeni, w której rozwijają się nie same stany, ale funkcje nad stanami.

Brzmi to jak zły kompromis - skończenie wymiarowy problem nieliniowy za nieskończenie wymiarowy problem liniowy. W rzeczywistości jest to doskonała zamiana, ponieważ operatory liniowe mają coś, czego funkcje nieliniowe zwykle nie mają: widmo. Wartości własne i wektory własne. Jasne, rozkładalne bloki konstrukcyjne. Każdy, kto zna operator Koopmana systemu, zna jego mody własne - podstawowe wzorce oscylacji, z których składa się każdy rzeczywisty ruch, tak jak każdy dźwięk może składać się z czystych tonów sinusoidalnych.

Nikt nie jest w stanie obliczyć dokładnego operatora Koopmana systemu dynamiki rynku. Możliwe jest jednak nauczenie się skończonej aproksymacji na podstawie danych - metoda ta nosi nazwę Dynamic Mode Decomposition, w skrócie DMD. W wariancie opartym na jądrze, używanym przez koder, mała macierz jest automatycznie uzyskiwana z okna obserwacji, którego wartości własne precyzyjnie odpowiadają na dwa pytania: jak szybko oscyluje ta dynamika i czy zyskuje lub traci energię.

Wykres 01 - Co oznacza złożona wartość własna
Każdy punkt na płaszczyźnie zespolonej to cały tryb ruchu - częstotliwość i wzrost w jednej liczbie.

• Tryby budujące energię (część rzeczywista > 0) - pomarańczowy
• Tryby zubożające energię (część rzeczywista < 0) - ciemne
• Granica stabilności - przerywany okrąg

Ta mapa jest główną wizualizacją potrzebną do zrozumienia kodera. Okno obserwacji jest mapowane na dziesięć punktów na tej złożonej płaszczyźnie. Każdy punkt jest niezależnym typem ruchu, który system aktualnie zawiera. Część rzeczywista mówi ci, czy ten ruch nabiera prędkości, czy jej brakuje; część urojona mówi ci, jak szybko oscyluje. Całe okno można zrekonstruować z tych dziesięciu punktów, bez przekierowań za pomocą kilkuset surowych liczb.

03 - Redukcja widmowa - izolowanie prymitywów systemu

Wyzwanie strukturalne w modelowaniu przestrzeni Koopmana polega na jej nieporęczności numerycznej: z założenia jest ona nieskończenie wymiarowa. Matematyczne opanowanie tej wymiarowości nasuwa bezpośrednie skojarzenia z Characteristica Universalis Gottfrieda Wilhelma Leibniza i jego Ars Combinatoria. W Alphabetum cogitationum humanarum Leibniz postulował uniwersalny system, który śledzi złożoną, ciągłą dynamikę z powrotem do skończonego zestawu ortogonalnych, niepodzielnych podstawowych pojęć - notiones primitivae. Złożoność nie jest tutaj rozumiana jako chaotyczne kontinuum, ale jako liniowa kombinacja dyskretnych, prymitywnych bloków konstrukcyjnych.

Algorytmicznie, ta racjonalna redukcja stanowi podstawę dla obcięcia rangi w przestrzeni Hilberta ℋ, którą jądro RBF implicite obejmuje. Podczas gdy macierz podobieństwa K₀ koduje pełną, zaszumioną trajektorię okna obserwacji, późniejszy symetryczny rozkład wartości własnej izoluje k dominujących trybów własnych. Jest to formalny akt prymitywnej izolacji - rzut na niskowymiarową, niezmienniczą podprzestrzeń Koopmana:

Projekcja spektralna - redukcja rangi Leibniza

ℋ  ⟶  ?ₖ

ℋ reprezentuje nieskończenie wymiarową przestrzeń Hilberta jako formalny nośnik całej potencjalnej dynamiki. ℋ definiuje k-wymiarową podprzestrzeń obejmowaną przez dominujące mody własne; w standardowej konfiguracji k = 10. Wszystkie składowe widmowe poza tym limitem są analitycznie odrzucane jako przejściowy szum.

To obcięcie działa jako podstawowy mechanizm regularyzacji kodera. Sieć neuronowa działająca na niefiltrowanym widmie nieuchronnie zapamiętuje stochastyczne osobliwości próbki szkoleniowej o wysokiej częstotliwości. Kompresując sygnał do k dominujących prymitywów, architektura wymusza matematyczną abstrakcję: kolejne warstwy nie wyodrębniają efemerycznych struktur szumu określonego okna, ale niezmienne generatory dynamiki systemu.

04 - Maszyna - od surowego sygnału do widmowego odcisku palca

To, co koder robi wewnętrznie, można odczytać jako sześć kolejnych kroków, z których każdy rozwiązuje określony problem. Przechodzimy przez główne kroki matematycznie - nie jako przewodnik po kodzie, ale jako argumentacja, która odpowiada na pytanie w każdym przypadku.

Pierwszy krok ustanawia porównywalność. Jądro, które następuje natychmiast, działa z odległościami w funkcji wykładniczej. Jeśli wartości wejściowe są liczbowo duże, funkcja wykładnicza spada do zera, a cały potok generuje tylko zera. Każde okno jest zatem standaryzowane lokalnie.

Lokalna standaryzacja

x̂ = (x − μ) / (σ + ε)

Każda wartość jest pomniejszana o średnią wartość okna μ i dzielona przez odchylenie standardowe okna σ. Mała suma ε zapobiega dzieleniu przez zero dla cichych faz. Sprawia to, że koder jest niezmienny pod względem poziomu: ruch o jeden procent wygląda dla niego tak samo, niezależnie od bezwzględnego poziomu, na którym ma miejsce. Model uczy się dynamiki, a nie wartości bezwzględnych.

Drugi krok zamienia historię w stan. Pojedyncza obserwacja prawie nic nie mówi. Dynamika to relacja między kolejnymi stanami. Okno jest podzielone na dwie przesunięte w czasie wersje - pierwsza zawiera obserwacje do przedostatniego kroku, druga obserwacje od drugiego kroku do końca. Reguła przejścia zostanie później wyprowadzona z porównania tych dwóch wersji. To stary pomysł Takensa: progresja jest stanem.

Trzeci krok to prawdziwa matematyczna sztuczka: podobieństwo jako geometria. Zamiast ręcznie wymyślać wskaźniki, koder pozwala geometrii danych mówić sama za siebie. Dla każdego punktu w czasie w oknie mierzy, jak podobny jest on do wszystkich innych punktów w czasie. Miarą podobieństwa jest jądro RBF:

Jądro RBF - miara podobieństwa

k(x, y) = exp(−γ · ‖x − y‖²)

Wyrażenie ‖x - y‖² jest kwadratem odległości euklidesowej między dwoma stanami - jak daleko są od siebie w przestrzeni. Funkcja wykładnicza kompresuje to do wartości między 0 a 1: identyczne stany dają dokładnie 1, odległe stany dają praktycznie 0. Parametr γ kontroluje, jak szybko podobieństwo maleje wraz ze wzrostem odległości - jest to, że tak powiem, ostrość, z jaką system oddziela "podobne" od "różnych".

W ten sposób okno staje się macierzą podobieństwa, w której każdy wpis jest wartością podobieństwa między dwoma punktami w czasie. To już nie jest szereg czasowy - to topografia. Które fazy są podobne, a które nie, i jak jest to rozłożone w oknie. Druga macierz podobieństwa porównuje każdy punkt czasowy z jego następcą i będzie zawierać informacje dla reguły przejścia.

Czwarty krok polega na znalezieniu alfabetu: Dekompozycja wartości własnej jest stosowana do pierwszej macierzy podobieństwa. Największe wartości własne pokazują dominujące wzorce topografii. Pozostają tylko tryby top-k, prymitywy Leibniza okna.

Piąty krok konstruuje regułę przejścia. W przestrzeni dominujących modów budowana jest mała macierz, która dokładnie opisuje, w jaki sposób okno ewoluuje z jednego kroku czasowego do następnego:

Zredukowana macierz Koopmana w przestrzeni modów

à = Σ⁻¹ · Vᵀ · K₁ · V · Σ⁻¹

V zawiera wektory własne top-k pierwszej macierzy podobieństwa - alfabetu. K₁ to przesunięta w czasie macierz podobieństwa, która koduje przejście z jednego kroku czasowego do następnego. Σ-¹ normalizuje długości wektorów własnych, dzięki czemu wynikowa macierz nie jest zniekształcona przez różnice skali. Pozostaje liniowy operator na nieliniowo wygenerowanej przestrzeni - oryginalny pomysł Koopmana, tutaj w zredukowanej formie.

Szósty i ostatni krok odczytuje istotę. Druga dekompozycja wartości własnej jest stosowana do tej małej macierzy - tym razem takiej, która pozwala na wartości zespolone. Każdy tryb staje się złożoną wartością własną. Jego część rzeczywista to tempo wzrostu, a część urojona to częstotliwość. Okno kilkuset surowych wartości staje się w ten sposób wartościami 2 × k - tj. dwudziestoma liczbami dla dziesięciu trybów, które razem przenoszą całą dynamikę okna.

05 - Implementacja - rdzeń, który wykonuje obliczenia matematyczne

To, co jest niezwykłe w implementacji, to nie jej długość, ale jej zwięzłość. To, co w teorii brzmi jak specjalistyczny wykład, w PyTorchu jest zaledwie kilkoma precyzyjnymi linijkami - bez konieczności pisania ani jednej pętli. Cały aparat spektralny znajduje się w dwóch wbudowanych procedurach rozkładu wartości własnych. Dzięki temu koder jest nie tylko czytelny, ale też w pełni różniczkowalny. Może być wbudowany w dowolną sieć neuronową jako warstwa i trenowany przez wsteczną propagację.

# proprietary — interne Implementierung gekürzt
class KoopmanLeibnizEncoder(nn.Module):
    def __init__(self, rank=10, gamma=0.1):
        super().__init__()
        self.rank  = rank     # Anzahl beibehaltener Leibniz-Primitive
        self.gamma = gamma    # Breite des RBF-Kernels

    def forward(self, x):
        # Lokale Standardisierung pro Fenster — gegen Kernel-Kollaps
        x = (x - x.mean(dim=1, keepdim=True)) / (x.std(dim=1, keepdim=True) + 1e-6)

        # [...] Takens-Einbettung, RBF-Kernel, Spektrum, reduzierte Koopman-Matrix
        # [...] interne Pipeline — Details proprietär
        A_tilde = _internal_spectral_pipeline(x, self.rank, self.gamma)

        # Komplexe Eigenwerte → Wachstum (Re) + Frequenz (|Im|)
        koop_vals, _ = torch.linalg.eig(A_tilde)
        return torch.cat([koop_vals.real, torch.abs(koop_vals.imag)], dim=-1)
                              PYTHON
                            

Koder nie jest zatem dodatkowym narzędziem do przetwarzania danych, ale integralnym elementem architektury. To, co tworzy, to widmowy odcisk palca okna obserwacji: dwadzieścia wartości podsumowujących wzrost, tłumienie i częstotliwość dominujących trybów rynkowych. To, w jaki sposób te informacje trafiają do modelu, jest naprawdę interesującą częścią - i powodem, dla którego ten artykuł został napisany w pierwszej kolejności.

06 - Aplikacja - łamacz plateau

Podczas badań zespołu, duży główny model, system oparty na transformatorze z wyspecjalizowanymi gałęziami wyjściowymi i wieloma płaszczyznami czasowymi, wielokrotnie osiągał plateau na etapie 4. Strata spadła czysto w ciągu sześciu do ośmiu epok, a następnie pozostała płaska. Wskaźniki walidacji nieznacznie wzrosły - pierwsza oznaka początkowej adaptacji do specyfiki szkolenia. Tradycyjne antidota nie zadziałały. Obniżenie szybkości uczenia się zaostrzyło objawy. Większa ilość danych zapewniła niewielką poprawę, która została utracona w wariancji wielu przebiegów. Problem był strukturalny: model wyciągnął wszystko, co mógł z lokalnych cech statystycznych. To, czego potrzebował, to nie kolejna optymalizacja, ale nowe informacje.

W tym miejscu do gry wkracza koder Koopmana-Leibniza, ale w roli, do której nie był pierwotnie przeznaczony. Zamiast być głównym koderem przed modelem, jest on używany jako równoległy kanał informacyjny - drugi potok danych, który dostarcza globalne tryby rynkowe do już wytrenowanego modelu na kilku poziomach czasowych. Połączenie odbywa się za pośrednictwem warstwy uwagi krzyżowej: główny model prosi widmowy odcisk palca o informacje, których mu brakuje, i integruje odpowiedź ze swoimi wewnętrznymi reprezentacjami.

Takie rozszerzenie w środku treningu jest zwykle ryzykowne. Dodatkowa gałąź gwałtownie zmienia krajobraz gradientu. W najgorszym przypadku destabilizuje to, co zostało zbudowane przez tygodnie. Właśnie w tym miejscu do gry wkracza drugi, prawie ważniejszy element eksperymentu: bramka zero-init.

Schemat 02 - Zachowanie bramki na płaskowyżu
Jak bramka uruchomiona od zera otwiera się dokładnie wtedy, gdy znika gradient strat

• Faza 1 - Linia bazowa jest stabilna, bramka pozostaje zamknięta - brak interwencji w istniejącą naukę.
• Faza 2 - Strata spłaszcza się, gradienty załamują się, bramka otwiera się automatycznie, a kanał widmowy zaczyna działać.

Bramka jest matematycznie pojedynczą wielkością skalarną - nazywamy ją α. Jest ona inicjowana z wartością wynoszącą dokładnie zero i mnoży wkład nowego kanału spektralnego przed jego powrotem do głównego modelu:

Pozostała interwencja przez bramkę

h_neu = h_alt + α · CrossAttn(h_alt, z_spektral)

h_alt to poprzednia wewnętrzna reprezentacja głównego modelu. z_spectral to sekwencja widmowych odcisków palców z kodera Koopmana-Leibniza w kilku płaszczyznach czasowych. Operacja CrossAttn umożliwia głównemu modelowi dostęp do informacji z kanału spektralnego. Dopóki α = 0, cały dodatkowy człon jest dokładnie zerowy, a model zachowuje się identycznie jak wcześniej.

Ta konstrukcja stanowi rdzeń teoretyczny. Drugi człon po prawej stronie jest dokładnie zerowy na początku - nie mały, nie pomijalny, ale analitycznie zerowy. Główny model nie widzi żadnych zmian, nadal działa na swoim poprzednim krajobrazie strat, utrzymuje wszystkie wagi na stałym poziomie. Jedyną rzeczą, która się zmienia, jest to, że istnieje teraz parametr α ze zdefiniowanym gradientem. Jeśli ścieżka propagacji wstecznej określi, że wzrost α zmniejszyłby stratę, wtedy - i tylko wtedy - otworzy się brama.

Na płaskowyżu, gdzie wszystkie inne gradienty znikają, gradient odnoszący się do α jest zazwyczaj jedynym, który nadal niesie wyraźny sygnał. Optymalizator nie ma innego sposobu na zmniejszenie strat - zaczyna więc minimalnie zwiększać α. Kanał widmowy zaczyna wtedy dostarczać informacje do głównego modelu. Krajobraz strat, który był po prostu płaski, przybiera nowy kierunek. Płaskowyż pęka.

Dopóki model jest stabilnie zbieżny, dodatkowa ścieżka pozostaje neutralna. Dopiero gdy gradient ulega stagnacji, kanał widmowy staje się skuteczną ścieżką aktualizacji.
- Jak działa mechanizm zero-init

Konstrukcja ta jest matematycznie elegancka, ale dwie właściwości czynią ją szczególnie cenną w zastosowaniach badawczych. Po pierwsze, jest to rozszerzenie o zerowym ryzyku: dopóki model rozwija się bez pomocy, rozszerzenie jest nieskuteczne. Nie ma kompromisu w zakresie stabilności, nie ma zakłóceń w trwającej optymalizacji, nie ma nowego strojenia harmonogramów treningowych. Po drugie, nie zwalcza objawu plateau, ale jego przyczynę. Tradycyjne metody, takie jak ReduceLROnPlateau, spowalniają ruch, gdy przestaje on działać - dokładniej, robią złą rzecz. Łamacz plateau zamiast tego dodaje do modelu zasadniczo nowe informacje: globalne tryby rynkowe na wielu poziomach czasowych, które nie były matematycznie obecne w lokalnych funkcjach wejściowych.

W szerszym kanonie badawczym mechanizm ten jest powiązany z metodami takimi jak ReZero i LayerScale - obie działają z resztkowymi ścieżkami, których wkład jest kontrolowany przez uczący się współczynnik skalowania, który zaczyna się od zera. Tym, co wyróżnia Plateau-Breaker, jest jego funkcja: rozszerzenie szczątkowe nie dodaje głębi do siatki, ale określoną klasę informacji - tryby systemu widmowego, które koder wyraźnie wyodrębnia. Nie jest to już pojemność modelu, ale inna podstawa reprezentacji.

07 - Puenta - Trzy właściwości, które działają razem

Metody spektralne w analizie szeregów czasowych nie są niczym nowym. To, co sprawia, że wariant Koopmana-Leibniza jest jakościowo nowy w tej kombinacji - koder plus bramka zerowa plus uwaga krzyżowa - to trzy właściwości, które wzajemnie się wzmacniają.

Jest on niezależny od poziomu. Ze względu na lokalną normalizację na okno, koder widzi ruchy, a nie poziomy. Model, który działa z tym mechanizmem, może działać na dowolnym systemie dynamiki rynku bez odgrywania roli zakresów wartości bezwzględnych.

Jest nieliniowy bez konieczności wymyślania nieliniowych cech. Jądro RBF pośrednio osadza dane w nieskończenie wymiarowej przestrzeni, w której skomplikowane nieliniowe relacje stają się strukturami liniowymi. Nikt nie musi zgadywać, jakich wskaźników może potrzebować system - geometria danych sama generuje nieliniowe zależności.

Można je interpretować spektralnie. Na wyjściu nie pojawiają się tajemnicze zmienne ukryte, ale wartości wzrostu i częstotliwości o wyraźnym znaczeniu dynamicznym. Jeśli chcesz wiedzieć, dlaczego model podjął określoną decyzję w określonej sytuacji, możesz spojrzeć na widmowy odcisk palca i dosłownie odczytać dynamiczny stan, w jakim znajdował się system w danym momencie.

Klasyczne skalery normalizują liczby. Koder Koopmana-Leibniza normalizuje znaczenie.
- Mówiąc prostym językiem

Nie ma różnicy semantycznej. Przekazanie modelowi surowych szeregów czasowych zmusza go do samodzielnego wykonania tłumaczenia na dynamikę - z pełną pojemnością jego macierzy wag i pełnym wysiłkiem związanym z treningiem. Nadanie mu dynamiki z wyprzedzeniem nagle uwalnia pojemność, którą model może wykorzystać do podejmowania rzeczywistych decyzji.

Jest to ten sam mechanizm, który stoi za wyspecjalizowanymi pomocniczymi celami treningowymi - małymi wyjściami pobocznymi, które zmuszają sieć do wyraźnej rekonstrukcji istotnych wielkości we wczesnych warstwach - tylko o jeden poziom głębiej. Takie cele pomocnicze zmuszają szkielet do zrozumienia świata przed podjęciem decyzji. Koder Koopmana-Leibniza zmusza dane wejściowe do ujawnienia ich dynamiki, zanim jeszcze dotrą do modelu. W konfiguracji plateau-breaker staje się to trzecią właściwością: model może kontynuować naukę dokładnie wtedy, gdy faktycznie się zatrzymał.

08 - Perspektywy - co dalej

Wszystkie narzędzia matematyczne pochodzą z klasycznego repertuaru - Bernard Koopman 1931, Floris Takens 1981, jądro RBF ze standardowego zestawu narzędzi statystycznych, techniki uczenia resztkowego z ostatnich badań nad uczeniem głębokim. To, co się zmieniło, to sprzęt. Kilka dekad temu dekompozycja wartości własnych była poważnym wysiłkiem numerycznym. Dziś jest ona wykonywana na GPU w mikrosekundach w PyTorch - a przede wszystkim jest różniczkowalna, tj. możliwa do osadzenia w dowolnym potoku szkoleniowym opartym na gradiencie.

To zmienia to, co jest uważane za inżynierię cech. Zamiast ręcznie wybierać wskaźniki lub pozostawiać sieci wymyślanie własnych reprezentacji, można zbudować całą klasę koderów, które zapisują struktury matematyczne - rozkłady spektralne, topologie, operatory różnicowe - bezpośrednio w przepływie danych. Koder Koopmana-Leibniza jest tego przykładem. W połączeniu z bramkami zero-init staje się on czymś, czego do tej pory brakowało w powszechnej praktyce ML: narzędziem, które nie zwalcza symptomu stagnacji treningu, ale jego matematyczną przyczynę.

Pojawia się zatem linia podziału, która wykracza poza konkretne zastosowanie. Dominujące obecnie architektury sztucznej inteligencji - od dużych modeli językowych firm takich jak OpenAI, Anthropic lub Google DeepMind po najnowsze transformatory generatywne - są zasadniczo antropocentryczne w projektowaniu (od greckiego ánthropos, "człowiek"): Modelują ludzki język, ludzką percepcję, ludzkie podejmowanie decyzji i są zamrożone w wyuczonej, dyskretnej przestrzeni parametrów, której geometrii nigdy nie opuszczają po treningu. Z drugiej strony, operatory Koopmana-Leibniza działają w ciągłej przestrzeni spektralnej niezmiennych praw systemowych. Otwiera to odrębną dziedzinę badań poza klasą modeli skoncentrowanych na człowieku: generatywne transformatory adaptacyjne, które nie czerpią swojej reprezentacji z danych ludzkich, ale z dynamiki samego obserwowanego systemu.

Obecne testy pokazują, że koder nie przebija się przez płaskowyż poprzez dodanie pojemności, ale poprzez dokładniejsze filtrowanie dynamiki systemu. Działa jako selektywny wyzwalacz - pozostaje nieaktywny w fazach, w których model zbiega się niezależnie i interweniuje tylko wtedy, gdy grozi stagnacja gradientu. W ten sposób system zyskuje stabilność bez uszczerbku dla istniejącego, wyuczonego słownictwa funkcji.

Jeśli sieć stagnuje na płaskowyżu, nie brakuje jej już danych wejściowych, ale rozdzielczości, aby wyodrębnić sygnał z szumu.
- Zasada działania metody Koopmana-Leibniza