Pozeral som sa na to prečo je taký veľký rozptyl chýb pri nastavení parametra ridge regresie na 0. Pri rátaní Wout sa ráta inverzia matice (X*X.T + reg*I)  ,ktorá je síce regulárna ,ale zle podmienená. Číslo podmienenosti matice som rátal pomocou numpy.linalg.cond(). Nastavenia parametrov boli ako v #5.

Condition number – wiki link

Ortogonalizácia

  

pozn. pri reg=0 je rozsah zobrazených čísel podmienenosti matice <1e16 – 1e18>

Ortonormalizácia

  

pozn. pri reg=0 je rozsah zobrazených čísel podmienenosti matice <1e12 – 1e18>

 

Záver: Vysoká odchylka chýb pre reg=0 by mohla byť spôsobená veľkou podmienenosťou matice X*X.T.

 

Skúsil som teda pre reg=0 namiesto klasickej inverzie rátať p-inverziu. Dole sú výsledky chýb ako v #5.

Ortogonalizácia

 

Ortonormalizácia

 

 

 

Robil som prieskum správania sa chyby predikcií pre OG a ON metódu W  pre 3 rôzne nastavenia regularizačného parametra pri ridge regresii.

Nastavenia parametrov ESN:
Počet orto iterácií = 100
Počet runov = 10
Veľkosť reservoiru = 100
Leaking rate = 1
Počiatočný spektrálny polomer = 0.9
Win ~ R(-0.01,0.01)
W~ N(0,1)

MackeyGlass OG

NARMA OG

MackeyGlass ON

 

NARMA ON

 

Pozrel som sa ešte na súvis  NRMSE, leaking rate a regularizačného parametera pri ridge regresii spolu. Dáta boli MackeyGlass a dve rezervoirové matice W. Jedna pred ON a druhá po 60 iteráciach ON.

leaking rate: 0-1 s krokom 0.1

ridge regularization: 0-1e-2 s krokom 1e-5

 

leaking rate: 0-1 s krokom 0.1

ridge regularization: 0-1e-4 s krokom 1e-7

 

leaking rate: 0-1 s krokom 0.1

ridge regularization: 0-1e-6 s krokom 1e-9

Záver: Vyzerá to tak, že najmenšie chyby pre odhady NARMA a Mackey-Glass dostávame pre a=1 a reg=0. Tiež sa zdá ,že chyba monotónne klesá smerom ku týmto hodnotám parametrov.

 

Zdrojaky:
errorSROGMC.py
errorSRONMC.py
ESNpar.py

 

 

Pri rovnako nastavených parametroch som odstránil konštantnú 1 zo vstupu a dôsledok bol o trochu zvýšené MC.

Lukoševičiusov článok o ESN kde má v definícii ESN konštantnú 1 na vstupe.
A Practical Guide to Applying Echo State Networks

 

 

 

Len pár poznámok.

1.
Modulus vlastných čísel ortonormálnej matice je 1.

2.
vyzerá to tak, že rátanie MC funguje dobre. Problém bol v inicializácii matíc Win a W .

Win ~ R(-0.01,0.01)
W~ N(0,1)

 

Vplyv ortogonalizácie/ortonormalizácie na chyby pri predikciach časových radov Mackey-Glass a NARMA  pre časy t+2, t+3, atď.

Tu ma zaujímala iba normovaná chyba predikcií vs. skutočnosť.

Nastavenia parametrov ESN:

Počet orto iterácií = 40
Počet runov = 10
Veľkosť reservoiru = 100
Leaking rate = 1
Počiatočný spektrálny polomer = 0.9
Regularizačný parameter pri ridge regresii = ráta sa priamo pre každý reservoir samostatne podľa Echo_State_Gaussian_Process

Zelená = NARMA
Modrá = Mackey-Glass

Predikcie pre t+2

     

Predikcie pre t+3

   

Predikcie pre t+4

Predikcie pre t+5

 

Tieto experimenty sa pozerajú na vplyv ortogonalizácie/ortonormalizácie na chyby pri predikciach časových radov Mackey-Glass a NARMA  pre časy t+1. Orto-gon/norm-alizácie je urobená pomocou gradient descent metódy Rada Bosáka. Plus zobrazenie spektrálneho polomeru a memory capacity pre dané reservoire.

Nastavenia parametrov ESN:

Počet orto iterácií = 40
Počet runov = 10
Veľkosť reservoiru = 100
Leaking rate = 1
Počiatočný spektrálny polomer = 0.9
Regularizačný parameter pri ridge regresii = ráta sa priamo pre každý reservoir samostatne podľa Echo_State_Gaussian_Process

 

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

Ortonormalizácia

To isté ale pre:

Leaking rate = 1
Regularizačný parameter pri ridge regresii = 1e-8

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

Ortonormalizácia

Teraz pre:

Leaking rate = 1
Regularizačný parameter pri ridge regresii = 0

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

Ortonormalizácia

 

Teraz pre:

Leaking rate = 0.3
Regularizačný parameter pri ridge regresii = 1e-8

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

 
Ortonormalizácia

Teraz pre:

Leaking rate = 0.3
Regularizačný parameter pri ridge regresii = 0

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

    
Ortonormalizácia

Použité dáta:
narma
MackeyGlass_t17

 

Zdrojáky:

errorSROGMC.py
errorSRONMC.py