Pri rovnako nastavených parametroch som odstránil konštantnú 1 zo vstupu a dôsledok bol o trochu zvýšené MC.

Lukoševičiusov článok o ESN kde má v definícii ESN konštantnú 1 na vstupe.
A Practical Guide to Applying Echo State Networks

 

 

 

Len pár poznámok.

1.
Modulus vlastných čísel ortonormálnej matice je 1.

2.
vyzerá to tak, že rátanie MC funguje dobre. Problém bol v inicializácii matíc Win a W .

Win ~ R(-0.01,0.01)
W~ N(0,1)

 

Vplyv ortogonalizácie/ortonormalizácie na chyby pri predikciach časových radov Mackey-Glass a NARMA  pre časy t+2, t+3, atď.

Tu ma zaujímala iba normovaná chyba predikcií vs. skutočnosť.

Nastavenia parametrov ESN:

Počet orto iterácií = 40
Počet runov = 10
Veľkosť reservoiru = 100
Leaking rate = 1
Počiatočný spektrálny polomer = 0.9
Regularizačný parameter pri ridge regresii = ráta sa priamo pre každý reservoir samostatne podľa Echo_State_Gaussian_Process

Zelená = NARMA
Modrá = Mackey-Glass

Predikcie pre t+2

     

Predikcie pre t+3

   

Predikcie pre t+4

Predikcie pre t+5

 

Tieto experimenty sa pozerajú na vplyv ortogonalizácie/ortonormalizácie na chyby pri predikciach časových radov Mackey-Glass a NARMA  pre časy t+1. Orto-gon/norm-alizácie je urobená pomocou gradient descent metódy Rada Bosáka. Plus zobrazenie spektrálneho polomeru a memory capacity pre dané reservoire.

Nastavenia parametrov ESN:

Počet orto iterácií = 40
Počet runov = 10
Veľkosť reservoiru = 100
Leaking rate = 1
Počiatočný spektrálny polomer = 0.9
Regularizačný parameter pri ridge regresii = ráta sa priamo pre každý reservoir samostatne podľa Echo_State_Gaussian_Process

 

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

Ortonormalizácia

To isté ale pre:

Leaking rate = 1
Regularizačný parameter pri ridge regresii = 1e-8

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

Ortonormalizácia

Teraz pre:

Leaking rate = 1
Regularizačný parameter pri ridge regresii = 0

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

Ortonormalizácia

 

Teraz pre:

Leaking rate = 0.3
Regularizačný parameter pri ridge regresii = 1e-8

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

 
Ortonormalizácia

Teraz pre:

Leaking rate = 0.3
Regularizačný parameter pri ridge regresii = 0

Zelená = NARMA
Modrá = Mackey-Glass
Ortogonalizácia

    
Ortonormalizácia

Použité dáta:
narma
MackeyGlass_t17

 

Zdrojáky:

errorSROGMC.py
errorSRONMC.py