Prieskum “regularization parameter” ridge regresie pri rátaní Wout vs. OG a ON.

Robil som prieskum správania sa chyby predikcií pre OG a ON metódu W  pre 3 rôzne nastavenia regularizačného parametra pri ridge regresii.

Nastavenia parametrov ESN:
Počet orto iterácií = 100
Počet runov = 10
Veľkosť reservoiru = 100
Leaking rate = 1
Počiatočný spektrálny polomer = 0.9
Win ~ R(-0.01,0.01)
W~ N(0,1)

MackeyGlass OG

NARMA OG

MackeyGlass ON

 

NARMA ON

 

Pozrel som sa ešte na súvis  NRMSE, leaking rate a regularizačného parametera pri ridge regresii spolu. Dáta boli MackeyGlass a dve rezervoirové matice W. Jedna pred ON a druhá po 60 iteráciach ON.

leaking rate: 0-1 s krokom 0.1

ridge regularization: 0-1e-2 s krokom 1e-5

 

leaking rate: 0-1 s krokom 0.1

ridge regularization: 0-1e-4 s krokom 1e-7

 

leaking rate: 0-1 s krokom 0.1

ridge regularization: 0-1e-6 s krokom 1e-9

Záver: Vyzerá to tak, že najmenšie chyby pre odhady NARMA a Mackey-Glass dostávame pre a=1 a reg=0. Tiež sa zdá ,že chyba monotónne klesá smerom ku týmto hodnotám parametrov.

 

Zdrojaky:
errorSROGMC.py
errorSRONMC.py
ESNpar.py