Pokúšal som sa zreprodukovať výsledky Boedeckera z Information Processing in Echo State Networks at the Edge of Chaos

Initial network setup

Estimators setup

Výsledky:

Transfer entropy vs. Lyapunov exponent

NRMSE vs. Lyapunov exponent

Active information storage vs. Lyapunov exponent

Zdrojaky:

LE.py

Initial network setup

Spectral radius

argmin NRMSE=0.95, min NRMSE=0.84877

Win

argmin NRMSE=0.8, min NRMSE=0.909755

Orthogonalisation

argmin NRMSE=66, min NRMSE=0.823972

Orthonormalisation

argmin NRMSE=69, min NRMSE=0.83421

Všetko spolu

OG: argmin NRMSE=(16,29), min NRMSE=0.8187

ON: argmin NRMSE=(29,29), min NRMSE=0.823497

+ Bias

argmin NRMSE=(19,28), min NRMSE=0.838228

+Bias + I/O

 

Initial network setup

Spectral radius

 

argmin NRMSE=0.875, min NRMSE=0.000247

Win

argmin NRMSE=0.1,  min NRMSE=0.00034128

Orthogonalisation

argmin NRMSE=0,  min NRMSE=0.00024545

Orthonormalisation

argmin NRMSE=10,  min NRMSE=0.00024369

Všetko spolu

 

OG: argmin NRMSE=(12,0),  min NRMSE=0.00024

ON: argmin NRMSE=(10,0),  min NRMSE=0.00024

SR/OG + bias

 

argmin NRMSE=(4,0),  min NRMSE= 0.00021

Zdrojaky:

errors.py
errors2d.py
errorsOG.py
errorsON.py
errorsWin.py

 

 

 

Zdrojaky:
narmaSRte.py

 

 

Parametre siete

TE reservoir distribution

Pozorovanie: Pri troche predstavivosti TE medzi jednotlivými neurónmi pripomína normálne rozdelenie. (teda v prípade, že TE je väčšie) A váhy rezervoárovej matice sú z normálenho rozdelenia.

TE reservoir distribution (instances of reservoir matrix)

 

TE reservoir-output distribution

 

Zdrojaky:
grafy.py
MGTEnormalized.py

 

 

TE a predikcie NARMA.

NRMSE

Mean TE

Mean TE reservoir-output

TE Input/Output

Zdrojaky:
NARMATE.py
NARMATEnormalized.py
NARMATEnormalizedOG.py
NARMATEnormalizedON.py
 

TE a predikcie Mackey-Glass.

NRMSE

Mean TE

Mean TE reservoir-output

TE Input/Output

Zdrojaky:
MGTE.py
MGTEnormalized.py
MGTEnormalizedOG.py
MGTEnormalizedON.py

 

 

TE a úloha memory capacity. Input do siete bol Unif[-1,1].

 

Memory capacity

Mean TE

Mean TE reservoir-output
  

TE Input/Output

   

Zdrojaky:
TEMC.py
TEMCnormalized.py
TEMCnormalizedOG.py
TEMCnormalizedON.py

 

 

Pozeral som sa na overfitting ako na problém veľkých chýb a nakoniec bol problém v chybe v kóde.

Parametre siete

mean NRMSE test data

mean NRMSE train data

Zdrojaky:

standart.py
standartOverfit.py
normalized.py
normalizedOverfit.py
normalizedOG.py
normalizedOverfitOG.py
normalizedON.py
normalizedOverfitON.py

 

 

 

To isté čo pri #20 akurát s väčším rezervoárom + pridané korelácie medzi váhami rezervoárovej matice a transfer entropie tj. 

 

 

 

Mackey – Glass

 

 

 

NARMA

  

 

AIS