podmienenosť matice (X*X.T + reg*I)

Pozeral som sa na to prečo je taký veľký rozptyl chýb pri nastavení parametra ridge regresie na 0. Pri rátaní Wout sa ráta inverzia matice (X*X.T + reg*I)  ,ktorá je síce regulárna ,ale zle podmienená. Číslo podmienenosti matice som rátal pomocou numpy.linalg.cond(). Nastavenia parametrov boli ako v #5.

Condition number – wiki link

Ortogonalizácia

  

pozn. pri reg=0 je rozsah zobrazených čísel podmienenosti matice <1e16 – 1e18>

Ortonormalizácia

  

pozn. pri reg=0 je rozsah zobrazených čísel podmienenosti matice <1e12 – 1e18>

 

Záver: Vysoká odchylka chýb pre reg=0 by mohla byť spôsobená veľkou podmienenosťou matice X*X.T.

 

Skúsil som teda pre reg=0 namiesto klasickej inverzie rátať p-inverziu. Dole sú výsledky chýb ako v #5.

Ortogonalizácia

 

Ortonormalizácia