Lasso wykonuje kurczenie się tak, że w wiązaniu znajdują się "rogi", które w dwóch wymiarach odpowiadają rombowi. Jeśli suma kwadratów "trafi" w jeden z tych rogów, to współczynnik odpowiadający osi zmniejsza się do zera. … Stąd lasso wykonuje kurczenie i (efektywnie) selekcję podzbiorów.
Dlaczego lasso daje zero współczynników?
Lasso wykonuje kurczenie się tak, że w wiązaniu znajdują się "rogi", które w dwóch wymiarach odpowiadają rombowi. Jeśli suma kwadratów "trafi" w jeden z tych rogów, to współczynnik odpowiadający osi zmniejsza się do zera.
Dlaczego lasso kurczy się do zera, ale nie Ridge?
Mówi się, że ponieważ kształt ograniczenia w LASSO jest diamentem, otrzymane rozwiązanie najmniejszych kwadratów może dotykać rogu diamentu, co prowadzi do skurczenia się pewnej zmiennej. Jednak w regresji grzbietowej, ponieważ jest to koło, często nie dotyka osi
Dlaczego regresja grzbietu zmniejsza współczynniki?
Regresja Ridge'a zmniejsza wszystkie współczynniki regresji do zera; lasso ma tendencję do dawania zestawu zerowych współczynników regresji i prowadzi do rzadkiego rozwiązania. Należy zauważyć, że zarówno w przypadku regresji grzbietowej, jak i lassa współczynniki regresji mogą zmieniać się od wartości dodatnich do ujemnych, ponieważ zmniejszają się do zera.
Czy współczynniki lassa są obciążone?
…skurcz lasso powoduje, że oszacowania niezerowych współczynników są skłaniane w kierunku zera i ogólnie nie są one spójne [Uwaga dodana: Oznacza to, że jako wielkość próby rośnie, oszacowania współczynników nie są zbieżne].
