46473

Metoda Najmniejszych Kwadratów (MNK)

y = a₀ + aiXi + a₂x₂ + ... + a_kx_k + e y = a₀ + aiXn + a₂X2t + ... + a_kX_k, + £«, gdzie t=1,...,n y = Xa + c

Metoda regresji liniowej polega na obliczeniu oceny (wartości) estymatora a takiej, która minimalizuje odległość euklidesową między wektorami {punktami) y i y w N-wymiarowej przestrzeni euklidesowej E^N, tzn. minimalizuje tzw. sumę resztową, która w zapisie skalarnym jest postaci:

S(a)= v (y„- y„)²= t e„²

a w zapisie macierzowym jest postaci:

S(a) = (y - X a)^T (y-Xa)

Z tego równania wynika:

S(a) = y^Ty - a^TX^Ty - y^TXa + a^TX^TXa = y^Ty - 2y^TXa + a^TX^TXa

a z warunku wyznaczenia minimum dla funkcji S(a) wynika:

dS/da = -2X^Ty + 2X^TXa = 0

Czyli układ równań normalnych ma postać:

X^TXa= X^Ty

skąd ostatecznie otrzymuje się następujący wzór na wektor estymatorów regresji liniowej:

a = (X^TX)*¹X^Ty

Warunkiem istnienia rozwiązania zadania regresji liniowej jest nieosobliwość macierzy X^TX, tzn. spełnienie warunku:

det(X^TX) , 0

Wartości teoretyczne:

Pt = a₀ + aiXn + a₂x_2t+-.+a_kx_kt, t = 1,2, _,n y = Xa

Reszty:

€( — yf p_t, t — 1,2.....n

e = y - y = y - Xa a = (X^TX)‘¹ X^Ty