Wykład 6
Własności estymatora parametrów klasycznego modelu liniowego
uzyskanego metodą najmniejszych kwadratów
Wyka\emy, \e przy spełnieniu warunków stosowania metody najmniejszych kwadratów estymator
uzyskany metodą najmniejszych kwadratów posiada po\ądane właściwości. W rozwa\aniach
zachowamy oznaczenia z poprzednich wykładów.
Twierdzenie 1
Je\eli model jest klasycznym modelem liniowym, to znaczy spełnione są warunki 1-4, to estymator
parametrów tego modelu, wyznaczony metodą najmniejszych kwadratów jest nieobcią\ony.
Dowód:
Nale\y wykazać, \e wartość oczekiwana estymatora jest równa wartości parametru, tzn.
E(a) = Ä…
na podstawie warunku 1:
-1 -1
T T T T
E(a)= E[(X X) X Y]= E[(X X) X (XÄ… + µ )]=
(6.1)
-1 -1 -1
T T T T T T
E(a)= E[(X X) X XÄ… +(X X) X µ]= E[Ä… +(X X) X µ]
Następnie korzystamy z warunku 2, \e zmienne objaśniające są nielosowe oraz z warunku 4,
-1 -1
T T T T
\e skÅ‚adniki losowe majÄ… wartość oczekiwanÄ… 0: E[(X X) X µ]= (X X) X E(µ )= 0
stÄ…d:
-1
T T
(6.2)
E(a)= E(Ä…)+ E[(X X) X µ]= Ä…
co kończy dowód.
Twierdzenie 2
Je\eli model jest klasycznym modelem liniowym to macierz wariancji i kowariancji estymatorów
parametrów tego modelu wyznaczonych metodą najmniejszych kwadratów wyra\a się wzorem:
-1
2 T
(6.3)
D2(a) = Ã (X X)
dr Duaan Bogdanov 1
Ekonometria 1
Dowód:
T
-1 -1
T T T T
D2(a)= E(a -Ä…)(a -Ä…)T = EÅ„Å‚[(X X) X Y -Ä…]Å"[(X X) X Y -Ä…]
òÅ‚
ół
T
-1 -1
üÅ‚
T T T T
= EÅ„Å‚[(X X) X (XÄ… + µ )-Ä…]Å"[(X X) X (XÄ… + µ )-Ä…] =
òÅ‚ żł
ół þÅ‚
(6.4)
T
-1 -1
üÅ‚
T T T T
= EÅ„Å‚[(X X) X µ]Å"[(X X) X µ] =
òÅ‚ żł
ół þÅ‚
-1 -1 -1 -1
T T T T T T T T T
= E[(X X) X µµ X (X X) ]= (X X) X E(µµ )X(X X)
T 2
poniewa\ E(µµ )= Ã I to
-1 -1 -1
T T 2 T 2 T
(6.5)
D2(a)= (X X) X Ã I Å" X(X X) = Ã (X X)
co kończy dowód.
Twierdzenie 3 Gaussa-Markowa1
Je\eli model jest klasycznym modelem liniowym to estymator wyznaczony metodÄ… najmniejszych
kwadratów jest najefektywniejszym nieobcią\onym liniowym estymatorem parametrów tego modelu.
Dowód:
Mówimy, \e estymator jest liniowy, je\eli jest liniową funkcją wektora Y to znaczy mo\na go
przedstawić w postaci: a = AY , gdzie A jest dowolną macierzą nielosową o wymiarach (k x n).
Aby estymator AY był nieobcią\ony, to znaczy aby jego wartość oczekiwana była równa
parametrowi:
E(AY) = E[A(XÄ… + µ )]= AXÄ… = Ä… (6.6)
potrzeba aby AX = I
1
Por. G. C. Chow, Ekonometria, Wydawnictwo Naukowe PWN, Warszawa 1995, s. 80 i nast.
dr Duaan Bogdanov 2
Ekonometria 1
Macierz wariancji i kowariancji nieobcią\onego estymatora AY jest równa:
T
E[(AY -Ä…)(AY -Ä…)T]= E{[A(XÄ… + µ )-Ä…]Å"[A(XÄ… + µ )-Ä…] }=
(6.7)
T T 2
= E(Aµµ AT )= AÅ" E(µµ )AT = Ã AAT
-1
T T
Macierz Amo\na przedstawić jako sumę macierzy (X X) X i pewnej macierzy B ,
po podstawieniu do równości AX = I otrzymujemy:
-1 -1
T T T T
(6.8)
AX =[(X X) X + B]X = (X X) X X + BX = I + BX = I
stÄ…d:
BX = 0
wyznaczmy macierz wariancji i kowariancji estymatora AY
-1 -1
T T T T
AX =[(X X) X + B]X = (X X) X X + BX = I + BX = I
T
-1 -1
2 2 T T T T
D2(AY )= Ã AAT = Ã [(X X) X + B]Å"[(X X) X + B] =
(6.9)
-1 -1 -1 -1
2 T T T T T T
= Ã [(X X) X X(X X) +(X X) X BT + BX(X X) + BBT]=
-1
2 T
= Ã [(X X) + BBT]
a więc:
-1
T T
(6.10)
D2(AY ) e" D2((X X) X Y)
dr Duaan Bogdanov 3
Ekonometria 1
czyli macierz kowariancji dowolnego liniowego nieobcią\onego estymatora jest większa od macierzy
-1
2 T
kowariancji à (X X) estymatorów uzyskanych metodą najmniejszych kwadratów, co kończy
dowód.
Twierdzenie 4
Je\eli model jest klasycznym modelem liniowym i parametry tego modelu szacowane sÄ… metodÄ…
2
najmniejszych kwadratów, to nieobcią\ony estymator wariancji składnika losowego à wyra\a się
wzorem:
n
1 1
2
s2 = eTe = (6.11)
"e
t
n - k n - k
t =1
Dowód:
-1 -1
T T T T
e = Y - Xa = XÄ… + µ - X(X X) X Y = XÄ… + µ - X(X X) X (XÄ… + µ )=
(6.12)
-1 -1
T T T T
= µ - X(X X) X µ =[In - X(X X) X ]Å"µ
Następnie wyznaczymy wartość oczekiwaną eTe . Przyjmiemy dodatkowo, \etr oznacza ślad
macierzy, to jest sumę elementów na głównej przekątnej macierz kwadratowej. W dalszych
przekształceniach skorzystamy z własności: tr(AB)= tr(BA).
-1 -1
T T T T T
(6.13)
EeTe = E{µ [In - X(X X ) X ][In - X(X X ) X ]µ =}
-1
T T T
= E{µ [In - X(X X ) X ]µ}=
-1
T T T
= E{tr(µ [In - X(X X ) X ]µ)}=
-1
T T T
EeT e = E{tr[In - X(X X) X ]µ µ}=
dr Duaan Bogdanov 4
Ekonometria 1
-1
T T T
= tr[In - X(X X ) X ]Eµ µ =
-1
2 T T 2
= Ã [trIn - tr((X X ) X X)]= Ã (n - k)
1
2
A więc wartość oczekiwana wyra\enia s2 = eT e wynosi à , czyli s2 jest nieobcią\onym
n - k
estymatorem wariancji składnika losowego, co nale\ało udowodnić.
Twierdzenie 5
Je\eli model jest klasycznym modelem liniowym i składnik losowy ma rozkład normalny,
to estymator parametrów tego modelu wyznaczony metodą najmniejszych kwadratów
ma k- wymiarowy rozkład normalny.
Dowód:
-1 -1 -1
T T T T T T
(6.14)
a = (X X) X Y = (X X) X (XÄ… + µ )= Ä… +(X X) X µ
Poniewa\ parametry modelu są nielosowe oraz zmienne objaśniające są nielosowe,
a µ ma rozkÅ‚ad normalny to a te\ ma rozkÅ‚ad normalny, co nale\aÅ‚o udowodnić.
Przedstawione twierdzenia stanowią teoretyczną podstawę budowy jednorównaniowych liniowych
modeli ekonometrycznych.
Z twierdzenia 1 oraz z twierdzenia Gaussa-Markowa wynika, \e wyznaczony metodÄ…
najmniejszych kwadratów estymator parametrów klasycznego modelu liniowego jest nieobcią\ony
i najefektywniejszy w klasie nieobcią\onych estymatorów liniowych.
Natomiast z twierdzenia 2 i 4 wynika, \e nieobciÄ…\ony estymator macierzy wariancji i kowariancji
T
Ć
ocen parametrów klasycznego modelu liniowego ma postać: D2(a)= s2(X X). Na głównej
przekątnej tej macierzy znajdują się wariancje ocen parametrów modelu, a ich pierwiastki
to odchylenia standardowe ocen parametrów. Nazywa się je błędami standardowymi ocen
parametrów. Wyra\ają się one wzorem:
dr Duaan Bogdanov 5
Ekonometria 1
-1
T
(6.15)
bi = s cii , i = 1,2,...k, cii "(X X)
Błędy standardowe szacunków parametrów są podstawą oceny dokładności estymacji, przy czym
w praktyce do oceny u\ywa się błędów względnych (stosunek błędu szacunku i oceny parametru).
Dowodzi się, \e przy zało\eniach 1-4 elementy macierzy D2(a)dą\ą do zera, gdy liczba
obserwacji n dą\y do nieskończoności. Z twierdzenia 1 wynika natomiast, \e estymatory parametrów
strukturalnych modelu; są nieobcią\one, a więc są one zgodne. Zgodność estymatorów gwarantuje
zmniejszanie się prawdopodobieństwa popełniania błędów szacunku wraz ze wzrostem liczby
obserwacji.
Ponadto w twierdzeniu 4 określony został estymator parametru struktury stochastycznej modelu.
Sformułujemy jeszcze dwa twierdzenia, które co prawda nie odgrywają \adnej roli w estymacji
parametrów, jednak są wykorzystywane w weryfikacji, pierwsze- do badania istotności parametrów
strukturalnych modelu, drugie- liniowej zale\ności zmiennej objaśnianej i zmiennych objaśniających.
Twierdzenie 6
Je\eli model jest klasycznym modelem liniowym i składniki losowe mają rozkład normalny
i estymatory parametrów modelu są wyznaczone metodą najmniejszych kwadratów to zmienna
losowa:
ai -Ä… ai -Ä…i
i
Zi = ma rozkład normalny standaryzowany, a zmienna losowa: ti =
à cii s cii
ma rozkład Studenta o n-k stopniach swobody.
Twierdzenie 7
Je\eli zmienna objaśniana Y ma rozkład normalny i nie jest liniowo skorelowana ze zmiennymi
objaśniającymi (X1, X2,...Xk ) to zmienna losowa
1 1
2
R2 (1-Õ )
k -1 k -1
F = = (6.16)
1 1
(1- R2) Õ2
n - k n - k
dr Duaan Bogdanov 6
Ekonometria 1
ma rozkład Fishera-Snedecora o k-1 i n-k stopniach swobody.
Pytania kontrolne:
1. Kiedy mówimy, \e estymator jest liniowy?
2. Co stanowi podstawę oceny dokładności estymacji?
3. Co to jest błąd standardowy oceny parametru?
4. Je\eli zmienna objaśniana ma rozkład normalny i nie jest liniowo skorelowana
ze zmiennymi objaśniającymi to, jaki rozkład ma zmienna losowa?
dr Duaan Bogdanov 7
Ekonometria 1
Wyszukiwarka
Podobne podstrony:
3 ćwiczenia szacowanie parametrów modeli liniowych klasyczną metodą najmniejszych kwadratówbilans wodny metoda najmniejszych kwadratow rownanie bubendeya16 opracowanie rzutowanie metoda najmniejszych kwadratowmetoda najmniejszych kwadratów gausaL8 Metoda najmniejszych kwadratów4 estymacja parametrów jednorównaniowego liniowego modelu ekonometrycznego7 weryfikacja jednorównaniowego modelu liniowegometoda najmniejszych kw3 Istotność parametrów modelu regresji liniowejBadanie czystości metodą klasyczną3 dobór zmiennych do liniowego modelu ekonometrycznegoĆwiczenie 7 Identyfikacja bakterii (metoda klasyczna i testy API)4 Interpretacja modelu i jego parametrów2 ćwiczenia dobór zmiennych do liniowego modelu ekonometrycznegoObliczanie wielomianu metodą klasyczną i metodą Hornera Temat 1Temat 4 I Klasyczny model regresji liniowejPiS15 W05 Estymacja i weryfikacja parametrów populacjiKlasyczny rachunek zdań metoda 0 1Aparaty?G parametry wlasnosciwięcej podobnych podstron