www.vorhilfe.de
- Förderverein -
Der Förderverein.

Gemeinnütziger Verein zur Finanzierung des Projekts Vorhilfe.de.
Hallo Gast!einloggen | registrieren ]
Startseite · Mitglieder · Impressum
Forenbaum
^ Forenbaum
Status VH e.V.
  Status Vereinsforum

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Suchen
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Weitere Fächer:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
Forum "mathematische Statistik" - Maximum Likelihood
Maximum Likelihood < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "mathematische Statistik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Maximum Likelihood: Hilfe zu b) und c)
Status: (Frage) beantwortet Status 
Datum: 19:39 So 05.01.2014
Autor: Marcel08

Aufgabe
Für eine Regression auf eine Konstante [mm] y_{i}=\beta+u_{i}, i=1,\ldots,n [/mm] wird angenommen, dass die Störterme [mm] u_{i} [/mm] unabhängig [mm] N(0,(\alpha{z_{i}})^{2}) [/mm] verteilt sind. Die Varianz der Störterme hängt dabei von einer Variablen [mm] z_{i} [/mm] ab (sog. Heteroskedastizität).

a) Welche Aussage enthält das Likelihood-Prinzip allgemein?

b) Stellen Sie die Loglikelihood-Funktion für die Gesamtstichprobe auf.

c) Maximieren Sie die Loglikelihood-Funktion und geben Sie die ML-Schätzfunktionen für [mm] \hat\beta [/mm] und [mm] \hat\alpha [/mm] in geschlossener Form an.

d) Bringen Sie die Schätzfunktion für [mm] \hat\beta [/mm] in die Form [mm] \hat\beta=\summe_{i=1}^{n}y_{i}w_{i} [/mm] und interpretieren Sie die Gewichte [mm] w_{i}. [/mm]

e) Welche Schätzfunktion [mm] \hat\beta [/mm] ergibt sich, wenn die Störtermvarianzen konstant sind (z.B. für [mm] z_{1}=\ldots=z_{n}=\overline{z})? [/mm] Wie erzielt der Schätzer [mm] \hat\beta [/mm] seine größere Effizienz bei nicht konstanten Störtermvarianzen?

f) Zeigen Sie allgemein, dass der Erwartungswert des Gradienten der Loglikelihood-Funktion immer gleich Null ist, d.h. weisen Sie [mm] E\vektor{\bruch{\partial{ln{L(\theta)}}}{\partial{\theta}}}=0 [/mm] nach.

Hallo zusammen!

Zunächst würde ich bezüglich dieser Aufgabe den Aufgabenteil b) besprechen wollen. Leider bin ich mir nicht sicher, was genau ich nun tun soll. In meinen Unterlagen finde ich im Kapitel "Maximum Likelihood" unter der Überschrift "Lineares Regressionsmodell" die folgende Loglikelihood-Funktion

[mm] L(\beta,\sigma^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\sigma)}-\bruch{1}{2}\sigma^{-2}\summe_{i=1}^{n}u_{i}^{2}. [/mm]


Allerdings bin ich mir nicht sicher, ob das der richtige Ansatz ist. In jedem Fall könnte man nun die Gleichung aus der Aufgabenstellung durch [mm] u_{i} [/mm] substituieren. Darüber hinaus könnte ich ebenfalls die endogene bzw. heterosekdastische Varianz der Störterme durch [mm] \sigma [/mm] ersetzen. Ich erhalte dann

[mm] L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2}(\alpha{z_{i}})^{-2}\summe_{i=1}^{n}(y_{i}-\beta)^{2}. [/mm]


Wenn ich nun die partiellen Ableitungen nach [mm] \alpha [/mm] und [mm] \beta [/mm] bilde, erhalte ich für [mm] \alpha [/mm] und [mm] \beta [/mm] die folgenden ML-Schätzer

[mm] \hat\alpha=\bruch{1}{|z_{i}|}\wurzel{\summe_{i=1}^{n}(y_{i}-\beta)^{2}} [/mm] und

[mm] \hat\beta=y. [/mm]


Ist das so in Ordnung oder Blödsinn? Vielen Dank im Voraus! Marcel

        
Bezug
Maximum Likelihood: Antwort
Status: (Antwort) fertig Status 
Datum: 21:03 So 05.01.2014
Autor: luis52


>  Ich erhalte dann
>  
> [mm]L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2}(\alpha{z_{i}})^{-2}\summe_{i=1}^{n}(y_{i}-\beta)^{2}.[/mm]
>  
>

Moin, hier ist der Wurm drin, [mm] $z_i$ [/mm] darfst du nicht vor die Summe ziehen.

Bezug
                
Bezug
Maximum Likelihood: Rückfrage
Status: (Frage) beantwortet Status 
Datum: 21:43 So 05.01.2014
Autor: Marcel08

Hallo!

> >  Ich erhalte dann

>  >  
> >
> [mm]L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2}(\alpha{z_{i}})^{-2}\summe_{i=1}^{n}(y_{i}-\beta)^{2}.[/mm]
>  >  
> >
>
> Moin, hier ist der Wurm drin, [mm]z_i[/mm] darfst du nicht vor die
> Summe ziehen.


Mh, okay. Dann versuche ich es wie folgt erneut:

[mm] L(\beta,(\alpha{z_{i}})^{2})=-\bruch{n}{2}{ln(2\pi)}-n{ln(\alpha{z_{i}})}-\bruch{1}{2\alpha^{2}}\summe_{i=1}^{n}\bruch{(y_{i}-\beta)^{2}}{z_{i}^{2}} [/mm]


Man erhält dann

[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{(y_{i}-\beta)^{2}}{z_{i}^{2}}} [/mm]

[mm] \hat\beta=y. [/mm]


Können wir uns darauf einigen? Vielen Dank und viele Grüße, Marcel

Bezug
                        
Bezug
Maximum Likelihood: Antwort
Status: (Antwort) fertig Status 
Datum: 21:54 So 05.01.2014
Autor: luis52


>
> Können wir uns darauf einigen?

Nein koennen wir nicht. Du musst bzgl. [mm] $\alpha$ [/mm] und [mm] $\beta$ [/mm] maximieren. Dann kann  [mm] $\hat\alpha$ [/mm] nicht von [mm] $\beta$ [/mm] abhaengen.


Bezug
                                
Bezug
Maximum Likelihood: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 23:30 So 05.01.2014
Autor: Marcel08

Also ich habe es nochmal durchgerechnet und hatte offenbar auch [mm] \hat\beta [/mm] falsch berechnet. Ich erhalte nochmal zusammengefasst die folgenden ML-Schätzer

[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{(y_{i}-\beta)^{2}}{z_{i}^{2}}}=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{u_{i}^{2}}{z_{i}^{2}}} [/mm] und [mm] \hat\beta=\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}. [/mm]


Das müsste soweit stimmen.


> > Können wir uns darauf einigen?
>
> Nein koennen wir nicht. Du musst bzgl. [mm]\alpha[/mm] und [mm]\beta[/mm]
> maximieren. Dann kann  [mm]\hat\alpha[/mm] nicht von [mm]\beta[/mm]
> abhaengen.


Wie kann ich das Problem der Abhängigkeit [mm] \hat\alpha(\beta) [/mm] beseitigen? Gibt es hier einen "Trick" oder eine wichtige Beziehung, die ich übersehen habe?

Bezug
                                        
Bezug
Maximum Likelihood: Antwort
Status: (Antwort) fertig Status 
Datum: 09:09 Mo 06.01.2014
Autor: luis52


>  Gibt es hier einen "Trick"
> oder eine wichtige Beziehung, die ich übersehen habe?

Ja,

$ [mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{(y_{i}-\red{\hat\beta})^{2}}{z_{i}^{2}}}$. [/mm]

Bezug
                                                
Bezug
Maximum Likelihood: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 12:39 Mo 06.01.2014
Autor: Marcel08


> >  Gibt es hier einen "Trick"

> > oder eine wichtige Beziehung, die ich übersehen habe?
>
> Ja,


Mh, okay. Ist denn [mm] \hat\beta [/mm] richtig berechnet? Und weißt [mm] \hat\beta [/mm] auch eine Abhängigkeit von [mm] \alpha [/mm] auf? Wenn dem nicht so ist, so könnte man [mm] \hat\beta [/mm] an der von dir markierten Stelle einsetzen und das LGS wäre gelöst.

[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{\vektor{y_{i}-\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}}^{2}}{z_{i}^{2}}} [/mm]


Aber irgendwie schaut das nicht schön aus.

Bezug
                                                        
Bezug
Maximum Likelihood: Antwort
Status: (Antwort) fertig Status 
Datum: 13:03 Mo 06.01.2014
Autor: luis52


>
> Mh, okay. Ist denn [mm]\hat\beta[/mm] richtig berechnet?

Ja.

> Und weißt  [mm]\hat\beta[/mm] auch eine Abhängigkeit von [mm]\alpha[/mm] auf?


Nein.

> Wenn dem  nicht so ist, so könnte man [mm]\hat\beta[/mm] an der von dir
> markierten Stelle einsetzen und das LGS wäre gelöst.

Es ist kein LGS, aber egal.

>  
> [mm]\hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{\vektor{y_{i}-\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}}^{2}}{z_{i}^{2}}}[/mm]
>  
>
> Aber irgendwie schaut das nicht schön aus.

Tja, das kann man sich manchmal nicht aussuchen. Ab wann ist denn eine Loesung "schoen"?




Bezug
                                                                
Bezug
Maximum Likelihood: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 13:12 Mo 06.01.2014
Autor: Marcel08


>  
> >
> > Mh, okay. Ist denn [mm]\hat\beta[/mm] richtig berechnet?
>
> Ja.
>  
> > Und weißt  [mm]\hat\beta[/mm] auch eine Abhängigkeit von [mm]\alpha[/mm]
> auf?
>
>
> Nein.
>  
> > Wenn dem  nicht so ist, so könnte man [mm]\hat\beta[/mm] an der von
> dir
> > markierten Stelle einsetzen und das LGS wäre gelöst.
>  
> Es ist kein LGS, aber egal.
>  
> >  

> >
> [mm]\hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}\bruch{\vektor{y_{i}-\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}}}^{2}}{z_{i}^{2}}}[/mm]
>  >  
> >
> > Aber irgendwie schaut das nicht schön aus.
>
> Tja, das kann man sich manchmal nicht aussuchen. Ab wann
> ist denn eine Loesung "schoen"?



In jedem Fall vielen Dank für deine ausdauernde Hilfe.




Bezug
        
Bezug
Maximum Likelihood: Aufgaben d) und e)
Status: (Frage) überfällig Status 
Datum: 19:06 Mo 06.01.2014
Autor: Marcel08

Hallo zusammen!


zu d)

Wir hatten

[mm] \hat\beta=\bruch{\summe_{i=1}^{n}\bruch{y_{i}}{z_{i}^{2}}}{\summe_{i=1}^{n}\bruch{1}{z_{i}^{2}}} [/mm]


Nun soll dieser Ausdruck in den Ausdruck

[mm] \hat\beta=\summe_{i=1}^{n}y_{i}w_{i} [/mm]


umgeformt werden. Welche Beziehung besteht zwischen diesem Ausdruck und den sogenannten "Gewichten" [mm] w_{i}? [/mm] Welche sinnvolle Umformung kann ich in der Schätzfunktion [mm] \hat\beta [/mm] dann noch tätigen?  



zu e)

Nun, wenn die Störtermvarianzen konstant sind, kann ich sie jeweils vor die Summe ziehen, sodass sie sich herauskürzen. Es ergibt sich dann

[mm] \hat\beta=\overline{y}=\mu [/mm]


und

[mm] \hat\alpha=\wurzel{\bruch{1}{n}\summe_{i=1}^{n}(y_{i}-\overline{y})^{2}}=\sigma [/mm]


Es bleibt jedoch die Frage, wie der Schätzer [mm] \hat\beta [/mm] seine größere Effizienz bei nicht konstanten Störtermvarianzen erzielt. Ich bin mir nicht sicher, ob ich mit meiner Vermutung richtig liege, aber hat diese Frage etwas mit der sogenannten "asymptotischen Effizienz"des ML-Schätzers zu tun?


Über hilfreiche Antworten würde ich mich freuen, auch wenn ich an dieser Stelle selber nicht viel zu den Lösungen beitragen kann. Aufgabenteil f) ist zumindest klar.

Bezug
                
Bezug
Maximum Likelihood: Fälligkeit abgelaufen
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 19:20 Mi 08.01.2014
Autor: matux

$MATUXTEXT(ueberfaellige_frage)
Bezug
Ansicht: [ geschachtelt ] | ^ Forum "mathematische Statistik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
ev.vorhilfe.de
[ Startseite | Mitglieder | Impressum ]