relative entropy < Wahrscheinlichkeitstheorie < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 19:29 Do 29.06.2006 | | Autor: | Katya |
| Aufgabe |
Berechnen Sie die relative Entropie der Wahrscheinlichkeitsverteilungen
p = ( 1/2 , 1/2 ), q = ( 1/3 , 2/3 ).
|
Ich habe diese Frage in keinem Forum auf anderen Internetseiten gestellt.
Könnt ihr mir bitte helfen
Ich habe folgende Formel der relativen Entropy gefunden:
D(p||q) = [mm] \summe_{x\in X}p(x) [/mm] log p(x)/q(x)
Dafür brauche ich also die 'probability mass functions'. Die wären dann: 1/2, 1/2 und 2/3, 1/3. Jetzt verstehe ich aber nicht wie ich diese Werte in die Formel eingeben muss: Was ist jetzt in der Formel p(x) ?
Im ersten Fall könnte ich noch darauf kommen, dass p(x) = 1/2
was mache ich dann im zweiten Fall? q(x) = 2/3 oder q(x) = 1/3?
Wie soll es gehen?
Danke
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 20:16 Do 29.06.2006 | | Autor: | Walde |
Hi Ekaterina,
also ich habs ![[]](/images/popup.gif) hier nachgelesen und folgendermassen verstanden:
Du hast [mm] p=(p_1,p_2)=(\bruch{1}{2},\bruch{1}{2}) [/mm] und [mm] q=(q_1,q_2)=(\bruch{1}{3},\bruch{2}{3})
[/mm]
und [mm] D(p||q)=\summe_{k}^{}p_k*\log_2(\bruch{p_k}{q_k})
[/mm]
In der Wikipedia hab ich eine Formel gefunden, wo der [mm] \log [/mm] nicht zur Basis 2 war und eine Version mit [mm] \ln [/mm] hab ich auch gefunden, also welche jetzt stimmt oder ob es egal ist, weiss ich nicht. Nimm einfach die aus deiner Vorlesung. Aber so setzt man in die Formel ein:
[mm] D(p||q)=p_1*\log_2(\bruch{p_1}{q_1})+p_2*\log_2(\bruch{p_2}{q_2})
[/mm]
und dann einfach die Zahlen einsetzen.
Hoffe das hat dich ein bisschen weitergebracht.
L G walde
|
|
|
| |
|
| Status: |
(Frage) überfällig  | | Datum: | 14:03 Fr 30.06.2006 | | Autor: | Katya |
Danke vielmals für die Antwort. Sie hat mir sehr geholfen. Mit dem Sigma-Zeichen bin ich ja nicht gerade befreundet.
Jetzt ist das bei der Entropy normal, wenn ich bein Berechnen einen negativen Wert bekomme? Was bedeutet dann dieser negative Wert?
Danke
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 07:19 Sa 01.07.2006 | | Autor: | Walde |
Hi Ekaterina,
tut mir leid, von dem informationstechnischen Hintergrund, hab ich keine Ahnung. In der Wikipedia stand was dazu. Es hat, glaube ich, was mit Bitverschendung (quasi Platzverschwendung) zu tun, wenn man eine Kodierung, die nach q kodiert ist auf Ereignisse anwendet,die sich aber mit W'keiten nach p ereignen. Aber welche Zahl was bedeutet, weiss ich nicht.
L G walde
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 14:20 So 02.07.2006 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
|
