Rényi-Entropie

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als:

Hierbei ist X eine Zufallsvariable mit Wertebereich {x1, x2 ... xn} und pi die Wahrscheinlichkeit, dass X=xi. Wenn die Wahrscheinlichkeiten pi alle gleich sind, dann ist Hα(X)=log2 n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.

Nähert sich die Grenze von gegen 1 (L’Hospital) so ergibt sich:

das der „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

das der „Korrelationsentropie“ entspricht. Der Grenzwert von für ist

und wird auch Min-Entropie genannt, da es der kleinste Wert von ist.

Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der fraktalen Dimension.

  • Dieter Masak: IT-Alignment. IT-Architektur und Organisation, Springer Verlag, Berlin / Heidelberg 2006, ISBN 978-3-540-31153-9.
  • Lienhard Pagel: Information ist Energie. Definition eines physikalisch begründeten Informationsbegriffs, Springer Fachmedien, Wiesbaden 2013, ISBN 978-3-8348-2611-4.