Diskussion:Entropie (Informationstheorie)

Im Artikel, Abschnitt 'Interpretation' fehlt was

Dort ist die Rede von H1 die angegeben ist, später wird auf H2 verwiesen und mit H1 verglichen, H2 ist aber nicht angegeben, somit ist ein Verlgeich und Bezug darauf völlig sinnfrei. Ich schlage mal vor, die Autoren sollten den Artikel vorher mit einschlägigen Fachbüchern (Mildenberger, Schulz,...) vergleichen. Vieles im Artikel ist schlecht, widersprüchlich bis grob falsch beschrieben. -- 84.164.32.3 10:53, 24. Mai 2009 (CEST)

Antwort: H2 ist schon angegeben, allerdings nur indirekt. Oben gibts eine Formel, die lautet H_n=..., setzt man nun für das n eine 2 ein (für die Wortlänge 2), so erhält man die Formel für H2. Jedoch sind die Ergebnisse der Formeln falsch. Was ich hierbei bemängeln möchte: für wen soll Wiki eine Informationsquelle darstellen? Für Mathematiker oder Studenten, die den Stoff schon beherrschen, oder für Leute, die sich in die Materie einlesen wollen? Man sollte vielleich beim Erstellen von Artikeln darauf achten, dass man nicht in Fachchinesisch verfällt und zuviel voraussetzt, denn dann kann Wiki auch zumachen, denn Fachbücher für Fachleute gibts genug.. (nicht signierter Beitrag von 92.225.130.93 (Diskussion) 20:38, 5. Mär. 2011 (CET))

Herkunft des Begriffs

Der Begriff "Entropie" wurde 1865 von R. J. E. Clausius in einem thermodynamischen Kontext vorgeschlagen, an das giechische Wort für "Umwandlung" angelehnt und so ähnlich wie "Energie" klingend. (Siehe I. Müller, A Histroy of Thermodynamics, Seite 66). Die Entropie kann in der Thermodynamik nicht losgelöst von Temperatur und Energie betrachtet werden. Eine Erweiterung auf die Informationstheorie (Shannon, "A mathematical theory of communication", Bell Systems Journal 27 (1948) Seiten 379-423, 623-657) erfordert eine informationstheoretische Interpretation der Begriffe "Temperatur" und "Energie". Da es eine Solche nicht gibt ist die Benutzung des Begriffes "Entropie" anstatt "Informationsdichte" bestenfalls irreführend. Siehe hierzu: I. Müller, A Histroy of Thermodynamics, Seite 123.

Shannon oder Bit

Die Einheit der Zufallsinformation in dem Artikel variiert zwischen Shannon und Bit. Man sollte sich auf eine Einheit einigen. Meines Erachtens ist die Einheit bit vorzuziehen. Benutzer:Rho

Auslagerung

Folgende etwas unzusammenhängenden / unklaren Aussagen aus dem Artikel ausgelagert. Haben nur wenig mit informationstheoretischer Entropie zu tun.

Aus Artikel

Die Entropie eines idealen Münzwurfes hat definitionsgemäß die Größe 1 bit. Wenn man einen idealen Münzwurf mehrfach wiederholt, dann addiert sich die Entropie einfach. Die Entropie eine Reihe von 20 idealen Münzwürfen berechnet sich einfach: H = 20 * 1 bit = 20 bit .

Die Entropie eines sicheren Ereignisses ist 0 bit, die Entropie eines unmöglichen Ereignisses ist auch 0 bit, denn in beiden steckt kein Zufall.

Ein sehr einfaches Beispiel der Entropie hat Chaitin geliefert: Chaitins Beispiel für 2 binäre Zahlen mit 20 Stellen

Geordnete Reihe: 10101010101010101010 Zufall = 0, oder fast Null ==> Entropie = 0 oder fast Null. Fast Null deswegen, weil nicht klar ist, ob die erste Position ausgelost wurde.

Ungeordnete Reihe: 01101100110111100010 als Beispiel für eine Zufallsfolge ==> Entropie hoch = 20 bit. Die zweite Reihe wurde mittels mehrfachem Münzwurf erstellt.

In ihrer Bedeutung als mittlerer Informationsgehalt einer Nachricht spiegelt sich das ebenfalls wider: Eine Nachricht über den Ausgang eines sicheres Ereignis enthält keinerlei Information, da dessen Eintreten auch so schon bekannt ist. Die Information über den Ausgang eines Münzwurfes, also eines Ereignisses mit zwei möglichen Ergebnissen, die gleich wahrscheinlich sind, hat eine Entropie von 1 bit.

aus Artikel verschoben

Bilder

• Folgende Bilder stammen von Benutzer:rho und sind frei im Sinne von GNU
• http://www.madeasy.de/2/entrosum.gif
• http://www.madeasy.de/2/entrurne.gif
• http://www.madeasy.de/2/entropq.gif
• http://www.madeasy.de/2/entrohp.gif
  • Paradox ?

--Rrdd 14:17, 21. Jan 2004 (CET)~

oh wie peinlich - muss in der Versions-history natürlich heißen: Revert nach Vandalismus von Benutzer:84.129.46.64 --jmsanta 08:42, 12. Okt 2004 (CEST)

Entropie einer "gegebenen Information"

Die in Wikipedia angebotene Definition von Entropie ist m.E. falsch. Shannon definiert nach meiner Kenntnis an keiner Stelle die Entropie einer "gegebenen Information" H(I), sondern nur die Entropie eines möglichen Ereignisses (H(x), Beispiel: dass *irgendein* Buchstabe aus einem gegebenen Alphabet gesendet wird), und dann, darauf aufbauend, die Entropie einer gesamten Informationsquelle (H, Beispiel: die deutsche Schriftsprache). Immer nur H(ein Buchstabe), aber nicht H(Buchstabe "e"); bzw: H(Deutsche Schriftsrpache), aber nicht H(das Wort "Hallo").

Dem widerspricht ja auch die "Interpretation", die Wikipedia selbst liefert: "Die Zahl H(I) gibt intuitiv die durchschnittliche (!!) Information an, die in einem Symbol der Quelle enthalten ist." Was sollte denn das heißen, wenn H(I) die Entropie einer individuellen Nachricht wäre?

Ich halte das für eines der großen Missverständnisse, die Shannon immer wieder (besonders bei den Kommunikationswissenschaftlern) erzeugt, dass er ein Maß für individuelle Nachrichten, bzw, deren Informationsgehalt definiert hätte.

[email protected]

Ein H(das Wort "Hallo") gibt es selbstverständlich nicht. Jedoch kann der Informationsgehalt des Wortes Hallo bestimmt werden $I(dasWortHallo)=-p_{hallo}\cdot \log _{2}{p_{hallo}}$

Das wäre dann die individuelle Nachricht.

Die Summe der individuellen Informationsgehalte über alle Wörter des Alphabets gleicht dann der Entropie.

Könntest Du Dich damit anfreunden? --80.140.95.205 18:49, 18. Nov 2004 (CET)

Kommentar

Wenn Hallo der mögliche Ausgang eines Zufallsexperiments wäre ,dann wäre

$-\;\log _{2}{p_{hallo}}$

der Informationsgehalt des Ereignisses Hallo. Die Entropie wäre dann der Erwartungswert der Information aller Ereignisse.

Der Punkt auf den Rüdiger wohl hinaus will, ist allerdings ein anderer, zB. sichtbar beim Teil zur Quellenkodierung: dort wird erklärt

1. man hat eine Zeichenkette "ABBCAADA"
2. daraus wird die Häufigkeit der Buchstaben berechnet
3. aus den Häufigkeiten wird die "Entropie" der Zeichenkette bestimmt

Dies ist aber leider nicht richtig (Schritt 3), denn dieser Wert ist nicht die Entropie (!).

Beispiel: Man nehmen eine ideale Münze, so dass p=P(Kopf)=0.5 und q=P(Zahl)=0.5. Die Entropie der Zufallsvariable die diesen Prozess beschreibt, ist offensichtlich 1 Bit. (nach bekannter Formel, man beachte in dieser Formel kommen die Wahrscheinlichkeiten p und q vor). Nun kann man ein paar mal die Münze werfen und erhält zB. KKKZZK. Offensichtlich sind die rel. Häufigkeiten nicht gleich 0.5, das ändert aber nichts daran, dass die Entropie der ZV 1 Bit (pro Symbol) ist. (die relativen Häufigkeiten in einer Sequenz von Münzwürfen sind eben nicht die Wahrscheinlichkeiten p und q) Erst nach sehr vielen Münzwürfen werden die rel. Häufigkeiten gegen 0.5 konvergieren und dann kann mit diesen rel. Häufigkeiten die Entropie der ZV geschätzt werden (das gilt nicht allgemein, sondern nur für bestimmte "Quellenmodelle").

Technischer gesprochen, ist die Entropie eben eine Funktion des zu Grunde liegenden Wahrscheinlichkeitsmaßes der Zufallsvariablen und keine Funktion der Zufallsvariablen selbst (und damit der Realisierungen dieser ZV).

Meiner Ansicht nach, weisen die neueren Beiträge Münzwurf und Idealer Würfel in die richtige Richtung. Vielleicht sollte versucht werden die Entropie mithilfe von einfachen Urnenmodellen zu erklären und möglichst auf technische Begriffe und Formeln zu verzichten.

Steffen

Oma

Hi allerseits,
im Einleitungssatz steht leider keine kurze Erklärung, da steht nur das das ganze unwahrscheinlich schwierig ist, aber dafür ist ne Enzyklopädie nicht da; bin leider kein sooo wahnsinniger expert um das selber korrekt in einen Satz zusammenzufassen, habs versucht, tu mir da aber schwer und WP:OMA auch. greetz vanGore 12:50, 2. Aug 2005 (CEST)

Einfaches Beispiel

Ich störe mich am dem Text für das „einfache Beispiel“ für Entropietests. Zum Einen verstehe ich die Formeln nicht. Vorzeichen fehlt. Warum wird auf dem natürliche Logarithmus bestanden? Nachher wird durch Teilen durch $\ln 2$ der Zweierlogarithmus errechnet.

Ich würde das so formulieren:

Einfaches Beispiel:

Eine Zufallsquelle gebe nur die Bytes 10101010₂ (dezimal 170) und 01010101₂ (dezimal 85) aus und zwar beide mit gleicher Wahrscheinlichkeit. Bitweise ist die Ausgabe zu je 50 % 0 bzw. 1, byteweise ist sie zu je 50 % 10101010₂ bzw. 01010101₂. Die bitweise Entropie ist

$H=-(0{,}5\cdot \log _{2}0{,}5+(1-0{,}5)\cdot \log _{2}(1-0{,}5))=1$

während die byteweise Entropie mit

$H=-(0{,}5\cdot \log _{8}0{,}5+(1-0{,}5)\cdot \log _{8}(1-0{,}5))={\frac {1}{3}}$

deutlich kleiner ist.

Der Achterlogarithmus für das Rechnen mit Bytes fällt hierbei so vom Himmel. Vom Gefühl her ist mir klar, warum man ihn braucht, aber mir fehlen die passenden Worte, es zu erklären. Könnt Ihr das noch besser formulieren?

-- Pemu 04:02, 1. Dez 2005 (CET)

Beispiel Münzwurf

Die Grafik ist ganz falsch. Hier hat jemand einfach ein Parabelstück eingesetzt. Die Ableitung ist jedoch bei p=0 positiv unendlich und bei p=1 negativ unendlich! Einzig, daß das Maximum an der Stelle p=1/2 bei 1 bit liegt, und daß beide Randwerte 0 bit betragen, ist richtig. Es müßte also eher so ähnlich aussehen wie die obere Hälfte einer Ellipse. Dies ist keine Nebensächlichkeit. Bitte korrigieren!!

Sorry, bin da wohl etwas vorschnell gewesen. Der richtige Graph ist natürlich kein Parabelstück, sondern sieht nur so aus. Die besagten Ableitungen sind plus bzw. minus unendlich, "konvergieren" dort am Rand aber unglaublich langsam. Völlig pathologisch ... Die Grafik ist also schon richtig, aber irreführend (dafür kann sie ja nichts). -- B. Klimmek, 16.3.2007 --

Beispiel: Entropiekodierung

Warum werden keine Abstände um die Operatoren bei der Formel „Entropie = ...“ eingefügt? -- Pemu 04:02, 1. Dez 2005 (CET)

Kryptografie

Kann bitte jemand noch was zur Beseutung und Verwendung von Entropy-Berechnungen im Bereich der Kryptografie schreiben. Also zB. dass eine verschlüsselte Information keinerlei Regelmässigkeiten aufweisen sollte, um dem Angreifer keinen Angriffspunkt für Analysen zu liefern. Dankeschön. 84.182.178.145 02:42, 5. Mär 2006 (CET)

Erwartungswert des Informationsgehalts

Wenn ich das richtig verstanden habe, ist die Entropie gleichzeitig auch der Erwartungswert des Informationsgehalts. Das sollte dann im Artikel irgendwo erwähnt werden. Ja, das ist richtig. Sollte erwähnt werden.--Akribix 03:11, 11. Sep 2006 (CEST)

Diese Annahme ist falsch! Weiter unten wird der Originalartikel von Shannon erwähnt. Dort steht auf Seite 10:

"Can we find a measure of how much “choice” is involved in the selection of the event or of how uncertain we are of the outcome? If there is such a measure, say H(p1; p2; … ; pn), it is reasonable to require of it the following properties: …"

Demnach ist die Entropie nach Shannon richtig entsprechend der physikalischen Entropie gewählt. Eine gegebene Botschaft hat aber eine Selektion erfahren. Nur eine aus der gesamten Zahl der Möglichkeiten liegt vor. Anstatt dass sich die Unordnung (oder das Unwissen über die tatsächliche Wahl) ergeben hätte, hat sich eine starke Ordnung, die Festlegung auf die eine Botschaft ergeben. Der Wert der Ordnung entspricht einfach Ihrer Wahrscheinlichkeit und ist bei einer Menge natürlicher Zahlen gleich dem Logarithmus von 1/N, wenn jede gleich wahrscheinlich auftreten kann. Dies ist dann auch der Informationsgehalt. Dieser ist negativ, hat also das umgekehrte Vorzeichen zur Entropie, was wir auch erwarten, wenn wir von Ordnung sprechen. Dieser Vorzeichenfehler ist in vielen wissenschaftlichen Arbeiten verbreitet und liegt an dem verzweifelten Versuch den 2. Hauptsatz der Thermodynamik in jedem Fall zu retten. (nicht signierter Beitrag von Celebleu (Diskussion | Beiträge) 12:52, 18. Jun. 2014 (CEST))

Definition von Entropie

Meines Erachtens ist die erste Formel (1) falsch!!! - und damit auch die zweite Formel (2) obwohl sie math. richtig abgeleitet ist. Beide Formeln können nicht für die Entropieberechnung verwendet werden (siehe auch die Beipiele, denn die verwenden die richtige Formel).

In der Formel (1) muss die Basis des verwendeten Logarithmuses 2 sein. Damit stimmt die Eingangsformel nämlich auch mit der verwendeten Formel in Datenkompression und Entropie Beispiel überein. D.h. also, dass in den Beispielen die richtige Formel verwand wurde, die Definition oben im Dokumement aber falsch ist.

Die richtigen Formeln sind hier nachzulesen: Bitte schaut mal in das englische Wikipedia zu information theory, dort steht die Formel richtig, genau so, wie sie Shannon 1948 veröffentlicht hat. Das Original-Dokument von Shannon gibts hier: [[1]].

Hallo SvHa, bei Formel (1) ist z = 2. Bei Wahl einer anderen Basis kommt ein Faktor dazu, so wie in Formel (2). Findest du, es ist nicht klar genug ausgedrückt? Anton 21:21, 17. Aug 2006 (CEST)

Hallo Anton,

|Z| heißt Betrag |Z| und ist die Anzahl der im Alphabet befindlichen Zeichen und nicht die Art der Kodierung. D.h. die Laufgrenze für die Summe hat nichts mit der Basis des Logarithmus zu tun. Das was dort steht ist nicht unverständlich oder unklar es ist falsch. Es muss in Formel (1) der Logarithmus zur Basis 2 stehen und Formel (2) muss gelöscht werden. Formel (2) ist meines Erachtens überflüssig aber das ist eine andere Baustelle.

Nochmal: |Z| in der Basis des Logarithmus ist falsch. Bitte wirf ein Blick in die Originaldokumente von Shannon oder auf die englische Wikiseite. Die Basis des Logarithmus ist eigentlich frei wählbar und hat nichts mit dem Betrag von Z zu tun. Das steht auf der ersten Seite des Dokumentes von Shannon: The choice of a logarithmic base corresponds to the choice of a unit for measuring information. If the base 2 is used the resulting units may be called binary digits, or more briefly bits, a word suggested by J. W. Tukey. A device with two stable positions, such as a relay or a flip-flop circuit, can store one bit of information. N such devices can store N bits, since the total number of possible states is 2N and log2 2N =N. If the base 10 is used the units may be called decimal digits. Since

Quelle Shannon: http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html

Mit freundlichem Gruß Sven --SvHa 12:53, 18. Aug 2006 (CEST)

Ich sehe es auch so wie du: Für Binäralphabete ist z=2. Ist die Zahl der Symbole aber höher, sollte die Normierung der Maximalentropie auf 1 erhalten bleiben. Im Beispiel 3 ist z=26. Wenn alle Buchstaben gleich verteilt sind, ist p_i=1/z=1/26. Log_z(1/z) = -1, damit ist H(I) in Gleichung (1) gleich 1. Wählt man einen anderen Logarithmus, ändert sich lediglich die Maximalentropie um einen konstanten Faktor. Anton 22:54, 18. Aug 2006 (CEST)

Hallo Anton! Wie ich bemerkt habe, wurde hier schon kräftig diskutiert. Ich muss Sven recht geben. Die Formel $H(I)=-\sum _{j=1}^{|Z|}{p_{j}}\cdot log_{|Z|}({p_{j}})$ ist falsch. Aus mehreren Gründen.

Zum einen, (wie bereits erwähnt wurde), hat |Z| nichts mit der Basis vom Logarithmus zu tun. Die Basis vom Logarithmus sagt uns am Ende welche Einheit unser Ergebnis hat. (das steht auch noch mal im englischen Textabschnitt von Sven) Im Normalfall ist die Basis = 2 und man bekommt bits als Ergebnis. Es ist jedoch ebenso denkbar, dass man Basis = 3 wählt, und in diesem Falls würde man "Triäre Bits" als herausbekommen.

Und weiter schreibst du "sollte die Normierung der Maximalentropie auf 1 erhalten bleiben"? Du meinst Maximalentropie kann nicht größer als 1 werden? Falsch!

Das Beispiel ist aus dem unteren Teil des Artikels kopiert: $p_{B}=0{,}25$; $p_{C}=p_{D}=0{,}125$
$H=(0{,}5\cdot \log _{2}{0{,}5}+0{,}25\cdot \log _{2}{0{,}25}+2\cdot (0{,}125\cdot \log _{2}{0{,}125}))=1{,}75$

Maximalentropie ($p_{A}=p_{B}=p_{C}=p_{D}=0{,}25$):
$H_{max}=-4\cdot (0{,}25\cdot \log _{2}{0{,}25})=\log _{2}{4^{-1}}=\log _{2}{4}=2$ ...und wie man sieht ist hier die Entropie größer 2, und das ist auch sinnvoll. Du willst doch da nichts normieren oder??!

Noch was: $H(I)\,$ ...also Entropie (Einheit: bits) von Information (Einheit: bits). Das geht absolut nicht. Korrekt ist: $H(X)\,$ wobei X eine diskrete Zufallsvariable ist. Auch korrekt wäre $H(p)\,$, wenn p eine Wahrscheinlichkeitsfunktion ist.--Akribix 14:12, 10. Sep 2006 (CEST)

Unärsystem

Den Abschnitt: Eine Information lässt sich mit jedem Alphabet mit mindestens 2 Symbolen darstellen. Weniger übersichtlich auch mit einem Symbol (Unärdarstellung). herausgenommen. Der erste Satz ist eine Wiederholung. Den zweiten Satz hat ein Witzbold hineingeschrieben. Hier meine Begründung, in Unärdarstellung mit dem Zeichen x: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx. Anton 19:05, 9. Sep 2006 (CEST)

Weaver

Sollte nicht Weaver als Mitautor der "Mathematical Theory of Communication" (1948) genannt werden? Bin nur wenig im Thema und kann nicht beurteilen, wer von beiden welchen Anteil hatte, aber zumindest unten in den Literaturangaben werden beide als Autoren angegeben.

Bild von Shannon

Wieso ist denn hier das Bild von Shannon zu finden? Meiner Ansicht nach sollten Portraitbilder von Persönlichkeiten nur in dem Artikel über die Persönlichkeit auftauchen. Sein Aussehen tut für die Entropie nichts zur Sache.

unendliches Alphabet?

In der Definition ist die Rede von einer höchstens abzählbaren Menge Z. Dann wird die Summe von 1 bis |Z| gebildet. Für unendliches Z ist der Summenausdruck undefiniert. Wenn ein Limes gemeint ist, dann sollte man ihn auch explizit hinschreiben.--AlfonsGeser 09:17, 1. Jun. 2008 (CEST)

Da du dich ja offensichtlich damit auskennst, warum schreibst du es nicht gleich in den Artikel? -- sparti 10:12, 1. Jun. 2008 (CEST)

Du schmeichelst mir. Ich kenne weder Shannons originale Definition, noch weiß ich, ob der unendliche Fall wichtig ist. Ich kann nur anbieten, Z erst einmal auf endliche Mengen zu beschränken, damit die Definition für diesen Fall stimmt. Wir warten dann darauf, dass ein Experte vorbeikommt, der den unendlichen Fall richtig abhandelt. Ausführen?--AlfonsGeser 10:38, 1. Jun. 2008 (CEST)

Habe mal Shannon "Communication in the Presence of Noise" nachgelesen. Es handelt sich zwar nicht um den Originalartikel, aber vielleicht umso besser. Den allgemeinen Fall mit analogen Signalen verstehe ich selber noch nicht ganz. Den digitalen Fall habe ich mal so klar wie möglich wiedergegeben.--AlfonsGeser 17:09, 3. Jun. 2008 (CEST)

Überschneidung mit Informationsgehalt

Entropie und Informationsgehalt haben unterschiedliche und klar abgegrenzte Definitionen:

Informationsgehalt: $-\log _{a}(p_{z})$

Entropie: $-\sum _{z\in Z}p_{z}\cdot \log _{2}p_{z}$

Es macht keinen Sinn, beide Artikel zu vereinen nur weil der Informationsgehalt in der Definition der Entropie als Term (mit dem Spezialfall a=2) vorkommt. Viele Gruesse, -- Schwijker 11:47, 12. Mär. 2009 (CET)

Visualisierung bedingter Entropie als Vektorgrafik

Hallo Wikipedianer,

ich habe eine Vektorgrafik-Version eines Venn-Diagramms erstellt, das bedingte Entropie visualisiert. Es gibt davon diverse Versionen in schlechterer Qualität mit JPG-Kompression. Ich habe meine Vektorgrafik gemeinfrei veröffentlicht: Bild auf Wikimedia Commons -- Konrad 13:40, 29. Okt. 2010 (CEST)

Ungenau

Im Artikel steht: Der nicht existente Grenzwert $\lim _{p_{i}\rightarrow 0}p_{i}\cdot \log _{2}p_{i}$ wird als Null definiert.

Das ist nicht ganz korrekt da $p_{i}\in [0,1]$ interessiert nur der Grenzwert von oben $\lim _{p_{i}\searrow 0}p_{i}\cdot \log _{2}p_{i}$ und dieser existiert nach der l'Hospital'schen Regel $\lim _{p_{i}\searrow 0}p_{i}\cdot \log _{2}p_{i}=\lim _{p_{i}\searrow 0}{\frac {\log _{2}p_{i}}{\frac {1}{p_{i}}}}=\lim _{p_{i}\searrow 0}{\frac {\frac {1}{p_{i}}}{-{\frac {1}{p_{i}^{2}}}}}=0.$ -- TillTill 14:24, 15. Dez. 2010 (CET)

Habs angepasst. Geek1337 23:06, 1. Aug. 2011 (CEST)

Habs nochmal präzisiert, auch wenn der Grenzwert existiert, $0\log 0$ gibts eigentlich nicht.--SnowIsWhite 00:23, 2. Aug. 2011 (CEST)

Entropie bei Münzwurf und Würfel irrelevant

Hallo; in einem Artikel über Entropie im Zusammenhang mit der Informationsübertragung haben weder Münzwurf noch Würfel eine Berechtigung. Die Entropie hat keine Verbindung zu Wahrscheinlichkeitsberechnungen, die im Zusammenhang mit z.B. Würfeln durchgeführt werden. Diese Irrelevanz erkennt man auch an den wenig aussagekräftigen Diagrammen, aus denen keinerlei "Information" bzgl. der Zufallsexperimente mit Münzen oder Würfeln herausgelesen werden kann. Um den Artikel zu straffen und dabei übersichtlicher und themenrelevanter zu gestalten, schlage ich vor, die beiden Abschnitte "Beispiel Münzwurf" und "Beispiel idealer Würfel" zu entfernen. Gruß. --Geodel 12:38, 22. Jun. 2011 (CEST)

Wie darf ich das verstehen, Entropie habe keine Beziehung zur Wahrscheinlichkeitstheorie? Die Entropie (im Zusammenhang der Informationstheorie) ist definiert als ein Funktional einer Zufallsvariablen (siehe Definition). Und für eine solche Zufallsvariable ist doch sicherlich der Münzwurf ein gutes Beispiel, oder nicht? --SnowIsWhite 17:48, 22. Jun. 2011 (CEST)

Warum liest du meine Sätze nicht richtig...? Würfeln hat erstens nichts mit Informationsübertragung zu tun; und zweitens spielt die Entropie keine Rolle, wenn es darum geht, Wahrscheinlichkeitsberechnungen beim Würfeln durchzuführen. Drittens ist Entropie als ein Maß für den mittleren Informationsgehalt oder auch als Informationsdichte eines Zeichensystems definiert, und nicht einer beliebigen Zufallsvariablen. --Geodel 23:12, 22. Jun. 2011 (CEST)

Tschuldigung, vielleicht verstehe ich Deine Sätze auch einfach nicht richtig. Erstens: Das Wort Informationsübertragung kommt im Artikel auch gar nicht vor. Zweitens: Ja, aber die Ergebnisse der "Wahrscheinlichkeitsberechnung" eines Würfels sind für die Entropie relevant, die nämlich (drittens) "Entropie einer diskreten gedächtnislosen Quelle (diskreten Zufallsvariable)" ist.

Vielleicht verstehe ich einfach nicht was Du meinst. Wie willst Du denn die Entropie ohne Wahrscheinlichkeitsverteilung definieren? Was genau meinst Du mit Zeichensystem? Gruß,--SnowIsWhite 23:35, 22. Jun. 2011 (CEST)

Auch wenn das Wort "Informationsübertragung" im Artikel nicht vorkommt, geht es bei der (Shannonschen) Informationstheorie im Wesentlichen darum. Das Thema des Artikels ist nicht "Auf welche unterschiedlichen Arten kann ich sowas wie Entropie erzeugen?" sondern welche Rolle Entropie in der Informationstheorie spielt. Dazu werden Alfabete (Zeichensysteme) definiert, mit deren Hilfe Informationstexte erzeugt werden, deren Informationsgehalt gemessen werden soll. Zentrale Begriffe sind hier z.B. "Zeichenketten", "Nachrichten" oder "Komprimierung". Was hat nun z.B. Würfeln mit dieser Thematik zu tun? --Geodel 08:51, 23. Jun. 2011 (CEST)

Sieh Dir die Definition von Entropie in einem beliebigen Lehrbuch zur Informationstheorie (z.N. Cover/Thomas:Elements of Information Theory oder auch Information Theory,Inference,and Learning Algorithms von David MacKay) an. Dort wird Entropie als Entropie einer Zufallsvariablen definiert. Und genau hierfür ist der Münzwurf ein Beispiel, welches in beiden (!) eerwähnten Büchern (und in sicherlich noch einer Menge anderen) behandelt wird.--SnowIsWhite 14:05, 23. Jun. 2011 (CEST)

Ich kritisiere ja nicht, dass Münzwürfe usw. im Artikel an passender Stelle erwähnt werden wie im Abschnitt "Interpretation":"Die Einheit 1 Shannon ist definiert als der Informationsgehalt eines Ereignisses mit der Wahrscheinlichkeit p = 0,5. Ein Beispiel für ein solches Ereignis ist das Ergebnis Kopf eines Münzwurfs." Was mich stört ist die Ausführlichkeit in weit ausholenden Abschnitten, mit der auf Würfel usw. eingegangen wird (Formeln und Diagramme), während Alfabete nur kurz und schwer verständlich erwähnt werden (ohne schön gesetzte Formeln und Diagramme); wo doch mMn solche Zeichensysteme wesentlich wichtiger für die Informationstheorie sind (siehe Einleitung:"Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems."). Im Zusammenhang damit fehlt auch die Untersuchung von natürlich-sprachlichen Wörtern oder Sätzen. Kurz und gut, mir scheint der Schwerpunkt im Artikel nicht richtig gesetzt, so dass man den Eindruck bekommt, dass Informationstheorie sich hauptsächlich mit Münzwurf, Würfel u.ä. beschäftigt. --Geodel 09:55, 24. Jun. 2011 (CEST)

Alles klar, ich hatte Dich so verstanden, daß Du jedwedes Beispiel der Entropie einer Zufallsvariable entfernt haben wolltest - mein Fehler. Ich kenn mich leider mit dem nicht-stochastischen Teil wenig bis gar nicht aus. Aber schreib den Artikel doch einfach um. Er ist sowieso qualitativ (noch) nicht perfekt. Gruß, --SnowIsWhite 14:32, 24. Jun. 2011 (CEST)

Hallo; ich hatte mich anfangs tatsächlich sehr "löschradikal" ausgedrückt, habe jetzt aber eingesehen, dass man mit reinem Kürzen an dieser Stelle den Artikel nicht wirklich verbessern kann. Stattdessen müsste man wohl von der Einleitung ausgehend den Begriff der "Entropie" objektiver fassen. Es geht mMn weniger um den "Informationsgehalt" als um die "Zufälligkeit" von Zeichenquellen und Zeichenketten; der Begriff "Information" ist hier einfach zu schwammig und sollte (ähnlich wie in der Physik) im Zusammenhang mit "Entropie" nur mit Vorsicht verwendet werden. Das hieße, den Artikel an vielen zentralen Punkten umzuschreiben (siehe z.B. "Einleitung" unten). Wäre das auch in deinem Sinne...? Allerdings würde das ein länger andauernder Prozess, weil ich nicht ständig und nur punktuell in Wikipedia aktiv bin. Gruß. --Geodel 18:09, 25. Jun. 2011 (CEST)

Moin, wie gesagt, grundsätzlich stehe ich einer Komplettüberarbeitung positiv gegenüber. Vielleicht könnte man eine neue Fassung erst mal auf einer unserer Benutzerseiten zwischenspeichern und erst dann ersetzen, wenn sie definitv besser ist als die aktuelle Fassung. Was meinst Du? --SnowIsWhite 19:18, 25. Jun. 2011 (CEST)

Okay, ich habe mal den Artikel nach Entropie (Informationstheorie) kopiert, und man kann nun bei Gelegenheit Veränderungen an dieser Kopie tätigen. Vielleicht können ja auch schon einzelne "gelungene" Abschnitte in den Artikel übernommen werden... Danke für die Resonanz und Gruß. --Geodel 17:54, 26. Jun. 2011 (CEST)

Einleitung

"Beide Begriffe haben Gemeinsamkeiten, deren Erkennen allerdings Kenntnisse in beiden Fachgebieten voraussetzt."

persönliche Meinung (allerdings?) oder kann man das detaillieren? Ansonsten wirkt es ziemlich subjektiv und sollte vermieden werden, denke ich. (nicht signierter Beitrag von 109.192.29.34 (Diskussion) 20:11, 24. Jun. 2011 (CEST))

Hallo; wahrscheinlich sollten die ersten Sätze komplett neuformuliert werden, z.B. so:

"Entropie ist ein Maß für den Überraschungswert eines aus einer Zeichenquelle gesendeten Zeichens oder auch für den mittleren Neuigkeitswert eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt und ist eng mit dem Erwartungswert diskreter Zufallsvariablen verknüpft."

Gefällt mir zwar noch nicht 100%-ig, sollte aber nur mal ein Denkanstoß sein. Gruß. --Geodel 18:08, 25. Jun. 2011 (CEST)

Eta für εντροπια?

Für mich ist ε ein Epsilon und kein Eta. Was hat das zu bedeuten? --Chricho ¹ 13:25, 25. Sep. 2011 (CEST)

Sehe ich auch so. Ohne weiterfuehrende Erklaerung sollte das entfernt werden -- Hildensia (Diskussion) 17:49, 26. Jun. 2012 (CEST)

Alphabet

Ich verstehe nicht ganz, was in dem Abschnitt zum deutschen Alphabet gemeint ist, wenn da steht, dass vier Buchstaben eingespart werden könnten. Um die 4.08 bit optimal zu kodieren, braucht man 2^4.08=17 (aufgerundet) Zeichen, also lassen sich 9 Buchstaben einsparen. Die Herumrechnerei, um die Entropie mit der Entropie mit der Entropie pro Zeichen der ursprünglichen Kodierung zu messen, erscheint mir ein wenig unmotiviert. (nicht signierter Beitrag von Kgrill (Diskussion | Beiträge) 22:53, 29. Jan. 2014 (CET))

Abgesehen davon, was hat das mit dem Buchstaben E zu tun? Im Einleitungssatz wird erwähnt dass dieser Buchstabe 7x häufiger als M oder O vorkommt, das wird aber im weiteren Beispiel überhaupt nicht mehr referenziert. Wozu dann diese Einleitung? --2A02:908:1B9:CA00:50FC:194:FFB6:C002 16:55, 13. Okt. 2022 (CEST)

Ich stimme meinen Vorrednern zu. Hier besteht dringender Überarbeitungsbedarf. Es fehlen zudem Quellenangaben. Außerdem macht die zweite Definition der Redundanz wenig Sinn, wenn die Entropie H = 1 oder H = 2 ist. Dann wären die redundanten Zeichen des Alphabets mehr als 26 (N*R/H > N*2/2 = N). --2A02:8109:3140:19C0:8C6C:84C1:858D:4CC4 12:25, 9. Nov. 2022 (CET)

die Aussage "Bei gleichmäßiger Verteilung kann bei einem Alphabet auf kein Zeichen verzichtet werden" stimmt doch so nicht. Ich kann ja schliesslich jeden Text mit bloss "0" und "1" ausdrücken. Dann wird der Text halt länger. Ausserdem macht es doch keinen Sinn die "Entropie pro Zeichen" mit der "Zahl der Zeichen im Alphabet" malzunehmen. Stattdessen sollte man das Beispiel mE wie folgt rechnen: Finde m, so dass $\log _{2}|26-m|=H$ also $m=26-2^{4,0629}\approx 9,3$, d.h., für grosse $N$ hat eine Zeichenkette der Länge $N$ mit gleichverteilten Zeichen aus einem Alphabet mit 17 Zeichen gleichviel Entropie wie ein String der gleichen Länge aus den 26 Buchstaben des Alphabets, die gemäß der im Deutschen üblichen Häufigkeiten auftreten. --Qcomp (Diskussion) 09:56, 11. Nov. 2022 (CET)

Link zum PDF defekt

http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf liefert 404 (konnte leider keine offizielle Alternative finden) (nicht signierter Beitrag von Jaeschke cs (Diskussion | Beiträge) 14:56, 19. Mai 2015 (CEST))

[[2]] scheint zu helfen, aber bitte nochmal prüfen. (Komme ich aus Zeitgründen jetzt nicht zu). --Joerg 130 (Diskussion) 16:21, 19. Mai 2015 (CEST)

Oben von mir genanntes ist offenbar eine überarbeitete Fassung, das Original ist aber wohl unter [[3]], jedoch offensichtlich unvollständig (nur der erste von zwei Teilen). --Joerg 130 (Diskussion) 21:06, 6. Jul. 2015 (CEST)

Interpretation

Die mindestens notwendige Anzahl von Bits, die zur Darstellung der Information (des Textes) notwendig sind, ergibt sich aus dem Produkt des durchschnittlichen Informationsgehalts eines Zeichens H(X) und der Anzahl N einzelner Zeichen im Informationstext (=Alphabetgröße)

ich denke, dass die Anzahl der Bits, die zur Darstellung eines Textes nötig ist, ganz sicher von der Anzahl der verwendeten Zeichen abhängt, während "Informationsgehalt eines Zeichens" und "Alphabetgröße" zweimal dasselbe ist, ich habe es umformuliert. Ra-raisch (Diskussion) 10:39, 18. Jun. 2015 (CEST)

Du hast Recht, die bisherige Fassung ist offensichtlich falsch. Vielen Dank für den Hinweis! Jedoch sind "Informationsgehalt eines Zeichens" und "Alphabetgröße" keineswegs dasselbe, so dass Dein jetziger Vorschlag leider auch falsch ist. Ich vermute, dass die Textstelle auch gar nicht den gesamten Informationsgehalt eines Textes, sondern den Informationsgehalt/Zeichen meint. Ist aber zu lange her, dass ich damit zu tun hatte, so dass ich leider jetzt keinen Alternativvorschlag machen kann. --Joerg 130 (Diskussion) 11:05, 18. Jun. 2015 (CEST)

nunja, dass "Alphabetgröße" reziprok zu "Informationsgehalt eines Zeichens" ist und nicht "gleich" ist schon klar, aber es ist "dasselbe" gemeint, ich wollte eben so wenig wie möglich verändern..... dann mache ich einen neuen Versuch. Insbesondere ist das Wort "verschiedener" Zeichen irreführend, da auch mehrere gleiche Zeichen genauso zählen.Ra-raisch (Diskussion) 16:14, 20. Jun. 2015 (CEST)

hm ja, es war etwas komplizierter, es ist optisch noch nicht optimal, aber inhaltlich dürfte es nun stimmen. Ra-raisch (Diskussion) 16:35, 20. Jun. 2015 (CEST)

nochmal korrigiert, das war wirklich total verwurschtelt. Ra-raisch (Diskussion) 18:14, 20. Jun. 2015 (CEST)

Nicht angemeldete Benutzer kriegen leere Seite ausgeliefert

Mir ist gerade aufgefallen, dass nicht angemeldete Benutzer eine leere Seite angezeigt bekommen. Ich habe es auf zwei Geräten probiert (im Inkognito-Modus, also sind Probleme durch Cache und Cookies ausgeschlossen).

Kann mir das jemand bestätigen? Das sollte behoben werden! Woran kann das liegen?

--phip1611 23:43, 14. Okt. 2015 (CEST)

Einleitender Satz des Punktes "Definition"

Der einleitende Satz es Punktes "Definition" könnte, in Hinsicht auf die Bedeutung des "Alphabets", klarer formuliert sein. Jetzige Form:

Claude Elwood Shannon definierte die Entropie $\mathrm {H}$ einer diskreten, gedächtnislosen Quelle (diskreten Zufallsvariable) $X$ über einem endlichen Alphabet $Z=\{z_{1},z_{2},\dots ,z_{m}\}$ wie folgt: Zunächst ordnet man jeder Wahrscheinlichkeit $p$ eines Ereignisses seinen Informationsgehalt $I(p)=-\log _{2}p$ zu. Dann ist die Entropie eines Zeichens definiert als der Erwartungswert des Informationsgehalts

Das Problem ist hier, dass im Zweiten Satz schon über "Zeichen" gesprochen wird, obwohl diese im ersten Satz nicht definiert wurden. Erst als ich Alphabet nachgeschlagen habe, war mir klar, dass ein Alphabet aus Zeichen besteht. Diese Information ist für das Verständnis der nachfolgenden Formeln aber so Zentral (und bis zu einem gewissen Grad dann auch weiterführend intuitiv), dass sie unbedingt in den Satz integriert werden sollte. Daher würde ich die Formulierung:

…über einem endlichen Alphabet $Z=\{z_{1},z_{2},\dots ,z_{m}\}$, das aus den Zeichen $z_{1},z_{2},\dots ,z_{m}$ besteht, wie folgt…

oder aber

…über einem endlichen, aus Zeichen bestehenden Alphabet $Z=\{z_{1},z_{2},\dots ,z_{m}\}$ wie folgt…

vorschlagen. --Michael Scheffenacker (Diskussion) 17:34, 3. Mai 2017 (CEST)

Ich werde meinen letzten Vorschlag jetzt einarbeiten. --Michael Scheffenacker (Diskussion) 17:47, 13. Mai 2017 (CEST)