100 éve született az információelmélet megalkotója

Claude Elwood Shannon amerikai híradástechnikus és matematikus, az információelmélet megalapítója a Michigani Egyetemen végzett. 1941 és 1956 között a Bell Telephone Laboratories cégnél kutató matematikus volt.

Az információelmélet legalapvetőbb törvényeit fedezte fel, általában tapasztalati úton. Később tételeit matematikailag is igazolták más matematikusok (például Kolmogorov, Fagyejev, Hincsin).

https://vimeo.com/98345492

Fő műve, A kommunikáció matematikai elmélete (Mathematical Theory of Communication) című munkája, 1948–49-ben jelent meg. Alapvető eredménye a Shannon-entrópia fogalmának bevezetése.

Claude Elwood Shannon, az információelmélet megalkotója a következő egyenlettel írta le az információtartalmat:

$H = k\cdot \log _{a}(1/p)$

ahol k a jelkészletből felhasznált jelek száma, p a jelkészletből 1 jel kiválasztásának valószínűsége.

Ha a különböző jelek kiválasztásának valószínűségei nem azonosak, a Shannon-féle entrópiát kell használni.

Tételezzük fel, hogy egy n elemű X jelhalmaz (például egy független komplett üzenetekből álló készlet) x₁, x₂, … x_n elemei rendre p₁, p₂, … p_n valószínűséggel fordulnak elő, ekkor az egyedi információmennyiségek, azaz log₂ (1/p_i) várható értéke definíció szerint:

H \left( x_{1} , x_{2} , ... , x_{n} \right)

:=

\sum_{i=1}^{n} p(x_{i}) \log _{2} \frac{1}{ p \left( x_{i} \right) }

ahol összegezni kell i=1-től n-ig. H a Shannon-féle entrópia, ezt tekintjük az üzenet információjának. A képlet formailag hasonló a statisztikus fizika entrópia képletéhez.^[