Shannon je najmanja mera za količinu informacije i to je količina informacije koju nosi jedan bit (pod uslovom da su podjednake verovatnoće da taj bit ima vrednost 0 ili 1).
Niz od N bita nosi informaciju od N Shanona.

Ahm...Po definiciji:

H(x)=p(x)*log(p(x)) , p(x) je vjerovatnoca pojavljivanja nekog simbola (jedinice ili nule npr. )

E sad, ako je logaritam sa osnovom 2 onda se H(x) predstavlja u bitima, a ako je logaritam sa osnovom e(epsilon) onda se H(x) predstavlja u shenonima. Barem smo tako mi ucili. Sad mene zanima kako da pretvorim to dvoje.

Iskreno, nisam se susretao sa tom definicijom. Znam sa definiciju količine informacija, (ld je logaritam za osnovu 2).

Po ovoj definiciji koju si napisao, bite u Shanone i obratno možeš jednostavno konvertovati korišćenjem osobine logaritma .