0000035 (14)
W każdej odpowiedzi była zawarta jedna dwójkowa jednostka informacji, a ponieważ 64 = 2®, to łączna ilość informacji (którą określa wykładnik potęgi) wynosiła 6 bitów.
Przy zdarzeniach niejednakowo prawdopodobnych (np. przy niejednakowej częstości ich występowania) ilość informacji przypadających na sygnał można obliczyć, według wzoru podanego przez Shannona:
1= —Pi logzPi-PilogzPt... -p„\ogipn
lub
i=i
gdzie Pi,p» .../?„ oznaczają prawdopodobieństwa poszczególnych zdarzeń. Istnieje pewna analogia między wyrażeniem 7.3. określającym ilość informacji a wzorem na entropię podanym przez Boitzmanna.
Tak jak entropia jest miarą nieuporządkowania układu, tak informacja jest miarą nieokreśloności, dlatego też przyjęto średnią ilość informacji I nazywać entropią H zbioru zdarzeń, czyli I = II, wtedy
H = —Z Pi]°S2Pi 7A
1 = n
Zastanawiając się nad tym sformułowaniem matematycznym nietrudno uznać jego celowość. Gdyby układ znajdował się w stanie ściśle określonym, to wartość prawdopodobieństwa p równałaby się jedności; ale logarytm z jedności jest równy zeru, co dałoby nam po wstawieniu do wzoru H — —pl log.,/?! =1x0 = 0. Z tego wynika, że gdy zjawisko jest pewne — to znaczy zdarzenie przyjmie jedną jedyną postać, to entropia ma wartość zerową. Wzór 7.4 można zilustrować następująco: jeśli układ może się znajdować w różnych stanach z niejednakowymi prawdopodobieństwami, to ilość informacji dotycząca stanu rzadziej spotykanego jest większa niż ta, która dotyczy stanu spotykanego częściej. Nawet bez dokładnego rachunku zauważyć to możemy na następującym przykładzie: jeśli na 100 obserwowanych przypadków określonej choroby 97 przebiega bez powikłań, a 3 z komplikacjami (na które przede wszystkim zwrócona zostanie nasza uwaga),
97 3
to prawdopodobieństwa obu stanów wynoszą yyy^ dla pierwszego i -y^ dla drugiego.
97 97
Stosując wzór 7.4 na ilość informacji musielibyśmy porównać wyrażenie — -yy- log, yyy-
z wyrażeniem--yyy log, -yyy ; przekonalibyśmy się że wyrażenie pierwsze jest mniejsze
od drugiego, to znaczy charakteryzuje się mniejszą ilością informacji. Warto w'ięc zapamiętać, że entropia ma wartość maksymalną, gdy zjawisko jest najbardziej niepewne, a będzie to miało miejsce, gdy prawdopodobieństwa poszczególnych zdarzeń są sobie równe.
7.3. Przekazywanie informacji
Ze względu na zazwyczaj różne właściwości fizyczne generatora informacji (źródła), kanału łączności, jak też odbiornika, realizacja przekazywania informacji wymaga transformowania jej w procesie nazywanym kodowaniem (lub dekodowaniem). Celem kodowania
135
Wyszukiwarka
Podobne podstrony:
0000037 (14) cji. Mówimy, źe mamy do czynienia z nadmiarowością informacji, nazywaną inaczej redunda
0000038 (14) Z krzywej tej widać, że istnieje pewien zakres napięć dla danego licznika (na krzywej z
1. Zaznacz poprawna odpowiedz . UWAGA!!! Tylko JEDNA odpowiedź jest prawidłowa. 1.
1. Zaznacz poprawna odpowiedź . UWAGA!!! Tylko JEDNA odpowiedź jest prawidłowa. 1. How are you? a)
1. Zaznacz poprawna odpowiedź . UWAGA!!! Tylko JEDNA odpowiedź jest prawidłowa. How many toes have t
14. Warunki odpowiedzialnego i godnego umierania Przedmiot: Badania fizykalne: 1.
ScannedImage 13 maga ci napełnić żołądek, ale nie, odpowiedź była typowa1 dla Ików: dobry człowiek t
page0216 2 14 PLATON. kolwiek była, nieznacznie zbiednieć, bo jak każdy afekt, tak ona także potrzeb
więcej podobnych podstron