Cybernetyka - wprowadzenie
Kierunki
Ä„ð Teoretyczny
Ä„ð Biologiczny
Ä„ð Techniczny
S3
Ä„ð Ekonomiczny
S1, S2, S3,
Ä„ð Medyczny
S4, S5, S6,
lð Fizjologia cybernetyczna
lð Neurocybernetyka
S7, S8
lð Cybernetyka
psychologiczna
Przesłanie sygnału wiąże się
lð Bionika
z dokonaniem wyboru, czyli ze
zlikwidowaniem stanu niepewności
" Informacja wiąże się
1
z prawdopodobieństwem wyboru sygnału: I = - log2 = 3
8
" Bit to ilość informacji koniecznej do dokonania wyboru między
dwoma jednakowo prawdopodobnymi, ale wzajemnie
wykluczajÄ…cymi siÄ™ zdarzeniami
Ilościowe ujęcie informacji
Prawdopodobieństwo zlokalizowania pionka
1 1
P =
I =- log2 16= 4
16
1,2
1,1
1,0
0,9
0,8
Zmiana entropii jako funkcji
0,7
prawdopodobieństwa wystąpienia
0,6
0,5
dwóch możliwych, ale wzajemnie
0,4
wykluczających się stanów układu
0,3
0,2
0,1
0,0
0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
Prawdopodobieństwo
Entropia
Definicje pojęć z teorii informacji - I
Ä„ð Pojemność informacyjna ukÅ‚adu: N = mn
Kod składa się z m wyrazów, a wiadomość może być przesłana przez n sygnałów
Ä„ð Pojemność informacyjna pamiÄ™ci: Q = n·logam
W rzeczywistości tylko niektóre z kombinacji symboli są dopuszczalne (mają sens)
Ä„ð W zdarzeniach niejednakowo prawdopodobnych, ilość informacji
przypadająca na sygnał:
I = -P1 ·log2P1 P2 ·log2P2 & -Pn ·logPn (bitów/sygnaÅ‚)
Ä„ð Zmiana entropii zbioru zdarzeÅ„
S = -P1 ·log2P1 P2 ·log2P2 & -Pn ·logPn
Ä„ð Informacja jest miarÄ… nieokreÅ›lonoÅ›ci, a entropia miarÄ…
nieuporzÄ…dkowania (gdy zjawisko jest pewne ( P = 1) to zdarzenie
przyjmie jedyną postać, a entropia ma wartość równą 0
Definicje pojęć - II
S1
h =
Ä„ð WzglÄ™dna entropia:
S0
S1 wartość entropii dla danej wiadomości
S0 wartość maksymalna entropii
Odwrotność entropii względnej podaje ile razy można zmniejszyć
pojemność informacyjną układu potrzebną do zakodowania wiadomości
o entropii S1, jeśli przy takich samych wyrazach kodu, użyć kodu
optymalnego
S0 S1
D = S 0 = 1 h
Ä„ð Nadmiar informacji (Redundancja):
Jest to stopień niewykorzystanej pojemności informacyjnej
Przykładem alfabet (32 litery wyrazy kodu mowy)
lð S0 = 5 bitów/znak
lð S1 = 4 bity/znak (Po uwzglÄ™dnieniu czÄ™stoÅ›ci wystÄ™powania liter
lð Nadmiar informacji w tym przypadku 20%
Ä„ð Kod informacyjny
lð CiÄ…gÅ‚y
lð Ziarnisty (dyskretny)
Pojęcie kodu optymalnego
Ä„ð Kodowanie informacji kodem dwójkowym
Układ A Układ B
0011 0001
0101 0010
1001 0100
0110 1000
1010
1100
Ä„ð Dopuszczalne wiadomoÅ›ci o stanie obu ukÅ‚adów
lð Pojemność pamiÄ™ci ukÅ‚Ä…dów: QA = QB
Q = n ·log2m = 4 log22 = 4 bity
P0A, P1B prawdopodobieństwa wystąpienia 0 i 1
2 1
P0A = P1A = 4 2
=
lð W ukÅ‚adzie A:
lð W ukÅ‚adzie B:
1
P0B = 3 P1B =
P0B = P1B,
4 4
Kod optymalny - II
Entropia dla wiadomości o stanie
lð UkÅ‚adu A
1 1
SA1 = -( Log2 1 + log2 1 ) = 1 bit/sygnał
2 2 2 2
lð UkÅ‚adu B
1 3
SB1 = -( Log2 1 + log2 3 ) = 0.811 bita/sygnał
4 4 4 4
lð Entropia Maksymalna dla obu ukÅ‚adów
SA0 = SB0 = Log2m = Log22 = 1 bit/sygnał
lð Dla Entropia wzglÄ™dna i nadmiar informacji
układu A Dla układu B
hB = S B1 = 0.811
hA = S A1 = 1
SB0
SA0
DA = 0 DB = 0.189
Kodowanie informacji
A
A
Kod amplitud
Kod przedziałów
t
t
A
A
Kod dwójkowy
Kod częstości
t
t
Przepływ informacji
S(X) > S(Y)
X Kanał łączności Y
C D
Szumy
S(X) S(X/Y) [Bit]
Prędkość przesyłania informacji: V =
t [s]
S(X) entropia bezwarunkowa zródła
Czytanie 45 bitów/s
S(X/Y) entropia warunkowa zródła
Pisanie 16 bitów/s
Wyliczanie 3 bity/s
Kodowanie i przepływ informacji w
organizmie
Przetwarzanie informacji
" analogowe wszystko albo
nic cAMP, Ca2+, NO
" cyfrowe
Sygnał ciągły po przekroczeniu
wartości progowej generuje
serię następnych sygnałów
" analogowo-cyfrowe
Wartość potencjału
generujÄ…cego receptora jest
wprost proporcjonalna do
logarytmu siły działającego
bodzca
Informacja o sile bodzca
Sterowanie a regulacja
Funkcja przenoszenia
Zależność między wejściem i wyjściem układu
Sprzężenie zwrotne
" dodatnie reakcje kaskadowe
" ujemne stabilizuje układ
Elementy pętli sprzężenia zwrotnego
Układ regulujący
Sprzężenie zwrotne
Układ regulowany
Czynniki zakłócające
Układy oscylacyjne
Ä„ð W ukÅ‚adach
inercyjnych sygnały
wejściowe x są
transformowane na inne
y kosztem energii
układu.
Ä„ð W ukÅ‚adach
oscylacyjnych elementy
nie tylko wytracajÄ…
energię ale mogą też
chwilowo jÄ…
magazynować jako
energiÄ™ potencjalnÄ…
Układy takie mają oprócz współczynnika tłumienia
także częstość oscylacji (w = 2p/T)
Funkcje przenoszenia - statyczne i
dynamiczne
Równowaga
" Funkcja przenoszenia y = f(x) Funkcja przenoszenia o charakterystyce
o charakterystyce statycznej dynamicznej- układ inercyjny I rzędu,
" Wzmocnienie lub tłumienie zmiana w reakcji na bodziec = y = yo(1- e-(t/A))
układu: tga = G A = stała czasowa - określa czas narastania
wielkości do wartości yo = Gxo
Połączenie szeregowe dwóch układów daje układ inercyjny II
rzędu, a n układów - n rzędu
Układ samoczynnie regulujący się
Zakłócenie
Y
X X
Obiekt regulowany
+/-
wyjście
Wejście
Receptor Pamięć
Energia
Efektor
X
Wzmacniacz Komparator Wzorzec
DY/DX wzmocnienie G pętli
1/(1+G) współczynnik niwelacji
Schemat krzepnięcia krwi jako przykład
układu z wieloma pętlami sprzężenia
zwrotnego
Entropia a informacja
Demon Maxwella
Ä„ð InformacjÄ™ można
przekształcić w
entropiÄ™ i odwrotnie
Ä„ð Gdy powiÄ™kszamy
wiedzę o układzie,
entropia układu lub
otoczenia rośnie
Entropia a informacja
S = k lnZ I = -log2Z
S = k 2,3 Log10Z
S = k 2,3 0,3 log2Z
S = k 2,3 0,3 I
Ponieważ k = 1,38x10-23 [J/0K]
S = 1,38x10-23 2,3 0,3 [J/0K] I
S = 0,9522x10-23 [J/0K] I
[S] = [J/0K]
gdy I = 1 bit to S = 0,95x10 23 [J/0K]
Wyszukiwarka
Podobne podstrony:
pytania egzaminacyjne do wykladu teoriakultuywyklad teoria podejmowania?cyzjiProgCPP Wyklad Teoria 2wyklad 7 teoria post modernistycznawyklad teoria masowej obslugiW3 Teoria informacji i kodowanie Podstawy teori informacji 2gWykład nr 1 InformatykaWyklad 3 Ochrona informacjiwyklad 8 teoria wyboru racjonalnegowyklad teoriagier (2)wyklad 4 teoria polityki biurokratycznej5 Wyklad TeoriaZlozonosciwyklad 6 teoria zarzadzania publicznegoEntropia (teoria informacji)wyklad 1 podstawowe informacje o przedsiebiorstwie [tryb zgodnosci]Informatyka teoria informatykawięcej podobnych podstron