T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
1 . W s t p
D o n a j b a r d z i e j p o d s t a w o w y c h z a d a D w s p Bc z e s n e j t e c h n i k i m o |n a z a l i c z y
p r z e k a z y w a n i e i n f o r m a c j i w c z a s i e ( s y s t e m y p r z e c h o w y w a n i a i n f o r m a c j i ) o r a z w p r z e s t r z e n i
( s y s t e m y t e l e k o m u n i k a c y j n e ) . W d r u g i m p r z y p a d k u p r z e k a z y w a n i e i n f o r m a c j i u m o |l i w i a j
k a n a By t r a n s m i s y j n e . N a t o m i a s t w p i e r w s z y m z a k a n a B m o |n a u w a |a [r o d k i s Bu |c e d o
p r z e c h o w y w a n i a i n f o r m a c j i .
A b y d a n w i a d o m o [ p r z e s Ba i p r z e k a z a p o p r z e z k a n a B, r o z u m i a n y t u t a j w s z e r o k i m
s e n s i e , n a l e |y j p r z e d s t a w i w f o r m i e s t o s o w n e j d o n i e g o .
R o z w a |m y n a p o c z t k u o g l n y s y s t e m p r z e s y Ba n i a i n f o r m a c j i , p r z e d s t a w i o n y n a
r y s u n k u 1 . 1 .
1 . 1 O g l n a s t r u k t u r a s y s t e m u ( o t w a r t e g o ) p r z e s y Ba n i a i n f o r m a c j i .
O m w i m y t e r a z k o l e j n o p o s z c z e g l n e e l e m e n t y t e g o s y s t e m u .
yr d Bo w i a d o m o [c i
P r z e z zr d Bo w i a d o m o [c i r o z u m i e m y o b i e k t , k t r y w y t w a r z a w i a d o m o [c i o r a z p o d a j e j e w
c e l u w y k o n a n i a n a d n i m i p e w n y c h c z y n n o [c i . N a j i s t o t n i e j s z c e c h c h a r a k t e r y z u j c zr d Bo
w i a d o m o [c i ( S ) j e s t z b i r w i a d o m o [c i o r a z i c h r o z k Ba d p r a w d o p o d o b i e Ds t w a . Z e w z g l d u n a
z b i r w i a d o m o [c i , zr d Ba d z i e l i m y n a :
- z i a r n i s t e ( d y s k r e t n e ) z b i r w i a d o m o [c i j e s t s k o Dc z o n y ( z a w i e r a N e l e m e n t w ) l u b
n i e s k o Dc z e n i e p r z e l i c z a l n y ( r w n o l i c z n y z e z b i o r e m l i c z b a n a t u r a l n y c h ) .
- c i g Be z b i r w i a d o m o [c i j e s t n i e p r z e l i c z a l n y , a l e o g r a n i c z o n y .
P r z y k Ba d e m zr d Ba z i a r n i s t e g o j e s t k o Dc w k a d a l e k o p i s u , k t r a g e n e r u j e c i g i s y g n a B w o
d w c h c h a r a k t e r y s t y c z n y c h c e c h a c h . N a t o m i a s t p r z y k Ba d e m zr d Ba c i g Be g o j e s t p r z y r z d
p o m i a r o w y , n p . a m p e r o m i e r z , k t r y p o k a z u j e w a r t o [c i p r d u w z a k r e s i e o d z e r a d o 5 A .
W p r z y p a d k u zr d Ba c i g Be g o i s t n i e j e m o |l i w o [ z a m i a n y c i g Be g o z b i o r u n a
d y s k r e t n y , p r z y c z y m i m l i c z n o [ z b i o r u d y s k r e t n e g o j e s t w i k s z a t y m t o o d w z o r o w a n i e j e s t
d o k Ba d n i e j s z e . N p . r o z w a |m y p r z e b i e g i n a r y s . 1 . 2 .
1
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
R y s . 1 . 2 P r o c e s d y s k r e t y z a c j i zr d Ba
P r o c e s z a m i a n y z b i o r u c i g Be g o n a d y s k r e t n y z a c h o d z i w u r z d z e n i u k w a n t u j c y m .
W p r a k t y c e t e g o t y p u k o n w e r s j a c z a s a m i o k a z u j e s i b a r d z o p o |y t e c z n a . W d a l s z y c h
r o z w a |a n i a c h b d z i e m y s i z a j m o w a j e d y n i e zr d Ba m i d y s k r e t n y m i .
Z e w z g l d u n a r o d z a j r o z k Ba d u p r a w d o p o d o b i e Ds t w a zr d Ba m o |n a p o d z i e l i n a :
- d e t e r m i n i s t y c z n e w w c z a s w i a d o m o , j a k a w i a d o m o [ z o s t a Ba n a d a n a i z a t e m
s y s t e m p r z e s y Ba n i a i n f o r m a c j i n i e j e s t k o n i e c z n y . O c z y w i [c i t a k i p r z y p a d e k n a s n i e
i n t e r e s u j e .
- p r o b a b i l i s t y c z n e t z n . t a k i e , k t r e w y t w a r z a j w i a d o m o [c i w s p o s b l o s o w y . T a k i e
zr d Ba n a s t y l k o i w y Bc z n i e i n t e r e s u j .
yr d Bo p r o b a b i l i s t y c z n e m o |n a m o d e l o w a g e n e r a t o r e m l o s o w y m w i a d o m o [c i , k t r e j e
g e n e r u j e w g . p e w n e g o r o z k Ba d u p r a w d o p o d o b i e Ds t w a . T a k i r o z k Ba d p r a w d o p o d o b i e Ds t w a
m o |n a w y z n a c z y :
- a p r i o r i t z n . n a d r o d z e t e o r e t y c z n y c h r o z w a |a D
- a p o s t e r i o r i t z n . n a d r o d z e e k s p e r y m e n t a l n e j .
P r z y k Ba d 1 . M o |n a z a Bo |y , |e l i t e r y w y s t p u j c e w j z y k u p o l s k i m s w i a d o m o [c i a m i , k t r e
w y s t p u j z p e w n y m i c z s t o [c i a m i .
N a j c z [c i e j w y s t p u j : A ( o k . 8 , 5 % ) , I ( 7 , 9 % ) , E , O ( 7 , 8 % ) .
N a j r z a d z i e j w y s t p u j l i t e r y : y ( 0 , 1 % ) , F , C ( 0 , 2 % ) .
8 . 5 4 . 3 2 . 3 1 . 0
A R U
7 . 9 4 . 0 2 . 2 1 . 0
I T J {
7 . 8 4 . 0 2 . 1 0 . 9
O Y A
7 . 8 3 . 8 2 . 0 0 . 7
E C L Z
5 . 6 3 . 6 1 . 6 0 . 4
Z K G
5 . 2 3 . 3 1 . 5 0 . 2
N D B F
5 . 1 3 . 0 1 . 3 0 . 2
S P C
4 . 6 2 . 8 1 . 2 0 . 1
W M H y
M o |e s i z d a r z y , |e z b i r w i a d o m o [c i d y s k r e t n y c h s k Ba d a s i z c i g w w i a d o m o [c i
e l e m e n t a r n y c h . W w c z a s m o d e l e m t a k i e g o c i g u w i a d o m o [c i j e s t c i g d y s k r e t n y c h
z m i e n n y c h l o s o w y c h ( Ba Dc u c h l o s o w y ) .
2
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
J e |e l i r o z k Ba d p r a w d o p o d o b i e Ds t w a j e s t s t a By w c z a s i e t o m w i m y , |e zr d Bo j e s t
s t a c j o n a r n e . J e |e l i n a d a n e w i a d o m o [c i z a l e | o d s k o Dc z o n e j l i c z b y w i a d o m o [c i n a d a n y c h w
p r z e s z Bo [c i t o m w i m y , |e zr d Bo m a s k o Dc z o n p a m i . D o t e o r e t y c z n e g o o p i s u t a k i c h
zr d e B p o s Bu g u j e m y s i p r o c e s a m i M a r k o w a .
K o d e r zr d Ba ( K S )
Z w y k l e n i e p r z e s y Ba s i k a n a Be m s y g n a B w , k t r e s o d w z o r o w a n i a m i w s z y s t k i c h w i a d o m o [c i
z e zr d Ba S . N a j c z [c i e j w i a d o m o [c i s z a m i e n i a n e n a c i g i s y g n a B w e l e m e n t a r n y c h , z w a n e
d a l e j c i g a m i k o d o w y m i . Z b i r s y g n a B w e l e m e n t a r n y c h b d z i e m y n a z y w a a l f a b e t e m .
O p e r a c j p r z y p o r z d k o w u j c p o s z c z e g l n y m w i a d o m o [c i o m r |n e c i g i k o d o w e n a z y w a m y
k o d o w a n i e m . P o j c i a t e u [c i [l i m y p o t e m .
M o |n a z a d a p y t a n i e , p o c o t a k z a m i a n s t o s o w a . M a t o n a c e l u z a p e w n i :
1 ) p r o s t o t ,
2 ) p e w n o [,
3 ) e f e k t y w n o [
u r z d z e D k o n i e c z n y c h d o t r a n s m i s j i i n f o r m a c j i , p r z y c z y m n i e b i e r z e m y p o d u w a g
s t a t y s t y c z n y c h w Ba [c i w o [c i zr d Ba o r a z z a k B c e D w y s t p u j c y c h w k a n a l e t r a n s m i s y j n y m .
K o d e r zr d Ba ( K S ) s t o s o w a n y j e s t w c e l u t a k i e g o z a k o d o w a n i a i n f o r m a c j i , a b y c i g i
k o d o w e m i a By j a k n a j m n i e j s z d Bu g o [ ( d Bu g o [ = l i c z b a l i t e r ) . W p r z y p a d k u b r a k u z a k B c e D
w k a n a l e t r a n s m i s y j n y m , k o r z y [c i j e s t z m n i e j s z e n i e [r e d n i e g o c z a s u p o t r z e b n e g o d o
t r a n s m i s j i c i g u k o d o w e g o . O c z y w i [c i w p By w a t o n a o s z c z d n o [ u r z d z e D p a m i t a j c y c h , a
w i c n a e f e k t y w n o [ s y s t e m u .
K o d e r k a n a Bu ( K K )
K o d e r k a n a Bu m a n a c e l u t a k i e o d w z o r o w a n i e w i a d o m o [c i , k t r e z a p e w n i Bo b y |d a n
p e w n o [ j e j t r a n s m i s j i l u b p r z e c h o w y w a n i a p r z e z w p r o w a d z e n i e n a d m i a r u . T e g o t y p u
k o d o w a n i e p r z e p r o w a d z a n e j e s t w e d Bu g p r o s t y c h a l g o r y t m w p r z y u w z g l d n i e n i u s t a t y s t y k i
z a k B c e D w y s t p u j c y c h w k a n a l e t r a n s m i s y j n y m . T e g o t y p u k o d o w a n i e n a z y w a m y
n a d m i a r o w y m l u b p r o t e k c y j n y m ( z a b e z p i e c z a j c y m ) . J e m u b d z i e p o [w i c o n a g B w n a
u w a g a .
O g l n i e o b a k o d e r y , t j . K Z i K K w y s t p u j w s y s t e m a c h t e l e t r a n s m i s y j n y c h i
n a z y w a m y j e k o d e r e m K ( r y s . 1 . 3 ) .
K Z K K
K o d e r K
R y s . 1 . 3 S t r u k t u r a k o d e r a K
M o d u l a t o r M
S y g n a By z k o d e r a n i e z a w s z e s s y g n a Ba m i , k t r e s o d p o w i e d n i e d l a d a n e g o k a n a Bu
l u b m o g Ba t w o u l e g a w n i m z n i e k s z t a Bc e n i u . W z w i z k u z t y m i s t n i e j e p o t r z e b a
p r z e k s z t a Bc e n i a t y c h s y g n a B w n a i n n e , k t r e w y k a z y w a By b y s i c e c h a m i p r z e c i w n y m i d o
p o d a n y c h . N p . w r a d i o f o n i i s t o s u j e s i m o d u l a c j c z s t o t l i w o [c i , w c e l u e l i m i n a c j i z a k B c e D
3
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
( U K F ) . O d b y w a s i t o w u r z d z e n i u z w a n y m m o d u l a t o r e m . Z w y k l e p r z y j m u j e s i , |e
m o d u l a t o r s t a n o w i p i e r w s z y c z Bo n k a n a Bu t r a n s m i s y j n e g o .
K a n a B t r a n s m i s y j n y ( K T )
P r z e k a z y w a n i e w i a d o m o [c i z e zr d Ba d o O P W o d b y w a s i p o p r z e z k a n a B. N a l e |y
z a z n a c z y , |e w s y s t e m i e m o g w y s t p o w a z a k B c e n i a , k t r y c h d z i a Ba n i e r e p r e z e n t u j e k a n a B
t r a n s m i s y j n y .
Z a k B c e n i a
S y g n a B S y g n a B
K T
n a d a n y o d e b r a n y
R y s . 1 . 4 . K a n a B t r a n s m i s y j n y
K a n a B c h a r a k t e r y z u j d w a z e s p o By w Ba [c i w o [c i :
1 ) w Ba [c i w o [c i z b i o r u s y g n a B w w e j [c i o w y c h ,
2 ) w Ba [c i w o [c i z b i o r u s y g n a B w w y j [c i o w y c h .
J e |e l i k a |d y z t y c h z b i o r w z a w i e r a s k o Dc z o n i l o [ e l e m e n t w , t o k a n a B n a z y w a m y
d y s k r e t n y m . W w i k s z o [c i s y s t e m w t e l e t r a n s m i s y j n y c h s y g n a By t r a n s m i t o w a n e z b u d o w a n e
s z s y g n a B w e l e m e n t a r n y c h . Z w y k l e i c h l i c z b a j e s t n i e w i e l k a . T y p o w y m p r z y k Ba d e m k a n a Bu
d y s k r e t n e g o j e s t k a n a B b i n a r n y , g d z i e z a r w n o c i g i w e j [c i o w e j a k i w y j [c i o w e z a w i e r a j
d w a r o d z a j e s y g n a B w e l e m e n t a r n y c h . W o g l n y m p r z y p a d k u l i c z e b n o [c i z b i o r w :
w e j [c i o w e g o i w y j [c i o w e g o m o |e b y r |n a . J e |e l i z b i o r y t e s c i g Be t o m w i m y , |e k a n a B
j e s t c i g By .
C h a r a k t e r y s t y k i z b i o r u c i g w w e j [c i o w y c h
W d a l s z y m c i g u o g r a n i c z y m y s i j e d y n i e d o k a n a B w d y s k r e t n y c h , g d y | t a d z i e d z i n a
s i s z y b k o r o z w i j a i j e s t b a r d z o w a |n a ( t r a n s m i s j a d a n y c h ) .
P o j e d y n c z y c i g k o d o w y c h a r a k t e r y z u j p a r a m e t r y :
1 ) e n e r g i a
2 ) i l o [ s y g n a B w e l e m e n t a r n y c h ( d Bu g o [ c i g u )
3 ) c z a s t r w a n i a c i g u .
J e |e l i w y b r a j e d e n z p a r a m e t r w t o c h a r a k t e r y z u j g o :
1 ) w a r t o [ e k s t r e m a l n a ,
2 ) w a r t o [ [r e d n i a
n p . n a j d Bu |s z y c i g w z b i o r z e ; [r e d n i a d Bu g o [ c i g u . J e |e l i w p r o w a d z a s i p e w n w i e l k o [
j a k o c h a r a k t e r y z u j c z b i r c i g w w e j [c i o w y c h , t o n a o g B |d a s i , a b y n i e p r z e k r a c z a Ba
l u b b y Ba r w n a p e w n e j z g r y u s t a l o n e j w i e l k o [c i . W t e d y m w i m y , |e m a m y k a n a B:
) o o g r a n i c z o n e j w a r t o [c i s z c z y t o w e j p a r a m e t r u
) o o g r a n i c z o n e j [r e d n i e j w a r t o [c i p a r a m e t r u .
N p . c z a s e m w y m a g a s i , |e b y w s z y s t k i e c i g i m i a By j e d n a k o w d Bu g o [. S t o s u j e s i t o w
s y s t e m a c h , w k t r y c h n i e z n a m y z a k B c e D d z i a Ba j c y c h n a c i g . J a k s i p zn i e j o k a |e , j e |e l i
4
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
c i g i t e s d o s y d Bu g i e , t o m o |n a s k u t e c z n i e n i w e l o w a d z i a Ba n i e z a k B c e D. W t e j s y t u a c j i
j e s t r w n i e | p r o s t a b u d o w a k o d e r a i d e k o d e r a .
I n n w Ba [c i w o [c i m o |e b y o g r a n i c z e n i e , c o d o p e w n y c h k o m b i n a c j i s y g n a B w
e l e m e n t a r n y c h . P r z y k Ba d e m m o g b y n p . s y g n a By M o r s e a . T u t a j p o k r o p c e , l u b k r e s c e m u s i
n a s t p i p r z e r w a a n i e n p . z n o w u k r o p k a . K a n a By t a k i e n a z y w a m y k a n a Ba m i o z a k a z a n y c h
k o m b i n a c j a c h .
C h a r a k t e r y s t y k i z b i o r u c i g w w y j [c i o w y c h
J e |e l i n a p o d s t a w i e c i g u w y j [c i o w e g o m o |n a o d t w o r z y b e z b Bd n i e c i g w e j [c i o w y
t o k a n a B t a k i n a z y w a m y b e z s z u m o w y m . P r z y k Ba d e m t a k i e g o k a n a Bu s n p . l i t e r y z a p i s a n e n a
p a p i e r z e i t r a n s p o r t o w a n e w s p o s b m e c h a n i c z n y . W z a s a d z i e r z e c z y w i s t e k a n a By n i e s
b e z s z u m o w e ; s y g n a B w y j [c i o w y u n i c h z a l e |y n i e t y l k o o d s y g n a Bu w e j [c i o w e g o , a l e t a k |e o d
p e w n y c h n i e z n a n y c h c z y n n i k w u b o c z n y c h . W t e j s y t u a c j i k a n a B m o |e b y o p i s a n y z a
p o m o c z b i o r u p r a w d o p o d o b i e Ds t w w a r u n k o w y c h :
P { q p }
g d z i e : p o z n a c z a c i g n a d a n y , a q c i g o d e b r a n y .
P { q p } = P { q 1 p 1 } * P { q 2 p 2 } * . . . * P { q N p N }
K a n a B d y s k r e t n y p o s i a d a j c y p o w y |s z w Ba [c i w o [ n a z y w a m y k a n a Be m b e z p a m i c i o w y m .
G d y p r a w d o p o d o b i e Ds t w a P { q p } n i e z m i e n i a j s i w c z a s i e , t o k a n a B n a z y w a m y
s t a c j o n a r n y m .
N a d a j n i k N
O g l n i e p r z e z n a d a j n i k r o z u m i e m y u r z d z e n i e , k t r e p o s z c z e g l n y m w i a d o m o [c i o m
p r z y p o r z d k o w u j e s y g n a By , k t r e w o k r e [l o n y m s e n s i e s n a j b a r d z i e j p o |d a n e i k t r e s
n a s t p n i e p r z e s y Ba n e k a n a Be m . W r o z w a |a n i a c h n a s z y c h p r z e z n a d a j n i k b d z i e m y r o z u m i e
u r z d z e n i e s k Ba d a j c e s i z K S , K K i M l u b k a |d e j k o m b i n a c j i t y c h e l e m e n t w .
N a d a j n i k N
K S K K M
R y s . 1 . 5 . S t r u k t u r a n a d a j n i k a N
O d b i o r n i k O
P o d c z a s t r a n s m i s j i c i g w s y g n a B w e l e m e n t a r n y c h p o p r z e z k a n a B m o g o n e u l e c
d z i a Ba n i u n i e z n a n y c h z a k B c e D l o s o w y c h .
O g l n i e w s y s t e m a c h k o m u n i k a c y j n y c h m o |n a w y r |n i d w a r o d z a j e z a k B c e D:
5
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
1 ) z e w n t r z n e
2 ) w e w n t r z n e
a d . 1 ) Z a k B c e n i a z e w n t r z n e s t o z a k B c e n i a , k t r y c h zr d Bo z n a j d u j e s i p o z a s y s t e m e m .
M o g b y o n e w y t w o r z o n e p r z e z c z Bo w i e k a ( k o m u t a t o r y m a s z y n e l e k t r y c z n y c h , u k Ba d
z a p Bo n o w y w s a m o c h o d z i e ) l u b t e | n i e ( w y Ba d o w a n i a a t m o s f e r y c z n e , p r o m i e n i o w a n i e
o d l e g By c h g a l a k t y k w s z e c h [w i a t a ) . T e g o t y p u z a k B c e n i a j e d n a k |e d a j e s i d o [ d o b r z e
e l i m i n o w a .
A d . 2 ) P r o b l e m s t a n o w i z a k B c e n i a w e w n t r z n e , k t r e m a j d w a zr d Ba :
1 ) P r z y p a d k o w e r u c h y t e r m i c z n e e l e k t r o n w p o r u s z a j c y c h s i w p r z e w o d n i k u o
t e m p e r a t u r z e p o w y |e j z e r a b e z w z g l d n e g o t z w . s z u m t e r m i c z n y ( J o h n s o n a ) .
2 ) N o [n i k i p r d u ( t j . e l e k t r o n y i d z i u r y ) s d y s k r e t n y m i c z s t k a m i n a Ba d o w a n y m i ,
z a t e m n p . g d y c z s t k i t a k i e p o r u s z a j s i w p Bp r z e w o d n i k u l u b o d k a t o d y d o
a n o d y , t o w k o l e j n y c h p r z e d z i a Ba c h c z a s u i c h l i c z b a s i w a h a w s p o s b l o s o w y .
Z a t e m o d p o w i a d a j c y i m p r d e l e k t r y c z n y r w n i e | t a k i m z m i a n o m p o d l e g a . T e g o
t y p u z a k B c e n i a n a z y w a m y : s z u m e m [r u t o w y m .
P o n i e w a | m o |e s i z d a r z y , |e p r z e s y Ba n y s y g n a B p o p r z e z k a n a B m o |e u l e c w n i m
z n i e k s z t a Bc e n i u t o o d b i o r n i k m u s i p o d j d e c y z j c z y t a k i e z d a r z e n i e m i a Bo m i e j s c e .
O d b i o r n i k s k Ba d a s i z u r z d z e D, k t r e d z i a Ba j o d w r o t n i e d o u r z d z e D n a d a j n i k a ,
z a t e m w s k Ba d n i e g o w c h o d z i d e m o d u l a t o r D M o r a z d e k o d e r y D K K i D K Z l u b c z [ z n i c h .
O d b i o r n i k O
D M D K K D K Z
R y s . 1 . 6 . S t r u k t u r a o d b i o r n i k a
P r o b l e m p o d e j m o w a n i a d e c y z j i p r z e z o d b i o r n i k O n i e j e s t p r o b l e m e m t r y w i a l n y m . O d s t r o n y
t e o r e t y c z n e j z a j m u j e s i t y m t e o r i a f u n k c j i d e c y z y j n y c h .
J e |e l i z b i r d e c y z j i j e s t i d e n t y c z n y z e z b i o r e m w i a d o m o [c i t o d e c y z j n a z y w a m y
p u n k t o w , a z a s a d w e d Bu g , k t r e j p o d e j m o w a n a j e s t d e c y z j a p u n k t o w r e g u B d e c y z y j n .
N i e c o b a r d z i e j s k o m p l i k o w a n e j e s t p o d e j m o w a n i e d e c y z j i w p r z y p a d k u , g d y z b i r
d e c y z j i z a w i e r a j e s z c z e j e d e n e l e m e n t m a j c y s e n s d e c y z j i : n i e w i a d o m o , k t r w i a d o m o [
n a d a n o . W w c z a s r e g u B d e c y z y j n n a z y w a m y r e g u B z w y k r y w a n i e m o b e c n o [c i b Bd u .
K o d , k t r y u m o |l i w i a p o d e j m o w a n i e d e c y z j i , m i m o , |e c z [ s y g n a B w e l e m e n t a r n y c h
z o s t a Ba o d t w o r z o n a b Bd n i e n a z y w a m y k o d e m w y k r y w a j c y m b Bd y l u b k o d e m
d e t e k c y j n y m .
S t o s o w a n i e r e g u By d e c y z y j n e j z w y k r y w a n i e m o b e c n o [c i b Bd u m a s z c z e g l n e
z n a c z e n i e w s y s t e m a c h t e l e k o m u n i k a c y j n y c h z e s p r z |e n i e m z w r o t n y m ( r y s . 1 . 7 )
6
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
S
N O O P W
K
K S Z
R y s . 1 . 7 . S y s t e m t e l e k o m u n i k a c y j n y z e s p r z |e n i e m z w r o t n y m .
B a r d z o w a |n r e g u B d e c y z y j n j e s t t z w . r e g u Ba o b s z a r o w a , w k t r e j n i e p r e c y z u j e
s i , j a k a w i a d o m o [ z o s t a Ba n a d a n a t y l k o p o d a j e s i p o d z b i r , w k t r y m s i o n a m o |e
z a w i e r a . R e g u Bo m d e c y z y j n y m m o |n a n a d a p r o s t i n t e r p r e t a c j g e o m e t r y c z n , w k t r e j
o d e b r a n e c i g i s y g n a B w e l e m e n t a r n y c h t r a k t u j e m y j a k o p u n k t y ( r y s . 1 . 8 ) .
R y s . 1 . 8 . I l u s t r a c j e g e o m e t r y c z n e r e g u B d e c y z y j n y c h
J a k s i o k a |e , j e |e l i b d z i e m y s t o s o w a o d p o w i e d n i s p o s b k o d o w a n i a , t o m i m o , |e
w y s t p i By b Bd y , j e s t e [m y w s t a n i e p o d e j m o w a d e c y z j e b e z b Bd n e . K o d y , k t r e p o z w a l a j t o
u z y s k a n a z y w a m y k o d a m i k o r e k c y j n y m i l u b k o r y g u j c y m i b Bd y .
Z a u w a |m y j e s z c z e n a k o n i e c , |e w r o z w a |a n y m s y s t e m i e t e l e k o m u n i k a c y j n y m
s t o s u j e s i p o d w j n e z a b e z p i e c z e n i e p r z e d b Bd a m i :
1 ) m o d u l a c j a
2 ) k o d o w a n i e .
7
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
2 . yR D AO W I A D O M O ZC I
P r z e z zr d Bo w i a d o m o [c i b d z i e m y r o z u m i e u r z d z e n i e , k t r e g e n e r u j e w i a d o m o [c i z
p e w n e g o z b i o r u ( d y s k r e t n e g o l u b c i g Be g o o g r a n i c z o n e g o ) w s p o s b l o s o w y . yr d Bo
d y s k r e t n e d o s t a r c z a s k o Dc z o n e j l i c z b y w i a d o m o [c i . P r z y k Ba d e m p r z e b i e g w w y j [c i o w y c h
t a k i e g o zr d Ba m o |e b y c i g . . . 1 3 2 6 5 3 4 2 1 . . . , o t r z y m a n y w w y n i k u k o l e j n y c h r z u t w k o s t k
d o g r y . W p r z e c i w i e Ds t w i e d o zr d e B d y s k r e t n y c h zr d Ba c i g Be d o s t a r c z a j n i e s k o Dc z o n
i l o [ z e z b i o r u o g r a n i c z o n e g o ( w y n i k a z p r z e s Ba n e k f i z y c z n y c h ) . P r z y k Ba d e m p r z e b i e g u
w y j [c i o w e g o t a k i e g o zr d Ba j e s t s y g n a B n a p i c i o w y o t r z y m y w a n y z m i k r o f o n u .
C y f r o w a p o s t a i n f o r m a c j i
K a |d e j w i a d o m o [c i w z b i o r z e m o |e m y p r z y p i s a p e w i e n n u m e r p o r z d k o w y . W t y m
p r z y p a d k u p r z e s y Ba n i e l u b p r z e c h o w y w a n i e w i a d o m o [c i s p r o w a d z s i d o p r z e s y Ba n i a l u b
p r z e c h o w y w a n i a l i c z b . L i c z b y t e m o |n a w y r a z i w d o w o l n y m s y s t e m i e l i c z e n i a , c o d a j e
m o |l i w o [ s t o s o w a n i a k o d w o r |n y c h a l f a b e t a c h .
O g l n i e j e s t p r z y j t a t z w . p o z y c y j n a z a s a d a t w o r z e n i a s y s t e m w l i c z e n i a . W a r t o [ k a |d e g o
s y m b o l u ( c y f r y ) z a l e |y o d j e j p o Bo |e n i a w c i g u s y m b o l i ( c y f r ) p r z e d s t a w i a j c y c h l i c z b .
J e d n o s t k a k a |d e j p o z y c j i j e s t b - k r o t n i e w i k s z a o d p o p r z e d n i e j , p r z y c z y m b s t a n o w i
p o d s t a w s y s t e m u l i c z e n i a . W a r t o [ l i c z b y o t r z y m u j e m y s u m u j c w s z y s t k i e p o z y c j e .
k
L = b i - 1 = l k b k - 1 + l k - 1 b k - 2 + . . . + l 2 b + l 1 , l k l k - 1 . . . l 2 l 1
"l
i
i = 1
g d z i e i n r p o z y c j i d a n e j l i c z b y
k l i c z b a p o z y c j i ( i l o [ c y f r l i c z b y )
l i w s p Bc z y n n i k z e z b i o r u [ 0 , b - 1 ]
b p o d s t a w a s y s t e m u
I m w i k s z a j e s t p o d s t a w a l i c z e n i a t y m m n i e j p o z y c j i p o t r z e b a d o j e j p r z e d s t a w i e n i a , a z a t e m
m n i e j c z a s u d o p r z e s Ba n i a , j e d n a k |e p o w o d u j e t o
- w i k s z e w y m a g a n i a d o t y c z c e k a n a Bu t r a n s m i s y j n e g o ,
- z Bo |o n o [ a p a r a t u r y n a d a w c z e j i o d b i o r c z e j ,
- e l e m e n t y l o g i c z n e m u s z m i e w i c e j s t a n w s t a b i l n y c h .
-
U w z g l d n i a j c t e o k o l i c z n o [c i n a l e |y d |y d o z m i n i m a l i z o w a n i a k o s z t u p r z e s y Ba n i a d a n e j
c y f r y L
[ k o s z t p . c y f r y L ] = [ i l o [ p o z y c j i k ] [ p o d s t a w a s y s t e m u ]
C ( L ) = f ( k , b )
W w c z a s l i c z b a L w y m a g a c o n a j m n i e j
k = l o g b L p o z y c j i
p o n i e w a | L = b k
C b ( L ) = k "b = b l o g b N
N i e c h C 2 ( L ) = 2 l o g 2 L
8
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
K o s z t w z g l d n y
C b ( L ) b l o g b N b
C w ( L ) = = = = f ( b )
'
C 2 ( L ) 2 l o g 2 N 2 l o g 2 b
C w ( b )
1
0 , 9 4 2
1 2 e 3 4 5 6 7 b
N a j b a r d z i e j e f e k t y w n y j e s t s y s t e m t r j k o w y , n i e w i e l e m u u s t p u j s y s t e m y d w j k o w y i
c z w r k o w y , p o z o s t a Be g o r s z e . S t d w y n i k a , |e b = 2 n a j l e p s z y
- t y l k o d w a s t a n y s t a b i l n e ,
- r o z r |n i e n i e b r a k u i m p u l s u ,
- k o n w e r s j a s y s t e m w b = 2 ! b = 1 0 j e s t p r o s t a .
J e d n a k |e k o d d w j k o w y n i e j e s t w y g o d n y p r z y w p r o w a d z a n i u i w y p r o w a d z a n i u i n f o r m a c j i ,
g d y | c z Bo w i e k o w i n i e w y g o d n i e j e s t o p e r o w a l i c z b a m i w y r a |o n y m i w t e j p o s t a c i . S t d t e | s
i n n e k o d y
- s e m k o w y ( b = 8 ) ,
- s z e s n a s t k o w y ( b = 1 6 ) ,
- d w j k o w o - d z i e s i t n y ( t z w . k o d y w a |o n e ) .
-
W n a j p r o s t s z y m p r z y p a d k u w i a d o m o [ g e n e r o w a n e p r z e z zr d Bo d y s k r e t n e n i e z a l e | o d
w i a d o m o [c i g e n e r o w a n y c h w p r z e s z Bo [c i . W w c z a s z b i o r o w i w i a d o m o [c i M = { m 1 , m 2 , . . . ,
m n } m o |n a p r z y p o r z d k o w a z b i r p r a w d o p o d o b i e Ds t w P = { p 1 , p 2 , . . . , p n } a zr d Bo
w i a d o m o [c i n a z y w a m y zr d Be m b e z p a m i c i o w y m . Z a t e m j a k o m o d e l m a t e m a t y c z n y zr d Ba
m o |e m y p r z y j o b i e k t o z n a c z o n y p r z e z n a s t e p u j a c t a b l i c :
m 1 m 2 . . . m N
M
S = = ( 2 . 1 )
[ ] p p 2 . . . p N
P
1
O d p o w i e d n i a i l o [ i n f o r m a c j i d o s t a r c z o n a p r z e z j e d n a w y t w o r z o n a w i a d o m o [ z e zr d Ba j e s t
j a k w i a d o m o z p o d s t a w t e o r i i i n f o r m a c j i r w n a [r e d n i e j n i e p e w n o [c i c o d o j e j o t r z y m a n i a .
W i e l k o [ t n a z y w a m y e n t r o p i i o z n a c z a m y p r z e z H . W y n o s i o n a d l a zr d Ba S . O k r e [l o n e g o
p r z e z ( 2 . 1 )
N
( )
H S = - p i l o g 2 p i [ b i t ] ( 2 . 2 )
"
i = 1
P r z y k Ba d 2 . 1 R o z w a |m y d w a zr d Ba :
m 1 m 2 m 1 m 2
S 1 = i S 2 = .
0 . 9 9 0 . 0 1 0 . 5 0 . 5
O b l i c z a m y e n t r o p i d l a o b u zr d e B:
H ( S 1 ) = - 0 . 9 9 l o g 2 0 . 9 9 - 0 . 0 1 l o g 2 0 . 0 1 = 0 . 0 8 1 [ b i t ] ,
H ( S 2 ) = - 0 . 5 l o g 2 0 . 5 - 0 . 5 l o g 2 0 . 5 = 1 [ b i t ] .
9
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
Z a t e m H ( S 1 ) < H ( S 2 ) . O t r z y m a n i e k o n k r e t n e j w i a d o m o [c i j e s t b a r d z i e j n i e o k r e [l o n e d l a
zr d Ba S 2 . R z e c z y w i [c i e , p o n i e w a | zr d Bo S 1 g e n e r u j e p r z e w a |n i e w i a d o m o [ m 1 , z a t e m
j e s t e [m y m n i e j n i e p e w n i o d n o [n i e t e g o , k t r a w i a d o m o [ z o s t a Ba w y t w o r z o n a .
E n t r o p i a zr d Ba S o k r e [l o n e g o p r z e z ( 2 . 1 ) m a n a s t p u j c e w Ba s n o [c i :
( )
1 ) 0 d" H S d" l o g 2 N , 1 ( 2 . 3 )
2 ) d l a r w n o m i e r n e g o r o z k Ba d u p r a w d o p o d o b i e Ds t w a
P = { 1 / N , 1 / N , . . . , 1 / N } e n t r o p i a o s i g a m a k s i m u m
r w n e
( )
H m a x S = l o g 2 N . ( 2 . 4 )
P r z y k Ba d 2 . 2 M a m y d a n e zr d Bo w i a d o m o [c i
m 1 m 2
S =
p 1 - p
yr d Bo t a k i e n a z y w a m y b i n a r n y m , g d y | z b i r w i a d o m o [c i s k Ba d a s i z d w c h e l e m e n t w .
O b l i c z a m y e n t r o p i :
N
p p
( )
H S = - p i l o g 2 p i = - p l o g 2 p + ( 1 - p ) l o g 2 ( 1 - p ) = - l o g 2
" [ ]
( 1 - p ) p - 1
i = 1
Z a l e |n o [ e n t r o p i i zr d Ba H ( S ) o d p r a w d o p o d o b i e Ds t w a p p r z e d s t a w i o n a j e s t n a r y s . 2 . 1 . W
p r z y p a d k u , g d y p r a w d o p o d o b i e Ds t w o j e d n e j z w i a d o m o [c i r w n a s i z e r o , t o
p r a w d o p o d o b i e Ds t w o d r u g i e j r w n a s i j e d e n . W w c z a s m a m y d o c z y n i e n i a z e zr d Be m
z d e t e r m i n o w a n y m , g d y | w i e m y , j a k w i a d o m o [ o n o w y t w o r z y . Z a t e m w t y m p r z y p a d k u
e n t r o p i a r w n a s i z e r u . E n t r o p i a o s i g a m a k s i m u m r w n e j e d n o [c i d l a w i a d o m o [c i
r w n o p r a w d o p o d o b n y c h .
H ( S )
1
0 . 5
p
0 . 5 1
R y s . 2 . 1 . E n t r o p i a b i n a r n e g o zr d Ba w i a d o m o [c i
1
J e [l i p i = 0 , t o p r z y j m u j e m y u m o w , |e p i l o g 2 p i = 0 , p o n i e w a | l i m p i l o g 2 p i = 0 .
p i !0
1 0
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
N i e c h
X x 1 x 2 Y y 1 y 2
S 1 = = =
P p p 2 i S 2 = Q q q 2 .
1 1
U t w r z m y n o w e zr d Bo S , k t r e o k r e [l o n e j e s t w s p o s b n a s t p u j c y :
X Y
S ' =
P Q
W p r z y p a d k u , g d y S 1 = S 2 = S , t o t a k u t w o r z o n e zr d Bo n a z y w a m y d r u g i m r o z s z e r z e n i e m
zr d Ba S . I o z n a c z a m y j e p r z e z S 2 . P o s t p u j c w p o d o b n y s p o s b m o |e m y u t w o r z y k - k r o t n e
r o z s z e r z e n i e zr d Ba S , k t r e b d z i e m y o z n a c z a p r z e z S k . O c z y w i [c i e S 1 = S .
P r z y k Ba d 2 . 3 . M a m y d a n e zr d Bo
m 1 m 2
S =
0 . 4 0 . 6
D r u g i e r o z s z e r z e n i e t e g o zr d Ba m a p o s t a
m 1 m 1 m 1 m 2 m 2 m 1 m 2 m 2
S 2 = ,
0 . 1 6 0 . 2 4 0 . 2 4 0 . 3 6
a t r z e c i e
m 1 m 1 m 1 m 1 m 2 m 1 m 2 m 1 m 1 m 2 m 2 m 1 m 1 m 1 m 2 m 1 m 2 m 2 m 2 m 1 m 2 m 2 m 2 m 2
S 3 = .
0 . 0 6 4 0 . 0 9 6 0 . 0 9 6 0 . 1 4 4 . 0 . 0 9 6 0 . 1 4 4 0 . 1 4 4 0 . 2 1 6
T w i e r d z e n i e 2 . 1 . J e |e l i
m 1 m 2 . . . m n
S =
p p 2 . . . p N
1
j e s t b e z p a m i c i o w y m zr d Be m w i a d o m o [c i , t o H ( S k ) = k H ( S ) .
E n t r o p i a k - t e g o r o z s z e r z e n i a zr d Ba S w y n o s i
k
N
H ( S k ) = - P l o g 2 P , ( 2 . 5 )
( i ) ( i )
"
i = 1
g d z i e i = m i 1 m i 2 . . . m i k . P o n i e w a | zr d Bo j e s t b e z p a m i c i o w e , z a t e m
( )
P m i 1 m i 2 . . . m i k = P m i 1 " P m i 2 ". . . "P m i k .
( ) ( ) ( ) ( )
Z g o d n i e z d e f i n i c j zr d Ba , s u m a p r a w d o p o d o b i e Ds t w P { i } p o w i n n a b y r w n a j e d n o [c i .
R z e c z y w i [c i e , g d y |
N k N k N N N
P = P m i 1 " P m i 2 ". . . "P m i k = . . . P m i 1 " P m i 2 ". . . "P m i k =
( i )
" " ( ) ( ) ( ) " " " ( ) ( ) ( )
i = 1 i = 1 i 1 = 1 i 2 = 1 i k = 1
N N N
= P m i 1 " P m i 2 ". . . " P m i k = 1 "1 ". . . "1 = 1
" ( ) " ( ) " ( )
k - r a z y
i 1 = 1 i 2 = 1 i k = 1
R w n a n i e ( 2 . 5 ) m o |n a p r z e d s t a w i w n a s t p u j c e j p o s t a c i :
1 1
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
N k N k
H S k = - P l o g 2 p i 1 p i 2 . . . p i k = - P l o g 2 p i 1 -
( i ) ( i )
( ) " ( ) "
i = 1 i = 1
( 2 . 6 )
N k N k
- P l o g 2 p i 2 - . . . - P l o g 2 p i k
( i ) ( i )
" "
i = 1 i = 1
Z a u w a |m y , |e
N k N k
- ( i l o g 2 p i j = -
)
( m ) " P ( m ) ". . . "P m i j ". . . "P ( m ) " l o g 2 p i j =
"P "P i 1 i 2 ( ) i k
i = 1 i = 1
N n N N
= - m i 1 " m i 2 ". . . " m i j l o g 2 p i j ". . . " m i k = H S
( )
( ) ( ) ( )
"P "P "P ( ) "P
i = 1 i = 1 i = 1 i = 1
1 1 H S 1
( )
U w z g l d n i a j c p o w y |s z y r e z u l t a t w z a l e |n o [c i ( 2 . 6 ) d o s t a j e m y , |e H ( S k ) = k H ( S ) , c o
d o w o d z i s Bu s z n o [c i t w i e r d z e n i a 2 . 1 .
P r z y k Ba d 2 . 4 . E n t r o p i a zr d Ba S z p r z y k Ba d u 2 . 3 w y n o s i
H ( S ) = - 0 . 4 l o g 2 0 . 4 - 0 . 6 l o g 2 0 . 6 = 0 . 9 7 1 [ b i t ]
E n t r o p i 2 - g o i 3 - g o r o z s z e r z e n i a t e g o zr d Ba m o |n a Ba t w o o b l i c z y k o r z y s t a j c z t w i e r d z e n i a
2 . 1 :
H ( S 2 ) = 2 H ( S ) = 2 " 0 . 9 7 1 = 1 . 9 4 2 [ b i t ]
i H ( S 3 ) = 3 H ( S ) = 3 " 0 . 9 7 1 - 2 . 9 1 3 [ b i t ] .
W r z e c z y w i s t o [c i p o j a w i e n i e s i p e w n e j w i a d o m o [c i z e zr d Ba z a l e |y o d p o p r z e d n i o
w y t w o r z o n y c h w i a d o m o [c i p r z e z t o zr d Bo . N p . , g d y b d z i e m y r o z w a |a l i t e r y j z y k a
p o l s k i e g o w p e w n y m t e k [c i e j a k o w i a d o m o [c i w y g e n e r o w a n e p r z e z zr d Bo , t o m o |n a
s t w i e r d z i , |e n i e k t r e i c h s e k w e n c j e - n p . s w y k l u c z o n e , a p o l i t e r z e p l i t e r a a l u b
e m a w i k s z s z a n s p o j a w i e n i a s i n i | n p . c .
D e f i n i c j a 2 . 2 M a r k o w o w s k i m zr d Be m w i a d o m o [c i L - t e g o r z d u n a z y w a m y zr d Bo , z
k t r e g o p o j a w i e n i e s i w i a d o m o [c i z a l e |y o d L w i a d o m o [c i w y g e n e r o w a n y c h p r z e z t o zr d Bo
w p r z e s z Bo [c i .
A b y t a k i e zr d Bo s c h a r a k t e r y z o w a , n a l e |y k a |d e j w i a d o m o [c i p r z y p i s a z b i r
p r a w d o p o d o b i e Ds t w w a r u n k o w y c h :
m i ! P ( m i m j m j . . . m ) i , j k "{ 1 , 2 , . . . , N } . ( 2 . 7 )
j L
1 2
Z a t e m , k a |d e j w i a d o m o [c i j e s t p r z y p o r z d k o w a n y c h N L p r a w d o p o d o b i e Ds t w . W p r z y p a d k u
zr d Ba L - t e g o r z d u p r a w d o p o d o b i e Ds t w o p o d a n i e k o n k r e t n e j w i a d o m o [c i j e s t z n a n e , j e |e l i
z n a m y s e k w e n c j L p o p r z e d n i c h w i a d o m o [c i .
Z a t e m d l a w y b r a n e g o m o m e n t u c z a s u L p o p r z e d n i c h w i a d o m o [c i m o |e m y t r a k t o w a j a k o
s t a n zr d Ba .
P r z y k Ba d 2 . 5 . R o z w a |m y zr d Bo m a r k o w o w s k i e 2 - g o r z d u o d w u e l e m e n t o w y m z b i o r z e
w i a d o m o [c i M = { m 1 , m 2 } i o k r e [l o n e p r z e z z b i r p r a w d o p o d o b i e Ds t w w a r u n k o w y c h :
P { m 1 m 1 m 1 } = 0 . 1 , P { m 2 m 1 m 1 } = 0 . 9
P { m 1 m 1 m 2 } = 0 . 3 , P { m 2 m 1 m 2 } = 0 . 7
P { m 1 m 2 m 1 } = 0 . 5 , P { m 2 m 2 m 1 } = 0 . 5
P { m 1 m 2 m 2 } = 0 . 4 , P { m 2 m 2 m 2 } = 0 . 6 .
1 2
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
Z a u w a |m y , |e P m 1 m i m j + P m 2 m i m j = 1 , g d y | z e s t a n u m i m j zr d Bo m o |e j e d y n i e
{ } { }
p r z e j [ d o j e d n e g o z e s t a n u m j m 1 l u b m j m 2 .
yr d Ba m a r k o w o w s k i e j e s t w y g o d n i e p r z e d s t a w i a z a p o m o c g r a f u p r z e j [ z j e d n e g o s t a n u
d o d r u g i e g o . D l a p o w y |s z e g o zr d Ba g r a f j e s t n a s t p u j c y :
0 . 1
m 1 m 1
0 . 9 0 . 5
0 . 5
m 1 m 2 m 2 m 1
0 . 3
0 . 4
0 . 7
m 2 m 2
0 . 6
D o a n a l i z y zr d e B m a r k o w o w s k i c h n a j b a r d z i e j j e s t p r z y d a t n a t e o r i a Ba Dc u c h w M a r k o w a .
R o z w a |m y t e r a z t e o r e t y c z n i e n a j p r o s t s z y p r z y p a d e k zr d Ba m a r k o w o w s k i e g o - zr d Bo 1 - g o
r z d u . P r a w d o p o d o b i e Ds t w o w y s t p i e n i a p a r y w i a d o m o [c i ( m i , m j ) j e s t o k r e [l o n e w z o r e m
P m i m j = P m i " P m j m i . ( 2 . 8 )
( )
( ) ( )
Z a t e m [r e d n i a i l o [ i n f o r m a c j i z w i z a n a z p a r w i a d o m o [c i d o s t a r c z o n a p r z e z zr d Bo
( e n t r o p i a Bc z n a H ( m i m j ) ) w y n o s i
N N
H m i m j = - P m i m j l o g 2 P m i m j . ( 2 . 9 )
( ) " " ( ) ( )
i = 1 j = 1
Zr e d n i a i l o [ i n f o r m a c j i z w i z a n a z w i a d o m o [c i p o d a n p r z e z zr d Bo p o d w a r u n k i e m , |e
z n a m y w i a d o m o [ j p o p r z e d z a j c ( e n t r o p i a w a r u n k o w a H ( m j m i ) w y n o s i
N N
H ( m j | m i ) = - ( m i m j ) l o g 2 P ( m j | m i ) . ( 2 . 1 0 )
""P
j = 1 i = 1
1 3
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
3 . M O D E L E K A N A A W D Y S K R E T N Y C H
P r z e k a z y w a n i e w i a d o m o [c i z e zr d Ba d o o b i e k t u i c h p r z e z n a c z e n i a u m o |l i w i a k a n a B. Z e
w z g l d u n a r |n e z j a w i s k a z a c h o d z c e w k a n a l e s y g n a B w e j [c i o w y j e s t r |n y o d s y g n a Bu
w y j [c i o w e g o z k a n a Bu . K a n a B m o |n a s c h a r a k t e r y z o w a o p i s u j c z b i o r y s y g n a B w
w e j [c i o w y c h i w y j [c i o w y c h . J e |e l i k a |d y z t y c h z b i o r w z a w i e r a s k o Dc z o n l i c z b
e l e m e n t w , t o k a n a B n a z y w a m y d y s k r e t n y m ( z i a r n i s t y m ) . J e |e l i z b i o r y t e s c i g Be i
o g r a n i c z o n e ( c o w y n i k a z f i z y c z n y c h p r z e s Ba n e k ) , t o k a n a B n a z y w a m y c i g By m .
W p r z y p a d k u s y s t e m w k o d o w y c h r o z w a |a s i k a n a By d y s k r e t n e . N a j p r o s t s z y m m o d e l e m
k a n a Bu j e s t k a n a B b i n a r n y , t z n . k a n a B, w k t r y m s y g n a By n a w e j [c i u i w y j [c i u p o j a w i a j s i w
p o s t a c i c i g w s y g n a B w e l e m e n t a r n y c h m o g c y c h p r z y j m o w a j e d y n i e d w i e p o s t a c i .
U m o w n i e b d z i e m y j e o z n a c z a p r z e z s 1 i s 2 . Aa t w o z a u w a |y , |e k a n a B b i n a r n y p o w s t a j e z
k a n a Bu c i g Be g o p r z e z p r z y Bc z e n i e d o j e g o w e j [c i a o d p o w i e d n i e g o u r z d z e n i a
w y t w a r z a j c e g o d w a s t a n y ( n p . m o d u l a t o r F S K l u b P S K ) i d o w y j [c i a - u r z d z e n i a
w y k r y w a j c e g o d w a s t a n y .
P o n i e w a | w k a n a Ba c h n a o g B w y s t p u j z a k B c e n i a , z a t e m n a d a n e c i g i s y g n a B w
e l e m e n t a r n y c h m o g s i r |n i o d o d e b r a n y c h . Z a B |m y , |e n a d a w a n e s c i g i s k Ba d a j c e s i
z j e d n a k o w e j l i c z b y s y g n a B w e l e m e n t a r n y c h n . L i c z b a r |n y c h t a k i c h c i g w n i e c h b d z i e
M . P o d w p By w e m z a k B c e D d o w o l n y z n a d a n y c h c i g w m o |e p r z e j [ w j e d e n z N = 2 n
c i g w o d e b r a n y c h . I l u s t r u j e t o r y s . 3 . 1 .
C i g i o d e b r a n e
C i g i n a d a n e
1 1
2 2
i j
M N
Z a k B c e n i a w k a n a l e
R y s . 3 . 1 I l u s t r a c j a k a n a Bu d y s k r e t n e g o z z a k B c e n i a m i .
O z n a c z m y p r z e z x i = x i 1 , x i 2 , . . . , x i n , i = 1 , 2 , . . . , M c i g i n a d a n e , a p r z e z
( )
y j = y j 1 , y j 2 , . . . , y j n , j = 1 , 2 , . . . , N c i g i o d e b r a n e , p r z y c z y m e l e m e n t y x i k , y j l " { S 1 , S 2 } .
( )
W w c z a s k a n a B d y s k r e t n y m o |n a s c h a r a k t e r y z o w a p r z e z p o d a n i e z b i o r u
p r a w d o p o d o b i e Ds t w w a r u n k o w y c h , k t r e m o |n a p r z e d s t a w i w p o s t a c i n a s t p u j c y c h
m a c i e r z y :
1 4
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
P ( y 1 x 1 ) P ( y 1 x ) L P ( y 1 x i ) L P ( y 1 x )
2 M
( y 2 ) L P ( y 2 x )
P x 1 ) P ( y 2 x 2 ) L P ( y 2 x i M
M M M M
( 3 . 1 )
P j x 1 ) P ( y j x 2
( y ) L P ( y x i ) L P ( y x M )
j j
M M M M
P x 1 ) P ( y N x
( y N ) L P ( y N x i ) L P ( y N x )
2 M
W p r z y p a d k u , g d y c z a s t r w a n i a z a k B c e D j e s t m n i e j s z y o d c z a s u t r w a n i a s y g n a Bu
e l e m e n t a r n e g o , t o m o |n a p r z y j , |e p o j a w i e n i e s i o k r e [l o n e g o s y g n a Bu e l e m e n t a r n e g o n a
d a n e j p o z y c j i w c i g u n i e z a l e |y o d w a r t o [c i p o p r z e d n i c h s y g n a B w e l e m e n t a r n y c h . K a n a B,
k t r y c h a r a k t e r y z u j e s i w y |e j o p i s a n w Ba s n o [c i , n a z y w a m y b e z p a m i c i o w y m . W
p r z y p a d k u k a n a Bu b e z p a m i c i o w e g o d l a d o w o l n e j p a r y w s k a zn i k w ( i , j ) , i = 1 , 2 , . . . , M . , j =
1 , 2 , . . . , N , s Bu s z n a j e s t z a l e |n o [
P y x i = P y j 1 x i 1 " P y j 2 x i 2 " . . . " P y j n x i n . ( 3 . 2 )
( ) ( ) ( )
( )
j
W s z c z e g l n y m p r z y p a d k u , g d y p r a w d o p o d o b i e Ds t w a P ( y j l x i k ) n i e z a l e | o d p o z y c j i n w
c i g u , t o k a n a B n a z y w a m y s t a c j o n a r n y m .
Z a t e m w p r z y p a d k u s t a c j o n a r n e g o , b e z p a m i c i o w e g o k a n a Bu b i n a r n e g o w y s t a r c z y p o d a
j e d y n i e p r a w d o p o d o b i e Ds t w a P ( S 1 S 2 ) i P ( S 2 S 1 ) , a b y w p e Bn i g o s c h a r a k t e r y z o w a . J e [l i
P S 1 S 2 = P S 2 S 1 = p e = B E R , ( 3 . 3 )
( ) ( )
t o k a n a B b i n a r n y n a z y w a m y s y m e t r y c z n y m ( B S K ) .
B E R ( B i t E r r o r R a t e ) b i t o w a s t o p a b Bd w o k r e [l o n a j a k o s t o s u n e k l i c z b y b i t w
o d e b r a n y c h b Bd n i e d o o g l n e j l i c z b y n a d a n y c h b i t w .
C z s t o k a n a By d y s k r e t n e p r z e d s t a w i a m y z a p o m o c g r a f w p r z e j [. D l a k a n a Bu b i n a r n e g o
p r z e d s t a w i o n y j e s t o n n a r y s . 3 . 2 .
P ( S 1 S 1 ) = 1 - P ( S 2 S 1 )
S 1 S 1
P ( S 1 S 2 )
P ( S 2 S 1 )
S 2
S 2
P ( S 2 S 2 ) = 1 - P ( S 1 S 2 )
R y s . 3 . 2 . K a n a B b i n a r n y
W r o z w a |a n i a c h t e o r e t y c z n y c h p r o w a d z i s i r o z w a |a n i a d l a k a n a B w q - a r n y c h , t z n .
k a n a B w , w k t r y m s y g n a By e l e m e n t a r n e n a l e | d o z b i o r u { s 1 , s 2 , . . . , s q } ( q > 2 ) . W s p Bc z e s n e
s y s t e m y p r z e s y Ba n i a i z a p a m i t y w a n i a i n f o r m a c j i s z r e g u By s y s t e m a m i b i n a r n y m i , z a t e m
r e z u l t a t y o t r z y m a n e d l a k a n a Bu b i n a r n e g o s n a j i s t o t n i e j s z e . P o z a t y m w i e l e k o d w b i n a r n y c h
1 5
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
m o |e b y s t o s u n k o w o p r o s t o u o g l n i o n y c h n a k o d y g - a r n e w p r z y p a d k u , g d y q = p m ( p -
l i c z b a p i e r w s z a ) .
I n n y m r o d z a j e m k a n a Bu , d l a k t r e g o o t r z y m a n o s z e r e g r e z u l t a t w w t e o r i i k o d o w a n i a , j e s t
t z w . k a n a B z w y m a z y w a n i e m . G r a f p r z e j [ d l a t e g o k a n a Bu p r z e d s t a w i o n y j e s t n a r y s . 3 . 3
P ( s 1 s 1 )
s 1 s 1
P ( x s 1 )
x
P ( x s 2 )
s 2 s 2
P ( s 2 s 2 )
R y s . 3 . 3 K a n a B b i n a r n y z w y m a z y w a n i e m
K a n a B t e n c h a r a k t e r y z u j e s i t y m , |e d a n y s y g n a B e l e m e n t a r n y m o |e z o s t a p r z e s Ba n y u d a n i e
l u b w y m a z a n y t j . z a n i k n i e . I n n y m i s Bo w y o d b i o r n i k m o |e p o d j d e c y z j e w y m i j a j c , n i e
d e c y d u j c j a k i s y g n a B z o s t a B n a d a n y .
P o w y |s z e d w a t y p y k a n a B w n i e s a d e k w a t n e d o w s z y s t k i c h r z e c z y w i s t y c h k a n a B w , w
k t r y c h c z s t o z a k B c e n i a p o w o d u j w y s t p o w a n i e b Bd w w s e r i a c h . P o n i e w a | b Bd y t e g o
t y p u s z c z e g l n i e c z s t o w y s t p u j w Bc z a c h t e l e f o n i c z n y c h , w k t r y c h o b e c n i e n a j c z [c i e j
p r z e s y Ba n e s i n f o r m a c j e c y f r o w e , s t d i c h d u |e z n a c z e n i e . D l a t e g o t y p u b Bd w s t o s o w a n e
s s p e c j a l n e t y p y k o d w .
W a |n w i e l k o [c i , c h a r a k t e r y z u j c k a n a B j e s t j e g o p r z e p u s t o w o [. O z n a c z m y p r z e z X = { x 1 ,
x 2 , . . . , x m } z b i r s y g n a B w w e j [c i o w y c h , a p r z e z Y = { y 1 , y 2 , . . . , y n } z b i r s y g n a B w
w y j [c i o w y c h k a n a Bu . W w c z a s t r a n s i n f o r m a c j a
n m n m
P ( x i y ) =
P ( x i , y )
j
j
I ( X ; Y ) = ( x i ) l o g 2 ( x i ) l o g 2
""P , y j ""P , y j
P ( x i ) P ( x i ) P ( y )
j = 1 i = 1 j = 1 i = 1
j
( 3 . 4 )
j e s t m i a r [r e d n i e j i l o [c i i n f o r m a c j i z w i z a n e j z w i a d o m o [c i p r z e s Ba n k a n a Be m .
P r z e p u s t o w o [c i C n a z y w a m y m a k s y m a l n w a r t o [ t r a n s i n f o r m a c j i , w y z n a c z o n p o
w s z y s t k i c h m o |l i w y c h r o z k Ba d a c h p r a w d o p o d o b i e Ds t w a o p i s u j c y c h zr d Bo w i a d o m o [c i :
( ) ( ) ( )
C = m a x I X ; Y = m a x H X - H X Y , ( 3 . 5 )
[ ]
p i p i
{ } { }
g d z i e H ( X ) j e s t e n t r o p i zr d Ba w i a d o m o [c i , a H ( X Y ) [r e d n i n i e p e w n o [c i c o d o n a d a n e j
w i a d o m o [c i p o d w a r u n k i e m , |e z n a m y z b i r s y g n a B w w y j [c i o w y c h
n m
( H ( X Y ) = - ( y j ) "P ( x i y ) l o g 2 P ( x i y ) ) .
"P j j
j = 1 i = 1
P r z y k Ba d 3 . 1 . K a n a B b e z s z u m o w y
G r a f p r z e j [ d l a k a n a Bu b e z s z u m o w e g o j e s t p r z e d s t a w i o n y n a r y s . 3 . 4 .
1 6
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
x 1
y 1
y 2
x 2
x N
y N
R y s . 8 . 4 K a n a B b e z s z u m o w y ( d e t e r m i n i s t y c z n y )
Aa t w o z a u w a |y , |e w p r z y p a d k u k a n a Bu b e z s z u m o w e g o H ( X ) = I ( X ; Y ) = H ( Y ) . Z a t e m
( ) ( )
C = m a x I X ; Y = m a x H X .
p i p i
{ } { }
Z g o d n i e z o t r z y m a n y m p o p r z e d n i o r e z u l t a t e m ( 2 . 4 ) , w i e m y , |e e n t r o p i a o s i g a m a k s i m u m
1
d l a w i a d o m o [c i r w n o p r a w d o p o d o b n y c h - p = ( i = 1 , 2 , . . . , N ) , k t r e w y n o s i l o g 2 N .
N
Z a t e m w p r z y p a d k u k a n a Bu b e z s z u m o w e g o j e g o p r z e p u s t o w o [ j e s t r w n a
[ ]
C = l o g 2 N b i t / w i a d o m o [ . ( 3 . 6 )
P r z e p u s t o w o [ k a n a Bu j a k i s z y b k o [ p r z e s y Ba n i a i n f o r m a c j i k a n a Be m m o g b y w y r a |o n e w
b i t a c h n a s e k u n d z a m i a s t w b i t a c h n a w i a d o m o [. Z a B |m y , |e s y g n a By o d p o w i a d a j c e
e l e m e n t o m x i m a j j e d n a k o w y c z a s t r w a n i a , w w c z a s p r z e p u s t o w o [ k a n a Bu w y n o s i
l o g 2 N
[ ]
C = b i t / s . ( 3 . 7 )
P o w y |s z y w z r j e s t Ba t w o u o g l n i n a p r z y p a d e k , w k t r y m e l e m e n t w x i o d p o w i a d a j r |n e
c z a s y t r w a n i a s y g n a B w .
P r z y k Ba d 3 . 2 . K a n a B B S K .
N i e c h p e b d z i e p r a w d o p o d o b i e Ds t w e m b Bd u i P ( S 1 ) = p , P ( S 2 ) = 1 - p , w w c z a s
H ( X ) = - p l o g 2 p - ( 1 - p ) l o g 2 ( 1 - p )
H ( X Y ) = - p e l o g 2 p e - ( 1 - p e ) l o g 2 ( 1 - p e )
( 3 . 8 )
C = m a x [ H ( X ) - H ( X Y ) ] = 1 + p e l o g 2 p e + ( 1 - p e ) l o g 2 ( 1 - p e )
{ p e ; 1 - p e }
1
d l a p e = 1 - p e = .
2
P r z y k Ba d 3 . 3 . K a n a B z w y m a z y w a n i e m ( s y m e t r y c z n y )
N i e c h P ( S 1 S 1 ) = P ( S 2 S 2 ) = q o r a z P ( S 1 ) = p i P ( S 2 ) = 1 - p w w c z a s
( )
H X = - [ ]
p l o g 2 p + ( 1 - p ) l o g 2 ( 1 - p ) ,
H ( X Y ) = 1 - q , ( 3 . 9 )
( ) ( )
C = m a x H X - H X Y = q .
[ ]
p ; 1 - p
1 7
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
W b a r d z i e j o g l n y c h p r z y p a d k a c h , n p . k a n a Ba c h n i e s y m e t r y c z n y c h i k a n a Ba c h z p a m i c i ,
w y l i c z e n i e p r z e p u s t o w o [c i j e s t b a r d z o |m u d n e . P o n i e w a | g B w n i e b d z i e m y s i z a j m o w a
k a n a Be m B S K i k a n a Be m z w y m a z y w a n i e m o b l i c z e n i e p r z e p u s t o w o [c i d l a i n n y c h k a n a B w
z o s t a n i e p o m i n i t e .
I n n e m o d e l e k a n a B w
D l a k o h e r e n t n e j B P S K ( B i n a r y P h a s e S h i f t K e y i n g - b i n a r n e k l u c z o w a n i e z p r z e s u w e m f a z y ,
s t o s o w a n e j a k o m o d u l a c j a w s y s t e m a c h r a d i o w y c h ) w k a n a l e b i n a r n y m , p r a w d o p o d o b i e Ds t w o
p o d j c i a b Bd n e j d e c y z j i p , w y n o s i :
2 E s 2 E b
p ' = p b = Q ( ) = Q ( )
N 0 N 0
g d z i e :
"
1
- ' ' 2 / 2
Q ( ' ' ) =
+"e d ' '
2
' '
E s [r e d n i a e n e r g i a n a s y m b o l
E b [r e d n i a e n e r g i a n a b i t
K a n a B z p a c z k b Bd w ( a n g . b u r s t c h a n n e l )
D w u s t a n o w y k a n a B p r z e d s t a w i o n y j e s t n a r y s u n k u p o n i |e j :
U k Ba d m o |e p r z e c h o d z i z e s t a n u p i e r w s z e g o ( s t a t e 1 ) d o d r u g i e g o ( s t a t e 2 ) z
p r a w d o p o d o b i e Ds t w e m q 1 , n a t o m i a s t z e s t a n u d r u g i e g o d o p i e r w s z e g o p i e r w s z e g o
1 8
T e o r i a i n f o r m a c j i i k o d o w a n i e W y k Ba d n r 1
p r a w d o p o d o b i e Ds t w e m q 2 . P r a w d o p o d o b i e Ds t w o q 2 j e s t d u |o w i k s z e o d q 1 , d l a t e g o s t a n
p i e r w s z y n a z y w a n y j e s t d o b r y m ( g o o d s t a t e ) . J e |e l i u k Ba d z n a j d u j e s i w s t a n i e d r u g i m ( b a d
s t a t e ) , t o b a r d z i e j p r a w d o p o d o b n e j e s t j e g o p r z e j d z i e d o s t a n u 2 ( q 2 ) , n i | p o z o s t a n i e w t y m
s a m y m ( 1 - q 2 ) .
J e |e l i u k Ba d z n a j d u j e s i w d o b r y m s t a n i e , p r a w d o p o d o b i e Ds t w o p o d j c i a b Bd n e j d e c y z j i j e s t
b a r d z o m a Be p 1 m a z n i k o m w a r t o [. J e |e l i j e d n a k z n a j d u j e s i w z By m s t a n i e
p r a w d o p o d o b i e Ds t w o p o d j c i a z Be j d e c y z j i j e s t o w i e l e w i k s z e ( p 1 < < p 2 ) .
T y p o w e w a r t o [c i p r a w d o p o d o b i e Ds t w w y n o s z d l a p 1 i p 2 o d p o w i e d n i o : 1 0 - 1 0 i 1 0 - 2 .
1 9
Wyszukiwarka
Podobne podstrony:
TIiK Wykład 11 2008TIiK Wykład 11P 2009TIiK Wykład 9 2009PTIiK Wykład 1PSieci komputerowe wyklady dr FurtakWykład 05 Opadanie i fluidyzacjaWYKŁAD 1 Wprowadzenie do biotechnologii farmaceutycznejmo3 wykladyJJZARZĄDZANIE WARTOŚCIĄ PRZEDSIĘBIORSTWA Z DNIA 26 MARZEC 2011 WYKŁAD NR 3Wyklad 2 PNOP 08 9 zaoczneWyklad studport 8Kryptografia wykladBudownictwo Ogolne II zaoczne wyklad 13 ppozwięcej podobnych podstron