Entropia (teoria informacji) - Wikipedia, wolna encyklopedia
/**/
/**/
#centralNotice .siteNoticeSmall{display:none;}
#centralNotice .siteNoticeSmallAnon{display:none;}
#centralNotice .siteNoticeSmallUser{display:none;}
#centralNotice.collapsed .siteNoticeBig{display:none;}
#centralNotice.collapsed .siteNoticeSmall{display:block;}
#centralNotice.collapsed .siteNoticeSmallUser{display:block;}
#centralNotice.collapsed .siteNoticeSmallAnon{display:block;}
#centralNotice.anonnotice .siteNoticeSmallUser{display:none !important;}
#centralNotice.usernotice .siteNoticeSmallAnon{display:none !important;}
var wgFlaggedRevsParams = {"tags": {"accuracy": 2}};
var wgFlaggedRevsParams2 = {"tags": {"reliability": 3, "completeness": 2, "npov": 2, "presentation": 1}};
var wgStableRevisionId = 0;
var wgAjaxFeedback = {"sendingMsg": "Zapisywanie...", "sentMsg": "Dziękujemy!"}
var wgAjaxReview = {"sendingMsg": "Zapisywanie...", "sentMsg": "Oznaczanie zakończone!", "actioncomplete": "Operacja wykonana"}
@import "/w/index.php?action=raw&ctype=text/css&title=MediaWiki%3AGadget-btm-actions.css";@import "/w/index.php?action=raw&ctype=text/css&title=MediaWiki%3ANowicjusze.css";
if (wgNotice != '') document.writeln(wgNotice);
/*
Styles for Notices
*/
.notice-wrapper, .notice-collapsed-wrapper {
margin: 0;
padding: 0;
font-family: Arial,Helvetica,Tahoma,sans-serif;
color: #333;
background-color: #ddd;
font-size: 1.2em;
font-weight: 200;
}
.siteNoticeSmallUser {
font-size: 1.2em;
text-align: left;
}
.notice-wrapper a,
.notice-collapsed-wrapper a
{
color: #006699;
}
.notice-wrapper a:hover { text-decoration: underline; }
.notice-collapsed-wrapper a:hover { text-decoration: underline; }
.notice-wrapper
{
border: 1px solid #bbb;
background-color: #fcfcfc;
background-repeat: no-repeat;
height: 115px;
font-size: 1.4em;
padding: 5px 5px;
}
.notice-collapsed-wrapper
{
border: 1px solid #bbb;
text-align: left;
background-color: #fcfcfc;
font-size: 1.7em;
padding: 5px 5px;
}
.toggle-box
{
float: right;
font-size: 0.6em;
}
.notice-text
{
padding: 0 120px;
margin-left: auto;
margin-right: auto;
margin-bottom: 5px;
}
.amount-raised
{
color: #fff;
padding-left: 175px;
font-size: 1em;
float: left;
}
.goal
{
color: #333;
font-size: 1em;
text-align: right;
position: relative;
left: -30px
}
.red-button
{
background-image: url(http://upload.wikimedia.org/centralnotice/images/button-red.png);
width: 158px;
height: 27px;
color: #fff;
font-size: 0.7em;
font-weight: bold;
text-align: center;
display: table-cell;
vertical-align: middle;
font-family: Verdana, Arial, Helvetica,Tahoma,sans-serif;
cursor: pointer;
}
.red-button a
{
color: white;
}
[Ukryj]
Wikipedia ułatwia życie.
Wesprzyj nas
[Pokaż]
Wesprzyj Wikipedię, społeczny projekt non-profit.
Wesprzyj nas
[Pokaż]
Wesprzyj Wikipedię, społeczny projekt non-profit. "
Wesprzyj nas
/* */
Nauczycieli i wykładowców zapraszamy do współpracy ó Uruchomiono mechanizm wersji przejrzanych podnoszący jakość artykułów Wikipedii.
Entropia (teoria informacji)[edytuj]
Z Wikipedii
Brak wersji przejrzanej
Skocz do: nawigacji, szukaj
Ten artykuł dotyczy pojęcia z dziedziny teorii informacji. Zobacz też: inne znaczenia tego terminu.
Niektóre informacje zawarte w artykule wymagają weryfikacji.
Do weryfikacji: patrz dyskusja
Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.
Wzór na entropię:
gdzie p(i) - prawdopodobieństwo zajścia zdarzenia i. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r =2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat(nit), natomiast dla r=10 - dit lub hartley.
Entropię można interpretować jako niepewność wystąpienia danego
zdarzenia elementarnego w następnej chwili. Jeżeli następujące
zdarzenie występuje z prawdopodobieństwem równym 1, to z prostego
podstawienia wynika, że entropia wynosi 0, gdyż z góry wiadomo co się
stanie - nie ma niepewności.
Własności entropii:
jest nieujemna
jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same
jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1
własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii.
jeśli ze źrodła danych pobierane są k-literowe ciągi, wówczas entropia wynosi H(x(k)) = kH(x)
Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.
Pojęcie entropii jest bardzo przydatne w np: dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i ilości znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.
Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.
Przykład [edytuj]
Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:
Ogólniej każde źródło dające N równie prawdopodobnych wyników ma log2N bitów na symbol entropii:
Zobacz też [edytuj]
Entropia (termodynamika)
Proces Markowa
Teoria informacji
Kompresja danych (informatyka):
Typy kompresji:
Kompresja bezstratna
Kompresja stratna
Wybrane algorytmy bezstratne:
Kodowanie arytmetyczne
kodowanie Huffmana
Transformata Burrowsa-Wheelera
Program do kompresji plików
Źródło: śhttp://pl.wikipedia.org/wiki/Entropia_(teoria_informacji)”
Kategoria: Teoria informacjiUkryta kategoria: Strony do weryfikacji
artykułdyskusjaedytujhistoria i autorzy
Widok
Artykuł
dyskusja
edytuj
historia i autorzy
osobiste
Logowanie i rejestracja
if (window.isMSIE55) fixalpha();
Szukaj
nawigacja
Strona główna
Kategorie artykułów
Bieżące wydarzenia
Losuj stronę
zmiany
Zgłoś błąd
Zgłoś złą grafikę
Częste pytania (FAQ)
Kontakt z Wikipedią
Wspomóż Fundację
dla edytorów
Ostatnie zmiany
Zasady edycji
Pomoc
Portal wikipedystów
narzędzia
Linkujące
Zmiany w dolinkowanych
Strony specjalne
Wersja do druku Link do tej wersjiCytowanie tego artykułu
W innych językach
Deutsch
ΕηνąκŹ
English
Espaąol
Franżais
śę
Italiano
óęרית
Magyar
Nederlands
ŃŃŃкиą
Simple English
Svenska
ąą"ąąó
Tiżng Vit
中ć
Tę stronę ostatnio zmodyfikowano 00:39, 11 paź 2008.
Tekst udostępniany na licencji GNU Free Documentation License. (patrz: Prawa autorskie)
Wikipedia® jest zarejestrowanym znakiem towarowym Wikimedia Foundation. Możesz przekazać dary pieniężne Fundacji Wikimedia.
Zasady ochrony prywatności
O Wikipedii
Informacje prawne
if (window.runOnloadHook) runOnloadHook();
Wyszukiwarka
Podobne podstrony:
Wykład 6 Teoria informacjiW3 Teoria informacji i kodowanie Podstawy teori informacji 2gInformatyka teoria informatykaTeoria i metodologia nauki o informacjiInformatyka Wykład 07 B Teoria języków i automatówentropia informacjiinformatyk teoria styczen 092 Informacja a entropiażołnierka,teoria systemów, podstawy informatycznych systemów zarządzaniaZarzadzanie ryzykiem w projektach informatycznych Teoria i praktyka zaryzyinformatyk teoria styczen 12pawlikowski, fizyka, szczególna teoria względnościwięcej podobnych podstron