Inteligentne systemy
informacyjne
Moduł 9
Mieczysław Muraszkiewicz
www.icie.com.pl/lect_pw.htm
M. Muraszkiewicz
strona 1
Eksploracja danych
szkic
Moduł 9
M. Muraszkiewicz
strona 2
Tło
M. Muraszkiewicz
strona 3
Opinie
The purpose of computing is
insight, not numbers.
Richard Hamming
1916 - 1998
Knowledge discovery is becoming the
most desirable end-product of
computing, and that the importance of
knowledge acquisition from the
available information is second only to
endeavors that help protect and
preserve our natural environment
Gio Wiederhold
M. Muraszkiewicz
strona 4
Komentarz
Choć dysponujemy
informacjami, to wciąż
brakuje nam ...
wiedzy.
M. Muraszkiewicz
strona 5
Terminologia
Eksploracja danych
Ekstrakcja danych
Wydobywanie danych
Archeologia danych
...
Data mining
M. Muraszkiewicz
strona 6
Definicja
M. Muraszkiewicz
strona 7
Definicja ED
Tutaj przez eksplorację danych rozumiemy proces
automatycznego odkrywania znaczącej, pożytecznej,
dotychczas nieznanej i możliwie pełnej wiedzy
zawartej w dużych bazach danych, wiedzy
ujawniającej ukryte własności badanego przedmiotu.
Wiedza ta przyjmuje postać reguł, prawidłowości,
tendencji i korelacji, i jest następnie przedstawiana
przygotowanemu do jej spożytkowania
użytkownikowi w celu rozwiązania stojących przed
nią/nim problemów i podjęcia istotnych decyzji.
M. Muraszkiewicz
strona 8
Mniej poważna definicja ED
Eksploracja
danych polega na
torturowaniu danych
tak długo, aż zaczną
zeznawać
M. Muraszkiewicz
strona 9
Dlaczego ED ?
Odkrytą wiedzę można wykorzystać m.in. do
" lepszego rozumienia świata, w którym
żyjemy.
" usprawnienia procesów produkcyjnych,
zarządzania, obsługi klientów, marketingu,
zmniejszania nadużyć, ograniczenia migracji
klientów do konkurentów. A więc łącznie do
zwiększenia przewagi konkurencyjnej.
M. Muraszkiewicz
strona 10
Przykłady
M. Muraszkiewicz
strona 11
Przykład 1
Firma American Express podała, że
wykorzystanie technik eksploracji na
bazie danych klientów pozwoliło
zwiększyć o 10 15 % użycie jej kart
kredytowych.
M. Muraszkiewicz
strona 12
Przykład 2
Bardzo duża firma handlowa dzięki
ekstrakcji potrafiła określić 5-cio
procentowy segment tych klientów,
którzy charakteryzują się tym, że
regularnie udzielają odpowiedzi na różne
zapytania firmy. Klienci ci dostarczali 60
% wszystkich odpowiedzi. Dzięki
ustaleniu tego faktu firma zwiększyła 12-
krotnie stopę odpowiedzi i zmniejszyła
koszty opłat pocztowych o 95 %.
M. Muraszkiewicz
strona 13
Kontekst
M. Muraszkiewicz
strona 14
Relacja z innymi
świat
statystyka
bazy danych
EDW
sztuczna inteligencja
M. Muraszkiewicz
strona 15
Odkrywanie wiedzy (KDD)
Knowledge Discovery
KDD is a multi-step process aimed at
identifying valid, novel, potentially
raw data
useful, and ultimately understandable
patterns of data. (Fayyad, et al 1996)
pre-
processing
(i) pre-processing that includes such
operations as data preparation, data
selection, and data cleaning;
Data
Mining
(ii) data mining;
(iii) post-processing that comprises, post-
processing
inter alia, filtering and evaluation of
the data mining results and their
proper interpretation.
knowledge
M. Muraszkiewicz
strona 16
Czym ED nie jest ?
" procesem nieodzownie związanym z hurtowniami
danych,
" typowym narzędziem analitycznym i środkiem do
tworzenia sprawozdań,
" całkowicie zautomatyzowanym procesem,
" łatwym, tanim i szybkim do wdrożenia w organizacji
procesem,
" przysłowiowym, wielozadaniowym scyzorykiem
armii szwajcarskiej dobrym na wszelkie okazje,
" ...
M. Muraszkiewicz
strona 17
Techniki eksploracji
M. Muraszkiewicz
strona 18
Ważniejsze techniki
Najczęściej eksploracja oparta jest na
następujących typach działań:
" klasyfikowanie (ang. classification)
" regresja (ang. regression)
" grupowanie (ang. clustering)
" kojarzenie (ang. association)
" reguły epizodyczne (ang. episode rules)
" wizualizacja
M. Muraszkiewicz
strona 19
Klasyfikacja
Klasyfikacja jest procesem uczenia się,
którego celem jest określenie reguły, która
kiedy już została zaakceptowana służy do
przyporządkowania (zaklasyfikowania)
branego pod uwagę elementu do jednej lub
więcej wcześniej zdefiniowanych klas
(zbiorów).
Proces ten korzysta ze zbioru wcześniej
poklasyfikowanych przykładów, po to aby
określić sposób (model) klasyfikowania całej
dostępnej populacji elementów.
M. Muraszkiewicz
strona 20
Grupowanie
Grupowanie (klasteryzacja) polega
na przyporządkowaniu branego pod
uwagę elementu do jednej lub wielu
grup (klas, zbiorów), przy czym
grupy te są wyznaczana przez sam
proces grupowania na podstawie
analizy danych o wszystkich
dostępnych elementach.
M. Muraszkiewicz
strona 21
Kojarzenie
Kojarzenie polega na odszukiwaniu tych
elementów, które wiążą się z zadanym
zdarzeniem lub innym elementem. Algorytmy
tu wykorzystywane pozwalają odkrywać
reguły typu jeśli - to.
Przykład
jeśli : klient kupuje płatki owsiane,
to : w 65 % przypadków klient
ten kupi mleko Aaciate
M. Muraszkiewicz
strona 22
Przykładowe zadania
" Jak rozpoznawać i klasyfikować
problemy techniczne (anomalie,
awarie), także problemy chronicznie
powtarzające się, oraz ujawniać
przyczyny anomalii ?
" Jak rozpoznawać i klasyfikować
alarmy generowane przez sieć ?
M. Muraszkiewicz
strona 23
Przykładowe zadania cd.
" Jakie są wzorce zachowań użytkowników i jak
rozpoznawać połączenia stanowiące nadużycie w
stosunku do operatora sieci ?
" Jaki jest profil użytkownika i motywacja, które mogą
skłonić go do zmiany operatora sieci ?
" Jaki jest profil użytkowników, którzy płacą wysokie
rachunki ?
" Jakiej reakcja użytkowników można się spodziewać na
wprowadzenie nowych rodzajów usług czy taryf,
uwzględniając różnorodność profili użytkowników ?
M. Muraszkiewicz
strona 24
Schemat ED
M. Muraszkiewicz
strona 25
Schemat ogólny ED
1. Zdefiniować problem/zadanie i zanalizować otoczenie.
2. Wybrać zbiór danych do eksploracji i atrybuty.
3. Zdecydować jak przygotować dane do przetwarzania.
Na przykład: czy wiek reprezentować jako przedział
(np. 40-45 lat), czy jako liczbę (np. 40 lat).
4. Wybrać algorytm (lub ich kombinację) eksploracji
i wykonać program realizujący ten algorytm.
5. Zanalizować wyniki wykonania programu i wybrać te,
które uznajemy za rezultat pracy.
6. Przedłożyć wyniki kierownictwu organizacji i zasugerować
sposób ich wykorzystania.
M. Muraszkiewicz
strona 26
Przykład Churning
Średnia liczba
Kierownictwo firmy zostało
ID rozmów Zmiana
poinformowane, że nasila się
osoby wiek zamejscowych operatora
i
/tydzień
zjawisko przechodzenia jej
123 62 Tak
klientów do firmy konkurencyjnej.
240 47 Nie
321 20 Nie
Zarząd podjął decyzje o zbadaniu
456 43 Nie
sprawy i ustaleniu przyczyn tego
545 50 Nie
634 51 Tak
zjawiska. W tym celu rozpoczęto
722 66 Tak
projekt eksploracji danych,
819 53 Tak
928 68 Tak
którego zadanie brzmiało:
10 30 60 Nie
podać charakterystykę
11 58 76 Nie
12 50 69 Nie
klienta, który ma skłonność
13 48 35 Nie
do zmiany firmy.
M. Muraszkiewicz
strona 27
Przykład cd.
70
60
50
odchodzą
40
30
20
pozostają
10
0
0 20406080
wiek
F(x) = 1,3x
kwadrat - zmienił; prostokąt - pozostał
M. Muraszkiewicz
strona 28
ś
rednia liczba rozmów
Realizacja projektów ED
M. Muraszkiewicz
strona 29
Strategia realizacji
Analiza procesów
Etap I
biznesowych
1. Identyfikacja procesów
Zadania ED
podatnych na ED.
Analiza zródeł
2. Wybór metod i narzędzi.
danych
3. Eksperymentalne ED.
Metoda_1 Metoda_n
Metoda_1 Metoda_n
Etap II
. . .
Realizacja platformy
Zadanie
i aplikacje ED.
Żródło_k
Żródło_1 Żródło_k
. . .
Żródło_1
M. Muraszkiewicz
strona 30
Narzędzia uniwersalne
Oracle/Darwin Oracle/Thinking Machines
Corporation
Enterprise Miner SAS
Intelligent Miner IBM
Mine Set Silicon Graphics
RD2 Politechnika Poznańska
oprogramowanie Politechnika Warszawska
własne
M. Muraszkiewicz
strona 31
Spostrzeżenia - 1
Zasadniczym warunkiem powodzenia
ED jest udział zlecających prace
specjalistów/ekspertów w fazach:
- definiowania zadania,
- eksperymentów,
- ewaluacji wyników cząstkowych.
M. Muraszkiewicz
strona 32
Spostrzeżenia - 2
To samo zadanie warto rozwiązywać
stosując rożne metody eksploracji danych
(wyniki mogą być zaskakująco różne ! ).
Jeśli wybrano już metodę rozwiązania
zadania, to należy zabiegać o możliwość
prowadzenia eksperymentów na rożnych
zbiorach danych dotyczących tego zadania.
M. Muraszkiewicz
strona 33
Spostrzeżenia - 3
Przetwarzanie wstępne i
końcowe danych stanowią około
85 % czasu przeznaczonego na
rozwiązywanie zadania.
M. Muraszkiewicz
strona 34
Spostrzeżenia - 4
ED jest procesem złożonym,
długotrwałym i kosztownym. Opiera się
na zaawansowanych metodach,
technikach i oprogramowaniu
informatycznym. Zazwyczaj ED wymaga
eksperymentowania, dostrajania i
korzystania z kompetentnych
konsultantów.
M. Muraszkiewicz
strona 35
Nowe terytoria
M. Muraszkiewicz
strona 36
Nowe obszary
" Integration of DM with information retrieval
languages, e.g. SQL;
" Standardization efforts, e.g. PMML (Predictive
Modeling Markup Language); CRISP (standardized
methodology for building Data Mining applications)
" Text/Web Data Mining
- retrieval
- documents classification
- documents clustering
NLP
- summarization
- automatic indexing
- language recognition
- translation
- ...
M. Muraszkiewicz
strona 37
www.icie.com.pl/lect_pw.htm
Dziękuję za uwagę
M. Muraszkiewicz
strona 38
Wyszukiwarka
Podobne podstrony:
Moduł I Ochrona danych w organizacjiEksploracja danych Studia InformatyczneSerwer SQL 2008 Usługi biznesowe Analiza i eksploracja danychIstota i struktury hurtowni danych Zasady eksploracji danychMOduł III nauka i wiedzaecdltest modul 2Test DT moduł 3 4Moduł 1Praca mag Interaktywny system regułowej analizy danych marketingowych dotyczących satysfakcji klie311[15] Z4 02 Klasyfikowanie systemów eksploatacji złóżModul 6więcej podobnych podstron