Hurtownie danych

Powtrzenie i przykady

http://zajecia.jakubw.pl/hur

POJCIA PODSTAWOWE
OLTP a OLAP
Hurtownia danych
Gwne zastosowania hurtowni:

OLAP
DSS (Decision Support Systems), KDD
CRM
inne

ARCHITEKTURA

rda danych
Centralna hurtownia danych
ODS (magazyny danych operacyjnych)
Hurtownie tematyczne
Architektura scentralizowana
Architektura warstwowa
Architektura federacyjna

ARCHITEKTURA
Modele danych
ROLAP
MOLAP

Kostka danych

wymiary
miary
fakty
atrybuty wymiarw

MODEL ROLAP

Model gwiazdy
Model patka niegu
Agregacje
Zwizki midzy modelem gwiazdy a
modelem wielowymiarowym

MODELOWANIE
Model punktowy danych
Poziomy agregacji danych
Optymalizacja agregacji

RETROSPEKCJA
Dane zmienne w czasie zasady
projektowania
Retrospekcja prawdziwa, faszywa.

OPERACJE OLAP

Zwijanie (agregacja)
Rozwijanie
Selekcja
Filtrowanie
Zawanie
Obracanie

ADOWANIE I INTEGRACJA

ETL
Integracja pojciowa
Integracja logiczna
Ekstrakcja z danych rdowych
Czyszczenie i transformacja danych
adowanie do hurtowni

AKTUALIZACJA HURTOWNI
Wykrywanie zmian
Klasyfikacja rde

wsppracujce i niewsppracujce
odpytywalne
z dziennikiem
mechanizm migawek
aktywne
...

Aktualizacja kostek danych

Perspektywy obsugiwalne

PRZETWARZANIE ZAPYTA

Miejsca przetwarzania zapyta

Wykorzystanie redundancji
Rodzaje zapyta wielowymiarowych
Indeksy
Szacowanie wielkoci odpowiedzi

METADANE I JAKO
Magazyn metadanych
Czynniki jakoci hurtowni
Statystyki uycia

PRZYKAD
Dua firma ubezpieczeniowa z
rozbudowanym serwisem internetowym
Zakres danych:
klienci, zawarte umowy ubezpieczeniowe,
wpaty, pokryte szkody;
agenci i oddziay;
statystyki (dzienniki) serwerw internetowych.

Rodzaje analiz: CRM, optymalizacja serwisu

WWW, wykrywanie naduy, analiza
skutecznoci agentw i opacalnoci usug.

PRZYKAD c.d.
rda danych

200 tys. klientw dokonujcych

w sumie rednio 1000
wpat/wypat dziennie

Serwery WWW (15 serwerw w 3 miejscach)

logi

System finansowo-ksigowy (ODS):

wpaty/wypaty

Hurtownia
identyfikacja klienta po zalogowaniu,
innych uytkownikw serwisu nie
identyfikujemy
Bazy danych oddziaw i agentw (4 rne rodzaje aplikacji):
dane dot. zawieranych umw i szkd

28 oddziaw i 76 samodzielnych agentw

w wielu rnych miejscowociach

PRZYKAD c.d.
Analizy internetowe
wykresy,
raporty

czyszczenie i ekstrakcja,
sesjonizacja

Hurtownia

Hurtownia tematyczna
do KDD:
powizania sesji i
uytkownikw, atrybuty
uytkownikw,
klasyfikacje stron,
zalenoci czasowe

Kostka danych: ogldane strony

wymiary:
- czas (dni tygodnia, miesice, lata)
- dokument (typ, zakres tematyczny)
- uytkownik (domena, system)
- poprzednia strona (wyszukiwarka, wewn./zewn.)
miary:
- liczba odwoa, liczba bdw, transfer
Reguy decyzyjne, drzewa: ktrzy uytkownicy
rezygnuj z zapisania si do nowego programu
promocyjnego?
Sie neuronowa: ktr reklam wywietli
danemu uytkownikowi?

PRZYKAD c.d.
Analizy finansowe
wykresy,
raporty

Hurtownia

Hurtownia tematyczna
zachowanie si klientw w
czasie:
rejestracja chronologiczna
zdarze (wysokoci wpat,
zawierane umowy, szkody,
uczestnictwo w programach
promocyjnych),
atrybuty dodatkowe
klientw.

Kostka danych: zawierane umowy

wymiary:
- czas (miesice, lata)
- umowa (rodzaj, okres)
- agent (oddzia, miasto, region)
miary:
- liczba umw (w tym odnowienia), warto
umw, wysoko mary
Reguy decyzyjne, drzewa: ktrzy klienci byliby
skonni zainteresowa si now ofert?
Sie neuronowa: czy ten klient zamierza nas opuci?
Czy ta szkoda wyglda na prb wyudzenia?