Sistemi Informativi Avanzati Anno Accademico 2011/2012 Prof. Domenico Beneventano SQL-OLAP. Estensioni OLAP in SQL

Transcript

1 Sistemi Informativi Avanzati Anno Accademico 2011/2012 Prof. Domenico Beneventano SQL-OLAP Estensioni OLAP in SQL

2 Estensioni OLAP in SQL SQL99 è stato il primo standard SQL ad offrire soluzioni per l analisi dei dati: questa parte dello standard viene chiamata SQL/OLAP I principali operatori di SQL/OLAP sono: CUBE e ROLLUP SQL SERVER offre varie estensione alla clausola SELECT per l analisi dei dati: alcune di queste estensioni sono definite secondo lo standard SQL/ OLAP, altre sono proprie di SQL SERVER Nel seguito vengono introdotti gli operatori CUBE e ROLLUP di SQL/OLAP (considerando la loro implementazione in SQL SERVER). 2

3 Perché operatori OLAP in SQL? L obiettivo è duplice: 1. Effettuare alcune analisi direttamente in SQL, cioè senza usare uno specifico sistema OLAP 2. Avere uno strumento per verificare i risultati del sistema OLAP 1. Individuazione di errori dovuti all alimentazione del cubo del sistema OLAP 2. Verifica del risultato ottenuto con particolari operatori del sistema OLAP L OLAP in SQL è normalmente utilizzato nello schema logico, ovvero nel Data Mart 3

4 Reticolo di roll-up in SQL-OLAP Dato uno Schema di Fatto si considera il suo reticolo di roll-up: in questo modo si conoscono tutti i pattern significativi (quindi si sono già considerate dipendenze funzionali, convergenze, attributi cross-dimensionali, ) il suo schema logico (star o snowflake schema) L obiettivo è utilizzare l SQL-OLAP per realizzare alcuni pattern P, cioè visualizzare i raggruppamenti relativi al pattern P e ai suoi sub-pattern, e calcolare le misure Per indicare il pattern P e tutti i suoi sub-pattern useremo (a volte) il termine reticolo di roll-up di P 4

5 Esempio Fatto VENDITA RAPPRESENTANTE MESE FORNITORE CITTA NEGOZIO SETTIMANA VENDITA QUANTITA GUADAGNO CATEGORIA PRODOTTO Star schema 5

6 Misura QUANTITA additiva: Calcolo delle misure Per eseguire : select P, SUM(QUANTITA) " " " "from VENDITA " " " "group by P!! per semplicità si introduce la vista VENDITA ottenuta come join della Fact Table e delle Dimension Table: in questo modo contiene tutti gli attributi dimensionali del fatto VENDITA e la tutte le misure. 6

7 Estensioni OLAP in SQL Realizzazione del pattern { CITTA,SETTIMANA } e del pattern vuoto {} Una query di raggruppamento (GROUP BY) realizza un singolo pattern Le estensioni OLAP di SQL consentono di realizzare in una singola query di raggruppamento più pattern; in particolare consentono di realizzare un pattern e i suoi (tutti o in parte) sub-pattern Due operatori: CUBE e ROLLUP 7

8 Gli operatori CUBE e ROLLUP GROUP BY A1, A2,, An Realizzazione del pattern di aggregazione {A1, A2,, An } L ordine degli attributi nella GROUP BY è irrilevante. GROUP BY A1, A2,, An WITH CUBE Realizzazione del pattern {A1, A2,, An} e di tutti i suoi sub-pattern (2 n elementi dell insieme potenza di {A1, A2,, An }). L ordine degli attributi nella GROUP BY è irrilevante. GROUP BY A1, A2,, An WITH ROLLUP Realizzazione del pattern {A1, A2,, An} e dei seguenti n sub-pattern {A1, A2,, An-1 } {A1} {} L ordine degli attributi nella GROUP BY è rilevante.

9 Il nuovo operatore CUBE Nei sub-pattern si usa un nuovo valore polimorfo ALL (All Values ): in {CITTA}: ALL nella colonna SETTIMANA indica tutte le settimane; in {SETTIMANA }: ALL nella colonna CITTA indica tutte le citta. Il pattern vuoto {} corrisponde ad una singola riga con tutti ALL L ordine delle righe è irrilevante ed è stabilito dal metodo di esecuzione del DBMS: per ottenere vicine le righe di un pattern occorre ordinare quindi ORDER BY (grouping è introdotta di seguito) {CITTA,SETTIMANA} SELECT CITTA,SETTIMANA, QUANTITA= SUM(QUANTITA) FROM VENDITA GROUP BY CITTA, SETTIMANA WITH CUBE {CITTA} {SETTIMANA} ORDER BY GROUPING(CITTA), GROUPING(SETTIMANA) {} 9

10 L operatore CUBE in SQL-SERVER GROUP BY A1, A2,, An WITH CUBE nel risultato il valore ALL è rappresentato da NULL funzione booleana GROUPING GROUPING(Ai) = 1 se Ai=ALL, 0 altrimenti GROUPING(CITTA)=1 nei pattern che non contengono CITTA, cioè nei pattern che raggruppano su CITTA La funzione GROUPING si può usare solo con gli operatori CUBE e ROLLUP 10

11 L operatore CUBE in SQL-SERVER Con GROUPING nel CASE si può visualizzare ALL, oppure differenziare con un valore differente: 'TutteLeCitta, TutteLesettimane La logica della query non cambia: nel seguito si visualizzerà NULL! 11

12 L operatore CUBE in SQL-SERVER: esempi Pattern {CITTA} e {} Pattern {CITTA,FORNITORE,MESE} e tutti i suoi 2 n -1 sub-pattern 12

13 SQL-OLAP: Reticolo di roll-up di un pattern Dato un pattern P = {A1,., An}, per reticolo di roll-up di P si intende l insieme P e tutti i suoi sub-pattern. Per ottenerlo tramite una singola query SQL-OLAP: 1. si raggruppa rispetto a tutti gli attributi dimensionali 2. si ottengono tutti i sub-pattern tramite WITH-CUBE 3. si eliminano quelli non significativi con HAVING: per eliminare il sub-pattern P1={A1,, Ak}, con k <= n P1 è individuato dalla condizione C_P1: G(A1)=0 AND G(Ak)=0 AND G(Ak+1)=1 AND G(An)=1 quindi HAVING NOT C_P1 Per eliminare più sub-pattern HAVING NOT (C_P1 AND C_P2 ) 13

14 Reticolo di roll-up di un pattern : Esempio P = {MESE, SETTIMANA}, con SETTIMANA MESE Reticolo di roll-up: {SETTIMANA}, {MESE} e {} si deve quindi eliminare {MESE, SETTIMANA} GROUP BY MESE,SETTIMANA WITH CUBE HAVING NOT( G(MESE)=0 AND G(SETTIMANA)=0 ) In una query che visualizza anche MESE il pattern {SETTIMANA} può essere meglio visualizzato, riportando per ogni settimana anche il relativo mese: invece di riportare {SETTIMANA} si riporta {MESE,SETTIMANA} GROUP BY MESE,SETTIMANA WITH CUBE HAVING NOT(G(MESE)=1 AND G(SETTIMANA)=0) 14

15 Reticolo di roll-up di un pattern : Esempio P = {MESE, SETTIMANA}, con SETTIMANA MESE vengono visualizzati {MESE, SETTIMANA}, {MESE} e {} GROUP BY MESE,SETTIMANA WITH CUBE HAVING NOT( G(MESE)=1 AND G(SETTIMANA)=0 ) Realizzare il pattern di una gerarchia, quale {MESE, SETTIMANA}, è una operazione frequente: c è un apposito operatore ROLLUP GROUP BY MESE,SETTIMANA WITH ROLLUP GROUP BY A1,A2,..., An-1, An WITH ROLLUP è una specializzazione di CUBE: per Ai non si riportano le righe ottenute raggruppando i valori delle colonne sulla sinistra, ovvero delle colonne Aj, con j < i 15

16 ROLLUP in SQL-SERVER: ESEMPI roll-up lungo la dimensione NEGOZIO: L operatore ROLLUP può essere applicato ad una sequenza generica, non necessariamente ad una sequenza di attributi dimensionali di una gerarchia: il risultato è comunque poco significativo 16

17 Pattern generici Realizzare il reticolo di roll-up di {CITTA,SETTIMANA,MESE} Si può realizzare con ROLLUP? NO GROUP BY CITTA,MESE,SETTIMANA WITH ROLLUP 17

18 Pattern generici Come realizzare {CITTA,SETTIMANA,MESE}? 1. GROUP BY CITTA,MESE,SETTIMANA WITH CUBE 2. Si considera SETTIMANA MESE : si devono togliere a) {SETTIMANA} che corrisponde a G(CITTA)=1 and G(MESE)=1 and G(SETTIMANA)=0 b) {SETTIMANA,CITTA} che corrisponde a G(CITTA)=0 and G(MESE)=1 and G(SETTIMANA)=0 3. è facile verificare che questo si ottiene con HAVING not (G(MESE)=1 and G(SETTIMANA)=0) 4. In definitiva per considera SETTIMANA MESE anche nei pattern che contengono - altri attributi oltre ai due interessati dalla dipendenza funzionale - si deve sempre usare HAVING not (G(MESE)=1 and G(SETTIMANA)=0) 18

19 L operatore ROLLUP tramite CUBE Una verifica della precedente regola sul pattern {Fornitore,Categoria,Prodotto } con P C e C F GROUP BY F, C, P WITH ROLLUP equivale a GROUP BY F,C,P WITH CUBE HAVING not ( G(C)=1 and G(P)=0 or G(F)=1 and G(C)=0) 19

20 Reticolo di roll-up in SQL-OLAP - Esempio Fatto Esame con condivisione su CITTA ESAME FACOLTA STUDENTE CITTA Pattern: 1. {STUDENTE, FACOLTA } 2. {STUDENTE, FACOLTA_CITTA} 3. {FACOLTA, STUDENTE_CITTA } 4. {STUDENTE_CITTA, FACOLTA_CITTA} 5. {FACOLTA_CITTA} 6. {STUDENTE_CITTA} 7. {STUDENTE} 8. {FACOLTA } 9. {} Star Schema (coincide con SnowFlake Schema) FACT_TABLE(STUDENTE:dtSTUDENTE, FACOLTA:dtFACOLTA) dtfacolta(facolta,citta) dtstudente(studente,citta) 20

21 Reticolo di roll-up in SQL-OLAP - Esempio Per ottenere il reticolo di roll-up complessivo {FACOLTA, FACOLTA_CITTA, STUDENTE, STUDENTE_CITTA } Si utilizza WITH CUBE e si tiene conto delle due FD 1. STUDENTE STUDENTE_CITTA 2. FACOLTA FACOLTA_CITTA quindi avremo la condizione not ( G(STUDENTE_CITTA)=1 and G(STUDENTE)=0 or G(FACOLTA_CITTA)=1 and G(FACOLTA)=0 ) Individuata la logica, la query SQL-OLAP corrispondente è semplice ma un po lunga da scrivere occorre mappare gli attributi dimensionali dello schema di fatto in quelli dello schema logico: ad esempio STUDENTE_CITTA CITTA in dtstudente 21

22 Reticolo di roll-up in SQL-OLAP - Esempio select from S.STUDENTE, S.CITTA AS STUDENTE_CITTA, F.FACOLTA, F.CITTA AS FACOLTA_CITTA FACT_TABLE FT JOIN dtstudente S JOIN dtfacolta F group by S.STUDENTE,S.CITTA,F.FACOLTA,F.CITTA with cube having not (G(S.CITTA)=1 and G(S.STUDENTE)=0 or G(F.CITTA)=1 and G(F.FACOLTA)=0 ) Si noti che non sono riportate le condizioni di join, si intende cioè il natural join (join effettuato sugli attributi comuni) Il discorso è indipendente dalle misure presenti; nella query non è riportata nessuna misura 22

23 Reticolo di roll-up in SQL-OLAP - Esempio Fatto Esame con condivisione su CITTA ESAME STUDENTE CITTA FACOLTA Pattern: 1. {STUDENTE, FACOLTA } 2. {STUDENTE} si visualizza l equivalente {STUDENTE, CITTA} 3. {FACOLTA } si visualizza l equivalente {FACOLTA, CITTA} 4. {CITTA} 5. {} STUDENTE, FACOTA STUDENTE FACOLTA CITTA { } Star Schema (coincide con SnowFlake Schema) FACT_TABLE(STUDENTE:dtSTUDENTE, FACOLTA:dtFACOLTA) dtfacolta(facolta,citta) dtstudente(studente,citta) 23

24 Reticolo di roll-up in SQL-OLAP - Esempio Rispetto al caso di condivisione è più semplice: la CITTA si può prendere da una delle due dimension table, ad esempio dtstudente, quindi non serve più il join con l altra select from S.STUDENTE, CITTA, FACOLTA FACT_TABLE FT JOIN dtstudente S group by S.STUDENTE, CITTA, FACOLTA with cube having not (G(CITTA)=1 AND G(S.STUDENTE)=0 OR G(CITTA)=1 AND G(F.FACOLTA)=0 ) 24

25 SQL-OLAP: aggregabilità delle misure Fatto ESAME con misura NUMESAMI non aggregabile rispetto alla dimensione FACOLTA, non è possibile calcolare il valore di NUMESAMI per i pattern che aggregano rispetto alla dimensione FACOLTA, ovvero che non contengono FACOLTA: {MATR} e {} ESAME VOTO (AVG) NUMESAMI FACOLTA MATR Eventi Primari Fact table FT_ESAME(FACOLTA,MATR,VOTO,NUMESAMI) 25

26 SQL-OLAP: aggregabilità delle misure Fatto ESAME con misura NUMESAMI non aggregabile rispetto alla dimensione FACOLTA, non è possibile calcolare il valore di NUMESAMI per i pattern che aggregano rispetto alla dimensione FACOLTA, ovvero che non contengono FACOLTA: {MATR} e {} ESAME VOTO (AVG) NUMESAMI FACOLTA MATR Eventi Primari Fact table FACT_TABLE(FACOLTA,MATR,VOTO_SUM, VOTO_COUNT,NUM_ESAMI) 26

27 SQL-OLAP: aggregabilità delle misure Con WITH CUBE visualizziamo tutti i pattern SELECT FACOLTA,MATR, VOTO=SUM(VOTO_SUM)/SUM(VOTO_COUNT), NUM_ESAMI=SUM(NUM_ESAMI) FROM FACT_TABLE GROUP BY FACOLTA,MATR WITH CUBE {FACOLTA,MATR} {FACOLTA} {MATR} {} 27

28 SQL-OLAP: aggregabilità delle misure Per i pattern che aggregano rispetto a FACOLTA, caratterizzati cioè da GROUPING(FACOLTA)=1 si può: 1. eliminare tali pattern (se non ci sono altre misure) 2. visualizzazione particolare della misura non aggregabile 3. non visualizzare la misura non aggregabile SELECT FACOLTA,MATR, VOTO=SUM(VOTO_SUM)/SUM(VOTO_COUNT), NUMESAMI=SUM(NUMESAMI) FROM FACT_TABLE GROUP BY FACOLTA,MATR WITH CUBE HAVING NOT GROUPING(FACOLTA) = 1 {FACOLTA,MATR} {FACOLTA} 28

29 SQL-OLAP: aggregabilità delle misure Come visualizzazione particolare si può aggiungere un * (oppure riportarli con il segno -, così non devo convertirlo) SELECT FACOLTA,MATR, VOTO=SUM(VOTO_SUM)/SUM(VOTO_COUNT), NUM_ESAMI = CASE WHEN GROUPING(FACOLTA) = 1 THEN CAST(SUM(NUM_ESAMI) AS CHAR(5)) + '*' ELSE CAST(SUM(NUM_ESAMI) AS CHAR(5)) END FROM FACT_TABLE GROUP BY FACOLTA,MATR WITH CUBE per non visualizzare la misura basta riportare THEN ' ' {FACOLTA,MATR} {FACOLTA} {MATR} {} 29

30 SQL-OLAP:esempio Schema di Fatto Operazione REGIONE CITTA BANCA condivisione su CITTA STATO CLIENTE OPERAZIONE NUMEROTOTALE (C) IMPORTOMEDIO (AVG) DATA MESE TIPO ANNO Eventi primari Pattern {}, {TIPO}, {BANCA} 30

31 SQL-OLAP:esempio Progetto logico: SnowFlake schema Si suppone IMPORTOMEDIO calcolata come IMPORTOTOTALE/NUMEROTOTALE FACT_TABLE(CLIENTE:dtCLIENTE,BANCA:dtBANCA,DATA:dtDATA,TIPO,!!NUMEROTOTALE,IMPORTOTOTALE)!!! dtdata(data,mese:dtmese)!!dtmese(mese,anno)!! dtcliente(cliente,citta:dtcitta)!! dtbanca(banca,citta:dtcitta)!! dtcitta(citta,regione:dtregione)!!dtregione(regione,stato)!! 31

32 SQL-OLAP:esempio Per realizzare con una singola query i pattern {}. {TIPO} e {BANCA}, si considera il GROUP BY WITH CUBE rispetto all unione di tutti gli attributi richiesti (ovvero TIPO e BANCA) e poi si selezionano i singoli pattern richiesti tramite HAVING, in cui si scrivono in OR le espressioni dei singoli pattern richiesti SELECT TIPO,BANCA, SUM(IMPORTOTOTALE)/SUM(NUMEROTOTALE) AS IMPORTOMEDIO, SUM(NUMEROTOTALE) AS NUMEROTOTALE FROM FACT_TABLE GROUP BY TIPO,BANCA WITH CUBE HAVING (GROUPING(TIPO)=0 AND GROUPING(BANCA)=1 ) or (GROUPING(TIPO)=1 AND GROUPING(BANCA)=0 ) or (GROUPING(TIPO)=1 AND GROUPING(BANCA)=1 ) Si può semplificare: HAVING NOT (GROUPING(TIPO)=0 AND GROUPING(BANCA)=0 ) 32

33 SQL-OLAP:esempio {CLIENTE_CITTA,BANCA_CITTA}, per la misura IMPORTOMEDIO SELECT C.CITTA AS CLIENTE_CITTA, B.CITTA AS BANCA_CITTA, SUM(IMPORTOTOTALE)/SUM(NUMEROTOTALE) AS IMPORTOMEDIO FROM FACT_TABLE F JOIN dtcliente C JOIN dtbanca B GROUP BY C.CITTA, B.CITTA WITH CUBE Pattern {CLIENTE_CITTA,BANCA_CITTA} limitato ai casi di convergenza su CITTA. Si può aggiungere la condizione nell HAVING GROUP BY C.CITTA, B.CITTA WITH CUBE HAVING C.CITTA = B.CITTA oppure: SELECT CITTA AS CLIENTE_CITTA, CITTA AS BANCA_CITTA, SUM(IMPORTOTOTALE)/SUM(NUMEROTOTALE) AS IMPORTOMEDIO FROM FACT_TABLE F JOIN dtcliente GROUP BY CITTA WITH CUBE 33