Indicizzazione e ricerca delle immagini

Transcript

1 Indicizzazione e ricerca delle immagini E un settore della ricerca dove sono stati raggiunti risultati molto importanti e avanzati. Ora tali tecniche sono anche incluse nei database relazionali di tipo commerciale. Nell indicizzazione e ricerca si distinguono 4 approcci diversi basati su: 1. Memorizzazione di attributi strutturati 2. Riconoscimento degli oggetti 3. Annotazioni libere 4. Estrazione di feature di basso livello 1) e 3) rientrano nei metodi tradizionali 2) e 4) fanno parte del content-based image retrieval Memorizzazione di attributi strutturati Si basa sulla memorizzazione di informazioni per ognuna delle immagini organizzate in maniera rigida: Nome del file, data di creazione, autore, categoria dell immagine, soggetto, ecc L indicizzazione e la ricerca possono essere effettuate con tecniche standard dei DBMS Il problemi che si pongono sono: Gli attributi possono non descrivere in maniera completa le immagini Le query sono limitate ai soli attributi memorizzati

2 Riconoscimento degli oggetti Si basano su tecniche sofisticate di estrazione di feature e di algoritmi di riconoscimento degli oggetti presenti nella scena Caratteristiche: Sono computazionalmente molto pesanti Richiedono algoritmi estremamente ricercati Funzionano bene in domini applicativi ristretti Sono argomento di ricerca avanzata Annotazioni libere (Text-based image retrieval) Le immagini sono descritte con testo libero (non controllato). Le query sono nella forma di parole chiave o testo libero con o senza l utilizzo di operatori booleani La ricerca usa gli algoritmi convenzionali di IR (Information retrieval) basati sulla ricerca di similarità tra query e testo descrittivo delle immagini Essendo una tecnica manuale, sorgono alcuni problemi: Il testo deve essere il più possibile completo e consistente E necessario l utilizzo di un dizionario per ricercare anche su sinonimi (uomo/donna/bambino = persona) Il testo introdotto potrebbe essere soggettivo serve l utilizzo delle tecniche di relevance feedback Vantaggi: può catturare anche concetti di alto livello o astratti presenti nell immagine (persona che sorride o è triste)

3 Estrazione di feature di basso livello Sono tecniche di indicizzazione e ricerca basate sul contenuto (content-based) Possono prendere in considerazione una o più delle seguenti caratteristiche: COLORE FORMA TEXTURE Molti sistemi reali sono basati su tali metodi Algoritmi basati sull analisi del colore Ogni immagine è memorizzata assegnando ai pixel tre valori numerici ad ognuno dei canali di colore (ad esempio RGB) Ogni canale è discretizzato in m intervalli: il numero totale di combinazioni diverse (bins) è m 3 (es: 16 intervalli 4096 bins) Si definisce ISTOGRAMMA di COLORE: il vettore H(M) = (h 1, h 2,, h j, h n ) dove h j rappresenta il numero di pixel dell immagine M che ricadono nel bin j.

4 Indicizzazione su istogramma di colore Per ogni immagine viene calcolato l istogramma di colore H(M) che verrà poi utilizzato come indice dell immagine M. Per la ricerca delle immagini nel DB serve definire una misura di distanza tra l istogramma dell immagine query e quelli delle immagini contenute nel database. La misura di distanza più semplice è data da: d( I, H ) = n l= 1 i l h l dove i l e h l sono il numero pixel delle immagini I e H che ricadono nel bin l Esempio di calcolo della distanza Supponiamo 3 immagini 8x8 pixels aventi i seguenti istogrammi: H 1 = (8, 8, 8, 8, 8, 8, 8, 8) H 2 = (7, 7, 7, 7, 9, 9, 9, 9) H 3 = (2, 2, 10, 10, 10, 10, 10, 10) Le distanze tra le immagini sono: d(h 1, H 2 ) = =8 d(h 1, H 3 ) = =24 d(h 2, H 3 )= =23 Quindi 1 e 2 sono più simili che 1 e 3 o 2 e 3 Tale metodo di base è soggetto ad una serie di problemi e può fornire risultati fortemente incorretti se non si applicano delle varianti necessarie per trattare in maniera migliore l informazione sul colore.

5 Problemi relativi all indicizzazione tramite istogramma del colore La discretizzazione dello spazio dei colori in classi (bins) non tiene conto della similarità dei colori: Due bins adiacenti vengono considerati totalmente diversi Il posizionamento della linea di demarcazione tra i bins influisce fortemente sull istogramma e sul calcolo della distanza La rappresentazione dei colori non e univoca: Dipendenza dal sistema di rappresentazione Dipendenza dal device Istogrammi del colore e similarità L esempio precedente non considera la similarità tra i colori dei bins: due immagini con colori percepiti come similari ma numericamente diversi risultano molto distanti tra di loro. Esempio: supponiamo di avere due bin che rappresentano gli insiemi di colori 1-10 e (dove colori con numeri vicini sono simili tra di loro) il colore 10 viene assegnato al bin 1, i colori 11 e 20 vengono assegnati al bin 2 Per paradosso il colore 11 viene considerato uguale al 20 ma diverso dal 10 Sono stati proposti vari metodi per superare tale problema: Distanza tra i bins Istogramma cumulativo Istogramma pesato percettivamente

6 Distanza tra i bins definita come z la misura di similarità calcolata bin-per-bin (l inverso della distanza), si può definire l istogramma Z di similarità tra due istogrammi X ed Y nel seguente modo: T Z = Z AZ a( i, j) = 1 d( ci, c j ) / dmax Dove d(c i,c j ) è la distanza tra i colori in uno spazio di uniforme e d max è la distanza massima tra due colori Se due colori sono molto diversi d(c i,c j ) e prossima a d max e a(i, j) e vicino a 0 il che porta un contributo al calcolo della similarità Istogramma cumulativo Non prende in considerazione la distanza tra i bin ma risolve (in parte) il problema creando delle classi cumulative. Un istogramma cumulativo per un immagine M e definito come: CH(M) = (ch 1, ch 2,, ch n ) Dove i singoli elementi vengono determinati da: ch i = h j j i Per il calcolo della distanza si usa la normale distanza euclidea. Il metodo funziona bene per valori bassi di i, mentre per valori alti non riflette la similarità tra i colori

7 Istogramma pesato percettivamente (PWH) la similarità tra i colori viene considerata direttamente nella costruzione dell istogramma e non nel calcolo della distanza tra istogrammi (ogni pixel contribuisce con un peso diverso a seconda della similarità a tutti i bin di colori) In genere il PWH e il metodo che fornisce i risultati migliori Rappresentazione dei colori Una corretta rappresentazione dei colori è fondamentale per ogni algoritmo di indicizzazione e ricerca delle immagini. La luce visibile è una radiazione elettromagnetica con lunghezza d onda tra 400 e 780 nm. Differenti lunghezze d onda producono differenti sensazioni di colore Le tre proprietà fisiche delle radiazioni di colore sono la luminanza (illuminazione), la tinta (il colore) e la saturazione (la purezza)

8 Sistemi di rappresentazione dei colori Ogni colore può essere rappresentato, in maniera fisica, attraverso la distribuzione dell energia radiante alle varie lunghezze d onda SPD (Spectral Power Distribution) SPD e il modo più accurato per la specifica di un colore ma non descrive la relazione tra le proprietà fisiche del colore e la sua percezione visiva Non e un formato altrettanto conveniente rispetto alle rappresentazioni numeriche RGB (RED, GREEN, BLU) Dipendente dal device: La visualizzazione del colore non dipende solo dal valore numerico RGB ma anche dalle specifiche del device (correzione gamma) Esistono diversi spazi di colore RGB Differiscono per la definizione dei colori primari all interno dello spazio di colore indipendente dal device (Standard CIE) E possibile effettuare conversioni tra i diversi spazi se sono note le specifiche delle primitive R, G, B. Non e PERCETTIVAMENTE UNIFORME: Le distanze tra i colori calcolate nello spazio RGB non riflettono la distanza tra i colori percepita Non e la migliore rappresentazione da utilizzare nell indicizzazione e ricerca delle immagini

9 Correzione Gamma Ogni strumento di acquisizione o di riproduzione di colori applica una funzione non lineare alla intensità di luce catturata/emessa in relazione al segnale in volts emesso/applicato Luminanza = V gamma Il fattore 1/gamma e detto Correzione Gamma e serve a neutralizzare la non linearità del dispositivo V = (V) 1/gamma Le due funzioni vengono dette di trasferimento Step della correzione gamma Il sensore della macchina fotografica converte la luce in segnale elettrico in modo non lineare secondo la relazione V gammac =Luminanza La correzione con gammac produce un segnale lineare in voltaggio. Il segnale in voltaggio (lineare) viene inviato al monitor che lo trasforma in voltaggio non lineare attraverso la relazione: V = (V) 1/gammaM Il monitor converte il segnale non lineare in luminosità lineare

10 Altri metodi di rappresentazione CIELuv e CIELab: Indipendenti dal device Percettivamente uniformi HSI (Hue, Saturation, Intensity e HVC (Hue, Value, Chroma): Vicini al modo di descrivere i colori da parte dell uomo Sono percettivamente uniformi ma dipendenti dal device La conversione da uno spazio all altro e possibile se sono specificate le primarie nello spazio CIE Problemi di indicizzazione e ricerca legati allo spazio di colore Nella ricerca e indicizzazione delle immagini basate sul colore e necessario assumere che tutte le immagini siano rappresentate nello stesso spazio di colore e che il valore dei loro pixel rappresentino la stessa cosa Data un immagine nel formato RGB non e possibile interpretarla correttamente: Non vengono indicate le definizioni delle primitive RGB e quindi non e possibile interpretare l immagine in uno spazio comune Non viene indicato il valore della correzione gamma applicata dal device che ha prodotto l immagine Tutti i formati immagine più usati (GIF, JPEG, TIFF, ecc) non contengono informazioni sulle primitive dello spazio di colore e sulla correzione gamma usata. Il nuovo TIFF 6.0 contiene anche queste informazioni

11 Utilizzo delle relazioni spaziali tra i pixel La seconda limitazione dei sistemi di indicizzazione di immagini basate sui colori consiste nel fatto che generalmente vengono ignorate le relazioni spaziali tra i pixel. Per esempio le due immagini seguenti verrebbero sempre considerate uguali: Per risolvere il problema si possono utilizzare tecniche che prevedono di suddividere le immagini in porzioni più piccole e applicare le tecniche basata su istogrammi alle sotto-regioni corrispondenti delle immagini Mascheramento ad opera dello sfondo Gli istogrammi sono fortemente condizionati dalla presenza di grandi blocchi di colore omogeneo e risulta che le immagini che contengono un oggetto in primo piano siano trattate in maniera errata in quanto nell istogramma i pixel dello sfondo sono maggiormente rappresentati e mascherano l oggetto in primo piano. Esempio: Immagine 1: macchina rossa su uno sfondo nero asfalto Immagine 2: macchina rossa sullo sfondo di un tappeto marrone Immagine 3: macchina blu sullo sfondo di un tappeto marrone 2 e 3 sono considerate più vicine rispetto a 1 e 2 La soluzione può consistere nel suddividere le immagini, con tecniche di segmentazione automatiche o semiautomatiche, in soggetto e sfondo e quindi calcolare separatamente i due istogrammi usandoli singolarmente o insieme

12 Indicizzazione e ricerca basate sulla forma Si basa su algoritmi di segmentazione delle immagini che sono in grado di suddividere una immagine in singoli oggetti attraverso metodi automatici o semiautomatici. I sistemi efficienti in tale ambito devono possedere le seguenti proprietà: Ogni forma deve avere una rappresentazione unica, invariante rispetto a traslazione, rotazione o scala Forme simili devono avere una rappresentazione similare in modo tale che la ricerca possa essere basata sulla distanza tra la rappresentazione delle forme Il processo di ricerca è spesso realizzato in modalità query by example e il sistema ritorna come risposta la forma che meglio approssima quella disegnata dall utente Definizioni ASSE MAGGIORE: è il segmento che congiunge i due punti della forma che sono più distanti fra di loro ASSE MINORE: è il segmento perpendicolare all asse maggiore e tale che il rettangolo il cui lati sono paralleli ai due assi racchiuda completamente l intera forma RETTANGOLO DI BASE: il rettangolo descritto nella precedente ECCENTRICITA : rapporto tra la lunghezza dell asse maggiore e la lunghezza dell asse minore Questi sono alcune caratteristiche di base che forniscono una prima caratterizzazione delle forme e sono utilizzati durante l indicizzazione e la ricerca

13 Descrizioni numeriche delle forme Sono stati valutati diversi metodi per la descrizione numerica delle forme, tra questi citiamo: Metodi basati su formulazioni matematiche che descrivono un immagine come funzione f(x,y) dove x e y sono le coordinate di un pixel: Momenti invarianti Momenti centrali normalizzati Metodi che cercano di descrivere le forme utilizzando le coordinate dei punti che le definiscono Metodo dei descrittori di Fourier Istogramma dei lati significativi Lista ordinata dei punti interessanti Elastic template matching Trattano con qualche difficoltà l invarianza rispetto alle traslazioni, rotazioni e cambiamenti di scala necessari per ottenere un buon sistema di indicizzazione e ricerca basato sulle forme. Rappresentazione delle forme basata su REGIONI E una metodica semplice ma che ha fornito risultati molto promettenti. Data una forma, vi sovrapponiamo una griglia regolare che la contenga pienamente. Quindi consideriamo ogni cella e assegniamo 1 o 0 a seconda se tale cella risulta più o meno coperta dalla forma. Quindi otteniamo la stringa binaria che rappresenta la forma leggendo gli 1 o 0 da sinistra a destra e dall alto al basso. Esempio: Rap:

14 Normalizzazione rispetto alle rotazioni Per ottenere l invarianza rispetto alla rotazione, la forma viene ruotata in modo tale che il suo asse maggiore sia allineato con l asse X (orizzontale) Avremo 2 possibilità ottenute attraverso una rotazione di 180 : X X Y Y Invece di memorizzare 2 stringhe binarie nel database si preferisce trattare le due rotazione al momento della ricerca e, data una forma da ricercare, effettuare 2 ricerche diverse applicando all immagine di esempio e la sua rotazione di 180 Normalizzazione rispetto ai cambiamenti di scala Viene trattata scalando proporzionalmente tutte le forme del database in modo tale che abbiano lo stesso asse maggiore in termini di numero di pixel Selezionato un cellsize della griglia (normalmente 10x10 pixel o 20x20 pixel) e applicando le normalizzazioni per rotazioni e scala, ogni forma può essere rappresentata da una stringa binaria + l eccentricità della forma Se, ad esempio, ogni forma occupa 8 celle in direzione x (direzione del suo asse maggiore) il numero di celle occupate in direzione y può variare da 1 a 8

15 Calcolo della similarità Se due forme hanno la stessa eccentricità (e quindi la loro stringa binaria ha uguale lunghezza), la distanza tra di loro si calcola come numero di posizioni delle stringhe che hanno valore diverso Esempio: tra e la distanza è 3 Se due forme hanno eccentricità molto diversa tra di loro, non c e alcun bisogno di calcolare la similarità in quanto possiamo assumere che siano molto diverse Se due forme hanno eccentricità diversa di poco, si possono aggiungere zeri alla stringa che descrive la forma più bassa e quindi applicare la distanza come sopra Forme speculari Possono sorgere problemi dovuti a forme speculari orizzontalmente o verticalmente: Anche in questo caso si preferisce non appesantire il database memorizzando 2 sequenze come indice della forma, ma piuttosto Y effettuare un maggior numero di ricerche applicando tali trasformazioni alla forma da ricercare X X (considerando anche la rotazione di 180, ogni ricerca dovrà essere realizzata con 4 stringhe diverse) Y

16 Riepilogo Un sistema di indicizzazione e ricerca di forme basato su Regioni può essere realizzato in modo che sia invariante a rotazioni, traslazioni, scalatura e trasformazioni speculari, nel seguente modo: 1. Si determinano gli assi maggiore e minore e l eccentricità della forma 2. Si ruota la forma in modo che l asse maggiore coincida con l asse X 3. Si scala la forma in modo che l asse maggiore abbia una lunghezza prefissata 4. Si sovrappone un grigliato regolare alla forma 5. Si assegnano 1 e 0 alle celle e si calcola la stringa binaria scorrendo le celle del grigliato da sx a dx e dall alto in basso 6. L indice della forma è costituito dalla stringa binaria e dal numero di celle che la forma occupa in direzione Y (le due informazioni sono memorizzate nel database come rappresentazione della forma stessa) Durante la ricerca la forma da trovare è processata in maniera analoga ottenendo 4 stringhe diverse (rotazione di 180 e 2 mirroring) e per ogni forma presente nel database che ha una eccentricità simile si calcola la distanza (si considera la distanza minima tra le quattro rappresentazioni della forma) Metodi basati sulle texture Tale caratteristica descrive una percezione dell immagine che è difficilmente descrivibile me che ha a che fare con: Granularità (fine o grossa) Contrasto Direzionalità Regolarità ecc Ci sono esempi di sistemi reali che utilizzano una misurazione matematica (più o meno sofisticata) di tali concetti e la utilizzano per indicizzare e ricercare immagini.

17 Altri metodi Memorizzazione dei parametri che rappresentano l immagine in formato compresso Ad esempio: i coefficienti DCT nella compressione JPEG o i coefficienti Wavelet nella compressione wavelet Memorizzazione basata su un modello che descrive l immagine Ad esempio: utilizzo delle tecniche di compressione FRATTALE Memorizzazione delle relazioni tra gli oggetti che sono presenti in una immagine E simile all utilizzo della informazione topologica nei GIS e consente di inviare al sistema richieste quali: trova tutte le immagini contenenti un lago vicino ad una montagna oppure trova le immagini contenenti una autostrada sulla sinistra di una foresta