x n i sima pos. x, y = x T y = x i y i R. i=1

Transcript

1 1 Elementi di Algebra Lineare In questo capitolo introduttivo al corso di Calcolo Numerico per la laurea triennale in Informatica, saranno presentate una serie di definizioni e proprietà di matrici e dei vettori e le notazioni che verranno utilizzate nel corso 2 I vettori Vettore riga x R 1 n, x = [x 1, x 2,, x n ]; x 1 x 2 Vettore colonna x R n 1, x = Vettore nullo o = [0, 0,, 0] T x n i sima pos Vettori della base canonica e i = [0, 0,, 1,, 0, 0] T Siano x, y R n, si definisce il prodotto scalare tra i vettori x e y: ; x, y = x T y = x i y i R Il prodotto scalare tra vettore soddisfa le seguenti proprietà: assegnati i vettori x, y, z R n e α R risulta che x, x = (x T x) = 0 se e solo se x = 0 x T y = y T x x T (αy) = αx T y x T (y + z) = x T y + x T z i=1 Due vettori x, y R n si dicono ortogonali se x T y = 0; n vettori non nulli x i, i = 1,, n si dicono ortogonali se x T i x j = 0, n vettori non nulli x i, i = 1,, n si dicono ortonormali se i j x T i x j = δ ij, essendo δ ij il delta di Kronecker, cioè δ ij = 1 i = j 0 i j Assegnati n vettori non nulli x i R n, i = 1,, n, questi si dicono linearmente indipendenti (li) se n i=1 α ix i = 0 α i = 0 i Se n vettori non nulli x i R n, i = 1,, n, essi costituisco una base di R n se essi risultano li ed inoltre costituisco un sistema di generatori dell intero spazio, cioè ogni vettore y R n si può scrivere come una combinazione lineare: y = α i x i i=1 1

2 Fra le diverse basi di R n richiamiamo la base canonica formata dai vettori e 1, e 2,, e n R n, ove ciascun e i del tipo 0 0 e i = 1 i sima componente 0 0 In R n sono particolarmente importanti le basi ortonormali Il seguente algoritmo, noto come Metodo di Gram-Schmith, ci permette di costruire una base ortonormale a partire da n vettori x i assegnati Siano x 1, x 2,, x n C n n vettori linearmente indipendenti Allora i vettori y 1, y 2,, y n cosi costruiti t 1 = x 1, y 1 = t 1 / t H 1 t 1 i 1 t i = x i (yj H x i )y j, y i = t i / t H i t i i = 2,, n j=1 sono ortonormali Dimostrazione Osserviamo che i vettori y i sopra definiti hanno tutti lunghezza uguale ad 1 quindi l unico punto da dimostrare è l ortogonalità La dimostrazione procede per induzione Per k = 2 calcoliamo t H 2 y 1 = ( x 2 (y H 1 x 2 )y 1 ) H y1 = ( ) x H 2 (y1 H x 2 )y1 H y1 = quindi x H 2 y 1 (y H 1 x 2 )y H 1 y 1 = 0 y H 2 y 1 = th 2 y 1 t H 2 t 2 = 0 Supponiamo l asserto vero per k 1 vettori e proviamolo per il k-esimo Per ipotesi allora yi Hy i = 0, per i, j = 1,, k 1, i j Calcoliamo k 1 t H k y i = x k (yj H x k )y j = x H k j=1 k 1 j=1 H y i (yj H x k )yj H y i k 1 = x H k y i (yj H x k )yj H y i = j=1 = x H k y i (x H k y i)y H i y i = 0 2

3 quindi y H k y i = 0 3 Le matrici Una matrice A è una tabella di numeri reali (o complessi) con n righe ed m colonne che viene generalmente denotata A = (a ij ) = (a ij ) i=1,,n,j=1,,m, ove il primo indice i individua la posizione di un elemento sulla riga, ed il secondo indice j stabilisce la posizione dell elemento sulla colonna (i è comunemente chiamato indice di riga e j indice di colonna): A = col2 colj a 12 a 1j a 21 a 22 a 23 a 2j a 2m a 31 a 32 a 33 a 34 a 3j a 3m a i1 a i2 a i,j 1 a ij a i,j+1 a im col 1 a 11 colm a 1m a n1 a n2 a nj a mn riga 1 riga 2 riga 3 riga i riga n Una matrice A si dice quadrata quando il numero n delle righe coincide con il numero m delle colonne, rettangolare altrimenti Speciali esempi di matrici sono la matrice nulla O R n m avente elementi tutti uguali a zero; una matrice A R n n seguente proprietá si dice triangolare superiore se i suoi elementi soddisfano la a i,j = 0 per i > j; una matrice A R n n si dice triangolare inferiore se i suoi elementi soddisfano la seguente proprietá a i,j = 0 per i < j; una matrice A R n n si dice diagonale se: a i,j = 0, per i j; Di seguito sono riportati alcuni esempi di matrici triangolari e diagonali Ecco come si presenta un a generica matrice triangolare inferiore a a 21 a 22 0 A = a 31 a 32 a 33 0 a n1 a n2 a n 1,n a nn Un esempio di matrice triangolare inferiore A R 4 4 è A =

4 Ecco come si presenta una generica matrice triangolare superiore: a 11 a 12 a 1n 0 a 22 a 2n A = 0 0 a 33 a 3n a nn Un esempio di matrice A R 3 3 triangolare superiore è A = Una generica matrice diagonale è data da a a 22 0 A = 0 0 a a nn Una particolare matrice diagonale è la matrice identica (anche detta matrice identità) di ordine n), definita come segue: I = DEF: Una matrice si dice triangolare superiore (risp inferiore) in senso stretto se è triangolare superiore (rispettivamente inferiore) ed i suoi elementi diagonali sono nulli (cioè a ij = 0 per i j (rispettivamente i j)) DEF: Data una matrice A R n m, si dice matrice trasposta della matrice A e si indica con A T, la matrice B = A T di elementi b ij = a ji Di seguito è illustrato un esempio di matrice 4 2 e la sua trasposta (che risulta una matrice 2 4): A = A T = ( DEF: Una matrice A R n n si dice simmetrica se A = A T Ecco un esempio di matrice simmetrica: DEF: Una matrice A R n n si dice anti-simmetrica se A T = A Ecco un esempio di matrice anti-simmetrica: ) 4

5 DEF: Data una matrice A C n m di numeri complessi a ij C a ij = x + iy, x, y R, i = 1 si dice matrice trasposta complessa coniugata della matrice A e si indica con A H, la matrice avente quali elementi: essendo a ji = x iy B = A H = (b ij ) = (a ji ), i = 1,, n, j = 1,, m DEF: Una matrice A C n n si dice Hermitiana se A H = A Un esempio di matrice Hermitiana è dato dalla seguente matrice 3 3: 0 2 i i i 1 + 4i 6 1 4i 0 DEF: Una matrice A C n n si dice anti-hermitiana se A H = A DEF: Si dice sottomatrice di una matrice A C n m una matrice ottenuta dalla matrice A eleminando un certo numero di righe e di colonne dalla matrice DEF: Una matrice A si dice a predominanza diagonale per righe se i suoi elementi verificano le condizioni: a i,i > a i,k ; i k i in altri termini, il modulo di ogni elemento diagonale è più grande della somma dei moduli degli elementi extra diagonali della stessa riga Si può dimostrare che una matrice a predominanza diagonale per righe è non singolare e quindi il suo determinante risulta diverso da zero 4 Operazioni tra matrici Consideriamo due matrici A, B R n m, (aventi lo stesso numero di righe e di colonne) Si definisce C = A + B, la matrice avente elementi: c ij = a ij + b ij, i = 1,, n, e j = 1,, m C = A B, la matrice avente elementi: c ij = a ij b ij i = 1,, n, e j = 1,, m C = αa, con α R (o C), la matrice avente elementi: c ij = αa ij i = 1,, n, e j = 1,, m Consideriamo due matrici A R n m e B R m p Se il numero delle colonne della prima matrice coincide con il numero di righe della seconda matrice si può definire la matrice prodotto C = AB R n p, avente elementi: c ij = m a ik b kj, k=1 Il prodotto tra matrici soddisfa le seguenti proprietà i = 1,, n, j = 1,, p 5

6 l operazione di prodotto tra due matrici non è commutativa; il prodotto di una matrice per la matrice identica I (utilizzando le opportune dimensioni) è tale che: AI = IA = A (se ci limitiamo a considerare l insieme delle matrici reali n n la precedente proprietà indica che la matrice identica di ordine n rappresenta l elemento neutro per la moltiplicazione in R n n ) Date A, B R n m e C R m p e D R l n allora (A + B)C = AC + AB (propr distributiva a destra) D(A + B) = DA + DB (AB)C = A(BC) (propr distributiva a sinistra) (propr associativa) Date A, B R n m allora: (AB) T = B T A T 5 Determinante di una matrice quadrata Sia A R n n, una matrice quadrata di ordine n Si dice determinante della matrice A, il numero definito da: det(a) = π P sign(π)a 1π1 a 2π2 a nπn essendo π una permutazione dell insieme (1, 2,, n), e P l insieme di tutte le possibili permutazioni di (1, 2,, n) e sign(π) = ±1, a seconda che sia pari o dispari il numero degli scambi da effettuare su π per riportarlo a (1, 2,, n) Il determinante di una matrice puo essere calcolato utilizzando la Regola di Laplace Indicata con A ij la sottomatrice quadrata di ordine n 1 ottenuta da A eliminando la i-sima riga e la j-sima colonna Allora a 11 se n = 1 det(a) = ( 1) i+j a ij det(a ij ) se n > 1 j=1 DEF: Una matrice quadrata A R n n si dice non singolare se det(a) 0 Assegnate due matrici A, B R n n, non singolari allora il determinante soddisfa le seguenti proprietà: det(ab) = det(a)det(b); det(a T ) = det(a); se A C n n allora: det(a H ) = det(a); se A è una matrice triangolare det(a) = det(i) = 1; il determinante della matrice A è nullo se n i=1 a ii 6

7 se gli elementi di una riga o una colonna sono tutti uguali a zero; se una riga (risp colonna) è combinazione lineare di una o più righe (rispettivamente colonne) DEF: Sia A R n n una matrice non singolare Si dice inversa della matrice A e si denota con A 1, la matrice n n tale che: AA 1 = A 1 A = I, essendo I la matrice identica di ordine n Siano A, B R n n non singolari, allora: det(a 1 ) = 1 det(a) ; (A T ) 1 = (A 1 ) T ; se A è una matrice complessa (A H ) 1 = (A 1 ) H (AB) 1 = B 1 A 1 (A 1 ) 1 = A DEF: Una matrice A R n n si dice ortonormale se A T A = I in particolare per le matrici ortonormali valgono le seguenti equivalenze: A T A = I; AA T = I; A 1 = A T ; i vettori colonna di A sono ortonormali; i vettori riga di A sono ortonormali; Ax 2 = x 2 per ogni x In particolare il determinante di una matrice ortonormale è diverso da zero, infatti: 1 = det I = det(aa T ) = det(a) det(a T ) = det(a) 2 det A = 1 DEF: Una matrice A C n n si unitaria se A H A = I Il primo esempio di matrice ortonormale è la matrice identica, infatti i suoi vettori riga sono ortonormali Una matrice P ottenuta dalla identica I scambiando di posto le righe, ha comunque i vettori riga ortonormali e quindi risulta ortonormale Queste matrici si chiamano matrici di permutazione 6 Prodotto matrice vettore Sia A R n m e sia x R m 1 un vettore colonna matriciale della matrice A per il vettore x dato da (Ax) i = a ik x k, k=1 Allora è possibile considerare il prodotto i = 1,, m 7

8 Sia A R n m e sia x R n 1 Allora è possibile considerare il prodotto matriciale della matrice A per il vettore riga x T dato da (x T A) i = a ki x k, k=1 i = 1,, n Le matrici ortogonali conservano il prodotto scalare, cioè se A R n n ortogonale, ed x R n allora Ax, Ax = x, x dim Infatti, consideriamo il prodotto scalare tra Ax e se stesso Ax, Ax = (Ax) T (Ax) = x T A T Ax = (essendo A T A = I) = x T Ix = x T x Si osservi che la precedente proprietà è valida anche se si considera una matrice A unitaria 7 Autovalori ed autovettori di una matrice Consideriamo una matrice A C n n (or n n ) Un numero λ C si dice autovalore della matrice A se esiste un vettore x C n non nullo tale che Ax = λx Il vettore x si dice autovettore della matrice A relativo all autovalore λ Indicheramo con il termine spettro di A l insiemme σ(a) cosi definito: σ(a) = {insieme degli autovalori di A}, Inoltre ci riferiremo al raggio spettrale di A indicando il seguente numero: ρ(a) = max λ σ(a) λ Se λ è un autovalore della matrice A allora λ è soluzione della seguente equazione, nota come equazione caratteristica della matrice A: det(a λi) = 0 Sviluppando il determinante (per esempio utilizzando la regola di Laplace), otteniamo l equazione di un polinomio di grado n nella variabile λ, cioè 0 = P (λ) = det(a λi) = p 0 λ n + p 1 λ n p n I coefficienti p 1 e p n del polinomio P (λ) (detto polinomio caratteristico della matrice A) soddisfano le seguenti proprita p 1 = ( 1) n 1 tr(a), Inoltre si propva che: tr(a) = det(a) = i=1 n i=1 λ i λ i p n = det(a) 8

9 Il teorema fondamentale dell algebra assicura che l equazione caratteristica ammette n radici complesse con la loro molteplicità Quindi una matrice A quadrata di ordine n ammette n autovalori con la loro molteplicità (non necessariamente distinti) Di seguito sono riportare alcune proprietà degli autovalori di una matrice Assegnata una matrice A C n n triangolare inferiore, superiore o diagonale, allora i suoi autovalori coincidono con gli elementi diagonali della matrice, cioè λ i = a ii, i = 1,, n data una matrice A quadrata di ordine n, non singolare, e considerato un suo autovalore λ A ed x l autovettore associato, allora si ha che 1 λ è autovalore di A 1 ed x è l autovettore associato inoltre, se λ è autovalore di A allora λ k è autovalore di A k Ax = λx A k 1 (Ax) = λa k 1 x Autovettori corrispondenti ad autovalori distinti solo li DEF: Due matrici A, B R n n si dicono simili se esiste una matrice S invertibile tale che A = SBS 1 Le matrici simili sono importanti perchè esse hanno gli stessi autovalori Infatti si prova la seguente proprietà Due matrici A, B simili hanno gli stessi autovalori con la stessa molteplicità dim Siano A, B R n n due matrici, quindi per definizione esiste una matrice S R n n non singolare tale che A = SBS 1 Consideriamo l equazione caratteristica della matrice A: det(a λi) e sostitiuamo l espressione di A in termini di S e B: det(a λi) = det(sbs 1 λi) = det(sbs 1 λss 1 ) = = det(s)det(b λi)det(s 1 ) = det(b λi) Quindi il polinomio caratterisctico di A coincide con il polinomio caratteristico di B, ovvero le due matrici hanno gli stessi autovalori 8 Localizzazione degli autovalori Sia A una matrice quadrata di ordine n si dice cerchio i-esimo di Gershgorin di centro a ii l insieme Teoremi di Gershgorin K i = {z C z a ii j=1, j i Gli autovalori della matrice A sono contenuti nel n i=1 K i a ij }, i = 1,, n Se l unione M 1 di k cerchi di Gershgorin è disgiunta dalla unione M 2 dei restanti n k cerchi, allora k autovalori di A appartengono ad M 1 e n k appartengono a M 2 9

10 9 Decomposizione a valori singolari Sia A R m n allora esistono: due matrici U R m m e V R n n ortogonali (U T U = I m e V T V = I n ) una matrice Σ R m n diagonale a blocchi σ σ Σ = σ k essendo σ 1 σ 2 σ k, tali che A = UΣV T La precedente scomposizione della matrice A si dice Decomposizione a Valori Sigolari (SVD) Inoltre i numeri σ i si chiamano valori singolari della matrice A e si ha che k = rank(a) 10 Norme vettoriali Consideriamo lo spazio R n e l applicazione : R n R si dice norma vettoriale se verifica le seguenti proprietà 1) x 0, x R n 2) x = 0 x = 0 3) x + y x + y x, y R n (disuguaglianza triangolare) 4) αx = α x, α R Di seguito vengono forniti alcuni esempi di norme su R n norma 1: x 1 = n i=1 x i = x 1 + x x n norma euclidea: x 2 = x T x = n i=1 x2 i norma infinito: x = max i=1,,n x i DEF: Due norme e si dicono equivalenti se esistono α, β con 0 < α β tali che: α x x β x Le tre norme su R n, definite precedentemente, sono tra loro equivalenti ed in particolare si ha che x x 2 n x, x 2 x 1 n x 2 x x 1 n x Una matrice ortogonale A conserva la norma euclidea dei vettori, cioè Ax 2 = x 2 10

11 11 Norme Matriciali Il concetto di norma puó essere esteso anche al caso di matrici Una funzione : C n m R (A A ) si dice norma matriciale se verifica le seguenti proprietà: 1) A 0, A R n m 2) A = 0 A = 0 3) A + B A + B A, B R n m (disuguaglianza triangolare) 4) αa = α A, α R 5) AB A B A partire dalle norme vettoriali si possono costruire alcune norme matriciali A max x =1 Ax Se una norma matriciale si costruisce facendo uso di una norma vettoriale allora questa norma si dirà norma indotta Alcuni esempi di norma matriciali indotte sono: norma 1: A 1 = max a ij (massimo della somma sulle colonne) j=1,,n i=1 norma 2: A 2 = ρ(a T A norma infinito: A = max i=1,,n j=1 a ij (massimo della somma sulle righe) Si osservi che per le matrici simmetriche (A T = A) (o Hermitiane A H = A) si ha in particolare che: A 2 = ρ(a) ed inoltre A 1 = A 12 Proprietà delle norme matriciali Assegnata una norma matriciale, sono valide le seguenti proprieta Ax A x A m A m I 1 A 1 1 A dim da I = A 1 A quindi 1 I = A 1 A A 1 A per ogni norma matriciale indotta si ha che ρ(a) A dim Sia λ un generico autovalore di A ed x l autovettore associato Da Ax = λx quindi ρ(a) = max λ σ(a) λ A λ x = Ax A x λ A 11

12 la norma 2 è invariante per moltiplicazioni con matrici ortogonali, cioè : U R n n U T U = UU T = I allora : AU 2 = A 2 Relazioni fra le varie norme matriciali 1 n A A 2 n A 1 n A 1 A 2 n A 1 max i,j a ij A 2 n max a ij i,j A 2 A 1 A 12