Capitolo 3: Ottimizzazione non vincolata parte II. E. Amaldi DEI, Politecnico di Milano

Transcript

1 Capitolo 3: Ottimizzazione non vincolata parte II E. Amaldi DEI, Politecnico di Milano

2 3.3 Metodi basati su direzioni di ricerca Problema di ottimizzazione non vincolata: min x R n f(x) con f : R n R di classe C 1 o C 2 e limitata inferiormente Gli algoritmi iterativi di PNL partono da x 0 R n e generano (in base a x k precedenti, f e alle sue derivate) una sequenza infinita {x k } k 0 che converge ad un punto dell insieme Ω delle soluzioni desiderate. In genere Ω = {x R n : f(x) = 0}, a volte punti che soddisfano anche le CNO del 2 o ordine Spesso ma non sempre metodi di discesa: f(x k+1 ) < f(x k ) per ogni k 1

3 1) Schema generale Scegliere x 0 e ε > 0, porre k := 0 Ripetere Scegliere direzione di ricerca d k R n Determinare il passo α k > 0 lungo d k tale che min α 0 g(α) = f(x k + αd k ) Porre x k+1 := x k + α k d k e k := k + 1 finché condizione di arresto è soddisfatta Condizione di arresto: f(x k ) < ε o f(x k ) f(x k+1 ) < ε o x k+1 x k < ε In genere α k è determinato in modo approssimato t. c. f(x k+1 ) < f(x k ) for all k = 0, 1,... Molta flessibilità nella scelta delle direzioni d k e dei passi α k, l efficienza dipende da entrambi! 2

4 2) Direzioni di ricerca In molti algoritmi iterativi basati su direzioni di ricerca con D k matrice n n definita positiva. d k = D k f(x k ) In tal caso d k è una direzione di discesa poiché t f(x k )d k = t f(x k )D k f(x k ) < 0 3

5 Metodo del gradiente Sia f C 1 Considerare l approssimazione lineare di f(x k + d) intensa come funzione del solo vettore d l k (d) := f(x k ) + t f(x k )d e scegliere la direzione d k R n che minimizza l k (d) sulla sfera di raggio f(x k ) : min t f(x k )d (1) s.v. d = f(x k ) Poiché t f(x k )d = t f(x k ) d cos(θ), t f(x k )d = t f(x k ) 2 cos(θ) e (1) è minimizzata quando cos(θ) = 1, ossia θ = π. Direzione di massima discesa: ovvero D k = I n. d k = f(x k ) Chiaramente direzione d k è di discesa se f(x k ) 0 4

6 Metodo di Newton Sia f C 2 e H(x k ) = 2 f(x k ) Considerare l approssimazione quadratica di f(x k + d) intorno a x k come funzione di d: q k (d) := f(x k ) + t f(x k )d dt H(x k )d e scegliere come direzione un punto stazionario di q k (d). Poiché d q k (d) = 0 implica t f(x k ) + d t H(x k ) = 0, la direzione di Newton: ovvero D k = H 1 (x k ). d k = H 1 (x k ) f(x k ) Se H(x k ) è definita positiva e f(x k ) 0, d k è di discesa t f(x k )d k = t f(x k )H 1 (x k ) f(x k ) σ k f(x k ) 2 < 0 per un σ k > 0, visto che y t H 1 (x k )y σ k y 2 per ogni y R n. Se H(x k ) non è definita positiva la direzione di Newton può non essere ben-definita (quando H 1 (x k ) non esiste) o non essere una direzione di discesa! 5

7 3) Lunghezza del passo In genere per determinare il passo α k lungo direzione d k non conviene risolvere il problema di ricerca unidimensionale min α 0 g(α) = f(x k + αd k ) in modo esatto, basta una soluzione approssimata per garantire la convergenza globale. vari metodi (con e senza derivate) che generano una sequenza di valori di α e che si fermano quando alcune condizioni sono soddisfatte. Condizioni di arresto molto semplici, soddisfatte dopo un numero molto limitato di tentativi. Una semplice riduzione f(x k + α k d k ) < f(x k ) non basta, ci vuole una riduzione sufficiente! Principi fondamentali: - passo α non deve essere troppo piccolo (per evitare convergenza prematura) - passo α non deve essere troppo grande (rischio di oscillazioni) 6

8 Condizioni di Wolfe: Riduzione sufficiente: g(α) g(0) + c 1 αg (0) con c 1 [0, 1] che equivale a f(x k + αd k ) f(x k ) + c 1 α t f(x k )d k (criterio di Armijo) g (0) < 0 perché d k è di discesa, c 1 1/2 così è soddisfata dal minimo di una g(α) quadratica convessa Per evitare passi troppo piccoli (e quindi non fare progressi ragionevoli) si considera anche la condizione: che equivale a g (α) c 2 g (0) con c 2 (c 1, 1) t f(x k + αd k )d k c 2 t f(x k )d k in genere c 2 = 0.9 per (quasi)-newton e c 2 = 0.1 per gradienti coniugati non-lineari Condizioni di Wolfe deboli: con 0 < c 1 < c 2 < 1 g(α) g(0) + c 1 αg (0) (2) g (α) c 2 g (0) (3) 7

9 Condizioni di Wolfe forti: g(α) g(0) + c 1 αg (0) (4) g (α) c 2 g (0) (5) con 0 < c 1 < c 2 < 1 Unica differenza: non si considerano i valori di α con derivata g (α) troppo positiva, si escludono quindi i valori lontani dai punti stazionari di g. Le condizioni di Wolfe sono invarianti rispetto a moltiplicazione della funzione obiettivo con costante o trasformazione affine delle variabili. Proprietà Sia f : R n R di classe C 1 e d k una direzione di discesa in x k t.c. f è limitata inferioremente lungo il raggio {x k + αd k : α > 0}. Allora se 0 < c 1 < c 2 < 1 esistono degli intervalli di passi che soddisfano le condizioni di Wolfe (deboli e forti). semplice conseguenza del teorema del valore medio 8

10 Condizioni di Goldstein: con 0 < c < 1/2. g(0) + (1 c)αg (0) g(α) g(0) + cαg (0) Svantaggio: per certi valori di c possono escludere il minimo di g. Adatte per metodi di tipo Newton ma non per quasi-newton che mantengono un approssimazione d.p. della matrice Hessiana. Ricerca 1-D basata su backtracking Se α determinato con un approccio di tipo backtracking basta una riduzione sufficiente Dati α > 0, fattore di contrazione ρ (0, 1) e c (0, 1/2) Scegliere α k = ρ h α dove h è il più piccolo intero non negativo che soddisfa il criterio di Armijo. Geometricamente si sceglie come α k il più grande valore α {ρ i α : i = 0, 1,... } per cui g(α) giace al di sotto della retta che passa per (0, g(0)) e di pendenza cg (0). Vari modi per scegliere α (ad es. α = 1 per metodo di Newton). Questo procedimento backtracking garantisce un passo non troppo lungo e non troppo corto. Funziona bene per metodo di Newton ma non per quasi-newton e gradienti coniugati non lineari. 9

11 4) Convergenza globale dei metodi di discesa Per garantire che {x k } abbia almeno un punto di accumulazione, si suppone di conoscere un x 0 R tale che l insieme di livello L 0 = {x R n : f(x) f(x 0 )} sia compatto. Stabiliamo la convergenza globale dei metodi di discesa sotto opportune ipotesi che riguardano non solo i passi α k ma anche le direzioni di ricerca d k. θ k = angolo tra d k e la direzione di massima discesa f(x k ) cos(θ k ) = t f(x k )d k f(x k ) d k Risultato generale che indica di quanto d k può discostarsi da f(x k ) garantendo comunque la convergenza globale. Consideriamo le condizioni di Wolfe deboli ma risultati analoghi per quelle di Wolfe forti e di Goldstein. 10

12 Teorema: (Zoutendijk) Metodo basato su direzioni di discesa d k e con α k che soddisfano le condizioni di Wolfe. f limitata inf. su R n, f C 1 su N aperto che contiene L 0 = {x R n : f(x) f(x 0 )} e f soddisfa le condizioni di Lipschitz su N, ovvero L > 0 t.c. f(x) f(y) L x y x, y N. Allora cos 2 (θ k ) f(x k ) 2 < + (6) k 0 La condizione di Zoutendijk (6) implica cos 2 (θ k ) f(x k ) 2 0 quando k, se cos θ k δ > 0 k 0 allora (6) implica che lim k f(x k ) = 0 per qualsiasi x 0. In particolare, il metodo del gradiente ( cos θ k = 1 ) che soddisfa Wolfe è globalmente convergente Se D k simmetriche e d.p. k 0 e costante M t.c. si può verificare che D k D 1 k M k 0 cos θ k 1/M In tal caso i metodi Newton e quasi-newton hanno convergenza globale 11