Metodi di ottimizzazione non vincolata

Transcript

1 Metodi di ottimizzazione non vincolata

2 Luigi Grippo. Marco Sciandrone Metodi di ottimizzazione non vincolata

3 Luigi Grippo Dipartimento di Informatica e Sistemistica Antonio Ruberti Sapienza, Università di Roma Marco Sciandrone Dipartimento di Sistemi einformatica Università di Firenze UNITEXT La Matematica per il 3+2 ISSN print edition: ISSN electronic edition: ISBN DOI / e-isbn Springer Milan Dordrecht Heidelberg London New York Springer-Verlag Italia 2011 Quest opera è protetta dalla legge sul diritto d autore e la sua riproduzione è ammessa solo ed esclusivamente nei limiti stabiliti dalla stessa. Le fotocopie per uso personale possono essere effettuate nei limiti del 15% di ciascun volume dietro pagamento alla SIAE del compenso previsto dall art. 68. Le riproduzioni per uso non personale e/o oltre il limite del 15% potranno avvenire solo a seguito di specifica autorizzazione rilasciata da AIDRO, Corso di Porta Romana n. 108, Milano 20122, segreteria@aidro.org e sito web Tutti i diritti, in particolare quelli relativi alla traduzione, alla ristampa, all utilizzo di illustrazioni e tabelle, alla citazione orale, alla trasmissione radiofonica o televisiva, alla registrazione su microfilm o in database, o alla riproduzione in qualsiasi altra forma (stampata o elettronica) rimangono riservati anche nel caso di utilizzo parziale. La violazione delle normecomportalesanzioniprevistedallalegge. L utilizzo in questa pubblicazione di denominazioni generiche, nomi commerciali, marchi registrati, ecc. anche se non specificatamente identificati, non implica che tali denominazioni o marchi non siano protetti dalle relative leggi e regolamenti. Layout copertina: Beatrice., Milano Immagine di copertina: Vittorio Corona, Raffiche, Museo Civico d Arte Contemporanea di Gibellina. Riprodotto per gentile concessione del Museo di Gibellina B Impaginazione: PTP-Berlin, Protago TEX-Production GmbH,Germany ( Stampa: Grafiche Porpora, Segrate (MI) Stampato in Italia Springer-Verlag Italia S.r.l.,Via Decembrio 28, I Milano Springer-Verlag fa parte di Springer Science+Business Media (

4 Indice Prefazione...XIII 1 Problemi di ottimizzazione su R n Generalità Definizionifondamentali Criterielementaridiequivalenzatraproblemi Condizionidiesistenza Formulazionedeiproblemidiottimononvincolati Equazioniedisequazioni Stimadeiparametridiunmodellomatematico Addestramentodiretineurali Problemidicontrolloottimo Funzioni di penalità sequenziali Proprietà delle funzioni di penalità sequenziali* Esercizi Condizioni di ottimo per problemi non vincolati Generalità Direzionididiscesa Condizioni di ottimalità Condizionidiminimolocale Condizionidiminimoglobalenelcasoconvesso Condizioni di ottimo in problemi di minimi quadrati Equazioninonlineari Esercizi Struttura e convergenza degli algoritmi Generalità Puntidiaccumulazione Convergenzaapuntistazionari Rapiditàdiconvergenza... 69

5 VI Indice 3.5 Classificazionedeglialgoritmiconvergenti Esercizi Convergenza di metodi con ricerche unidimensionali Generalità Condizionidiconvergenzaglobale:metodimonotoni Condizionidiconvergenzaglobale:metodinonmonotoni* Esercizi Ricerca unidimensionale Generalità Ricercadilineaesatta Ricerchedilineainesatte MetododiArmijo Definizionedelmetodoeconvergenza Estensionideirisultatidiconvergenza* Metodo di Armijo con gradiente Lipschitz-continuo* Tecnichediespansione,condizionidiGoldstein MetododiWolfe CondizionidiWolfeeconvergenza MetododiWolfecongradienteLipschitz-continuo AlgoritmibasatisullecondizionidiWolfe* Ricercaunidimensionalesenzaderivate Ricercaunidimensionalenonmonotona MetododiArmijononmonotono Ricerca unidimensionale non monotona: convergenza* Realizzazionedialgoritmidiricercaunidimensionale* Intervallodiricerca Stimainiziale Tecnichediinterpolazione Criteri di arresto e fallimenti Esercizi Metodo del gradiente Generalità Definizione del metodo e proprietà diconvergenza Metododelgradienteconpassocostante Rapiditàdiconvergenza Convergenzafinitanelcasoquadratico Cennisulmetodo HeavyBall Esercizi Metodo di Newton Generalità Convergenzalocale...166

6 Indice VII 7.3 MetododiShamanskii GlobalizzazionedelmetododiNewton Classificazionedelletecnichediglobalizzazione Accettazionedelpassounitario Condizionisulladirezionediricerca Metodiibridi ModifichedellamatriceHessiana Metodidistabilizzazionenonmonotoni* Motivazioni Globalizzazione con ricerca unidimensionale non monotona Globalizzazione con strategia di tipo watchdog non monotona e ricerca unidimensionale non monotona Convergenzaapuntistazionaridel secondoordine * Concettigenerali Metodo di ricerca unidimensionale curvilinea Proprietàsulledirezionieanalisidiconvergenza Esercizi Metodi delle direzioni coniugate Generalità Definizionierisultatipreliminari Metododelgradienteconiugato:casoquadratico IlcasodimatriceHessianasemidefinitapositiva* Minimiquadratilineari Rapiditàdiconvergenza Precondizionamento Gradienteconiugatonelcasononquadratico Generalitàeschemaconcettualedelmetodo MetododiFletcher-Reeves* Metodo di Polyak-Polak-Ribiére* Esercizi Metodiditrustregion Generalità Il sufficiente decremento del modello quadratico e il passo di Cauchy Analisidiconvergenzaglobale* Metodidisoluzionedelsottoproblema Classificazione Condizioni necessarie e sufficienti di ottimalità Cennisulcalcolodellasoluzioneesatta* Metodo dogleg per il calcolo di una soluzione approssimata*...272

7 VIII Indice Metodo del gradiente coniugato di Steihaug per il calcolodiunasoluzioneapprossimata* ModificheglobalmenteconvergentidelmetododiNewton Convergenzaapuntistazionaridel secondoordine * Esercizi Metodi Quasi-Newton Generalità Formuledirango Formuledirango ConvergenzaglobalemetodoBFGS:casoconvesso* Condizionidiconvergenzasuperlineare* Rapidità di convergenza del metodo BFGS* Esercizi Metodo del gradiente di Barzilai-Borwein Generalità MetodoBBnelcasoquadratico Convergenzanelcasoquadratico* EstensionidelmetodoBB* EstensionidelmetodoBBalcasononquadratico GlobalizzazionenonmonotonadelmetodoBB* Esercizi Metodi per problemi di minimi quadrati Generalità Problemidiminimiquadratilineari Metodiperproblemidiminimiquadratinonlineari Motivazioni MetododiGauss-Newton MetododiLevenberg-Marquardt Metodiincrementali:filtrodiKalman Cennisuimetodiincrementaliperprobleminonlineari Esercizi Metodi per problemi a larga scala Generalità MetododiNewtoninesatto MetodidiNewtontroncato Concettigenerali Metodo di Netwon troncato basato su ricerca unidimensionale* MetododiNetwontroncatoditipotrustregion* MetodiQuasi-Newtonperproblemialargascala Concettipreliminari...386

8 Indice IX MetodiQuasi-Newtonsenzamemoria MetodiQuasi-Newtonamemorialimitata Esercizi Metodi senza derivate Generalità Metodi basati sull approssimazione alle differenze finite MetododiNelder-Mead Metodidelledirezionicoordinate Concettipreliminari Metododellecoordinateconsemplicedecremento Una variante del metodo delle coordinate: metododihooke-jeeves Metodidellecoordinateconsufficientedecremento Metodibasatisudirezionicheformanobasipositive Metododelledirezioniconiugate Cennisuimetodibasatisumodellidiinterpolazione Cennisulmetodo implicitfiltering Esercizi Metodi per sistemi di equazioni non lineari Generalità MetodiditipoNewton GlobalizzazionedimetodiditipoNewton MetododiBroyden Metodibasatisulresiduo Esercizi Metodi di decomposizione Generalità Notazionietipididecomposizione MetododiGauss-Seidelablocchiedestensioni Loschema Analisidiconvergenza* ModifichedelmetododiGauss-Seidel Metodididiscesaablocchi MetododiGauss-Southwell Decomposizioneconsovrapposizionedeiblocchi MetododiJacobi Esercizi Metodi per problemi con insieme ammissibile convesso Generalità Problemiconinsiemeammissibileconvesso Direzioniammissibili...470

9 X Indice Condizioni di ottimo con insieme ammissibile convesso Problemiconvincolilineari Proiezione su un insieme convesso e condizioni di ottimo Ricercalungounadirezioneammissibile MetododiFrank-Wolfe(Conditionalgradientmethod) Metododelgradienteproiettato Convessità generalizzata:punti di minimo* Esercizi Appendice A Richiami e notazioni A.1 Lo spazio R n comespaziolineare A.2 Matriciesistemidiequazionilineari A.3 Norma, metrica, topologia, prodotto scalare su R n A.4 Richiamienotazionisullematricireali A.5 Formequadratiche Appendice B Richiami sulla differenziazione B.1 Derivatedelprimoordinediunafunzionereale B.2 Differenziazionediunvettoredifunzioni B.3 Derivatedelsecondoordinediunafunzionereale B.4 TeoremadellamediaeformuladiTaylor B.5 Derivazionedifunzionicomposte B.6 Esempi Appendice C Convessità C.1 Insiemiconvessi C.2 Funzioniconvesse C.3 Composizionedifunzioniconvesse C.4 Proprietà dicontinuitàdellefunzioniconvesse C.5 Convessitàdifunzionidifferenziabili C.6 Monotonicità C.7 Cenni sulla convessità generalizzata Appendice D Condizioni di ottimo per problemi vincolati D.1 CondizionidiFritzJohn D.2 QualificazionedeivincoliecondizionidiKKT D.3 MoltiplicatoridiLagrange D.4 Condizionisufficientinelcasoconvesso D.5 Problemiconvincolilineari D.5.1 Problemi con vincoli di non negatività D.5.2 Problemiconvincolidi box D.5.3 Problemiconvincolidisimplesso D.5.4 Programmazionequadratica D.5.5 Programmazionelineare...584

10 Indice XI Appendice E Aspetti numerici E.1 Numeriinvirgolamobileaprecisionefinita E.2 Scala delle variabili e dell obiettivo E.3 Criteri di arresto e fallimenti E.4 Differenzefiniteperl approssimazionedellederivate E.5 Cennididifferenziazioneautomatica E.5.1 Ilgrafocomputazionale E.5.2 Ilmodo diretto didifferenziazioneautomatica E.5.3 Ilmodo inverso didifferenziazioneautomatica E.6 Alcuniproblemitestdiottimizzazionenonvincolata Bibliografia Indice analitico...611

11 Prefazione Questo libro si propone di fornire un introduzione allo studio dei metodi di ottimizzazione non lineare per funzioni differenziabili che possa essere utilizzata, con opportuna selezione degli argomenti trattati, sia nel triennio sia nelle lauree magistrali delle facoltà scientifiche. La trattazione svolta ha per oggetto specifico i metodi di ottimizzazione non vincolata e contiene semplici estensioni dei metodi non vincolati a problemi con insieme ammissibile convesso. I metodi di ottimizzazione non vincolata forniscono strumenti di calcolo indispensabili per la determinazione dei parametri nei modelli matematici, per la soluzione di sistemi di equazioni e disequazioni non lineari, per la soluzione di problemi di approssimazione, di classificazione e di regressione, per l addestramento supervisionato di reti neurali, per il calcolo delle leggi di controllo nei sistemi dinamici discreti. Intervengono inoltre, attraverso tecniche di penalizzazione o trasformazioni di variabili, nella soluzione di problemi vincolati più complessi in svariati settori applicativi. Nel testo vengono descritti e analizzati gli algoritmi maggiormente noti e alcuni di quelli studiati più di recente nella letteratura specialistica, finalizzati alla soluzione di problemi complessi, per la struttura delle funzioni o per il numero di variabili o per la mancanza di informazioni sulle derivate. Particolare attenzione viene data alle proprietà di convergenza degli algoritmi descritti, nella convinzione che le tecniche di globalizzazione costituiscano uno dei maggiori contributi dell ottimizzazione al calcolo numerico. Sono riportate in dettaglio le dimostrazioni dei risultati teorici presentati, molte delle quali non facilmente reperibili nei testi didattici sull argomento. È opinione degli autori che gli studenti di corsi universitari debbano poter disporre facilmente di giustificazioni il più possibile complete dei metodi matematici oggetto di insegnamento, e che ciò sia imposto dall esigenza di una formazione critica. Per gli argomenti più classici si è fatto riferimento alle dimostrazioni più semplici disponibili nella letteratura scientifica; sono inclusi tuttavia argomenti, non riportati usualmente nei libri a carattere didattico, che appaiono di interesse crescente in ambito internazionale, quali i metodi non monotoni,

12 XIV Prefazione i metodi senza derivate, i metodi di decomposizione, a cui gli autori hanno contribuito personalmente. La stesura del testo è tale da renderlo adatto sia a un lettore che intenda acquisire una preparazione di base sui metodi di ottimizzazione non lineare, sia a un lettore che abbia già competenze generali di ottimizzazione o di ricerca operativa e che voglia approfondire specifici argomenti. Il libro è anche corredato di un numero limitato di esercizi in cui si suggerisce lo sviluppo e la sperimentazione di codici di calcolo. I concetti matematici di base sono riportati nelle appendici con il fine di presentare una trattazione degli argomenti autocontenuta. Capitoli e paragrafi sono organizzati in modo tale da consentire l omissione di alcuni argomenti e approfondimenti (contrassegnati con un asterisco), preservando tuttavia la coerenza di un corso di base di durata limitata. Un opportuna selezione dei capitoli e dei paragrafi, e comprendente alcuni dei concetti generali nei primi quattro capitoli, può essere utilizzata anche nell ambito di corsi di base di una laurea triennale di duranta limitata. Gli autori ringraziano Giovanni Rinaldi per il costante sostegno, Francesca Bonadei della Springer per l efficiente collaborazione e i colleghi che hanno letto alcune parti del libro, contribuendo a migliorare la stesura ed eliminare alcuni errori. Roma e Firenze, gennaio 2011 Luigi Grippo Marco Sciandrone