Home

Open access - ORBi - Université de Liège

Contents

1. ee 115 Co ts CPU des deux m thodes de diff rentiation 117 Co ts num riques des diff rentes versions de Trust et MIQN3 122 Valeurs ayant servi la g n ration des points de d part 122 Tableau comparatif des diff rentes variantes de Trust 123 Nombre d it rations pour le probl me de Rosenbrock 134 Noms et tailles des probl mes de CUTEr s lectionn s 135 Vitesse et robustesse des algorithmes pour diff rentes mises jour du rayon de Conflanc ES AA Le 136 R sultats d taill s pour Trust SR1 avec mise jour quasi Newton ieanditionnelle 5 he abaisse D a ee 138 R sultats d taill s pour Trust BFGS avec mise jour quasi Newton inconditionnelle 140 R sultats d taill s pour Trust SR1 et BFGS avec mise jour quasi Newton conditionnelle 145 Valeurs num riques utilis es pour la calibration d une loi lasto plastique 2 42055 D o tes 148 Tableau comparatif pour l identification des param tres d une loi lastoplastique 149 Performances compar es de quatre algorithmes sur quelques pro bl mes de petite taille 222 13 14 LISTE DES TABLEAUX Premi re partie Introduction Chapitre 1 Position du probleme Depuis la nuit des temps l homme
2. 31 65 65 176 15C 1 05 86 62 62 168 02C mise ch 83 41 41 111 11 BFGS cond 78 52 39 118 69C 1 05 78 50 40 118 40C mise a ch 86 34 28 81 88 Cm BFGS incond 80 38 38 102 98 Cm nz 1 05 78 38 38 102 98 Cm mise ch 88 29 29 78 59C GN 67 11 10 120 80 Cm 1 05 70 12 11 132 96Cm mise ch 72 12 11 132 96Cm M1QN3 48 56 56 151 76Cm la mise jour 4 38 on constate que rien ne sugg re l introduction du param tre 173 formellement on peut consid rer que sa valeur est infinie Pour quelle raison a t 1l d s lors t introduit Cette question est trait e en d tail au chapitre 7 Nous pouvons n anmoins d ores et d j gr ce au tableau 6 7 constater que l utilisation de n3 1 05 diminue le co t global et augmente la robustesse Du tableau 6 7 plusieurs conclusions peuvent tre tir es M1QN3 une m thode BFGS avec recherche lin aire est plus co teuse que les versions BFGS de l approche par r gions de confiance La globalisation par r gions de confiance apparait donc dans ce cas test plus efficace que l approche par recherche lin aire Les performances d une actualisation de type BFGS sont manifestement 7Bien que Trust n ait pas pour vocation d atteindre le minimum global nous mesurerons la robustesse en d finissant le taux de r ussite comme le rapport entre le nombre d optimisat
3. vn 0 9 1 2 Les sous espaces U 0 eg V M Introduisons tout d abord le concept d velopp par Lemar chal er al 65 galement utilis Mifflin and Sagastiz bal 73 un point x donn et une fonction non diff rentiable on peut associer deux sous espaces orthogonaux u x et V x Le sous espace V x est d fini comme l enveloppe lin aire V x lin 9 g 9 11 174 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP g 9 est un sous gradient arbitraire Le sous espace U x est le com pl ment orthogonal de x Ces deux sous ensembles sont d finis de sorte que le sous espace U x soit l espace affin de la plus grande dimension dans lequel la fonction devient diff rentiable en x Les noms 41 et V des deux ensembles r sultent de cette propri t le graphisme de la lettre 4 voque une vall e diff rentiable tandis que celui de la lettre V pr sente un angle Si la d composition UV est appliqu e pour l analyse de la fonction r duite au sous espace des variables libres W GER nous obtenons deux sous espaces orthogonaux U W et y qui sont eux m mes orthogonaux au sous espace W 9 Le sous espace 4 0 est donc d fini comme v amp n H 9 12 o g oe x est un sous gradient arbitraire Le sous espace est simple ment le compl ment orthogonal de dans w tel que u 9 p y 0 w I
4. AY et T pg 0 09 lt K 19 PAR 2 4 27 o la constante Kane 0 1 et w _ Ju YE WE 4 28 Ceci signifie que u est une direction de descente de norme gale au rayon de confiance et ayant une composante significative dans la direction des vecteurs propres de H e correspondant a des valeurs propres n gatives Pratiquement on peut prendre pour direction u une approximation du vecteur propre correspon dant la valeur propre 79 dont le signe et la norme sont choisis afin de respecter les deux premi res conditions de 4 27 Nous minimisons ensuite l approxima tion locale dans cette direction tout en restant l int rieur de la r gion de confiance B H Formellement nous calculons un point analogue au point de Cauchy nomm point propre xD de l it ration k de l algorithme 2 1 tel que xD X0 1 y 80 4 29 et x m x 9 9 min m9 4 ru 4 30 te o Comme pour le point de Cauchy une minimisation exacte de m dans la r gion de confiance 8 9 peut s av rer difficile On introduit d s lors un point propre approch qui r duit la valeur de l approximation locale par retour arri re back tracking jusqu une certaine d croissance souhait e a priori Soient les points x9 5 amp 0 wl 4 31 ou j Net Kj 0 1 est une constante donn e Soit je le plus petit naturel tel que la condition 2 m x j lt mx rut CT I 4 32 1 snc pour Sufficient
5. proximation locale et la fonction objectif coincident au second ordre si les it r s s approchent d un point critique du premier ordre Plus formellement nous fai sons donc l hypoth se suivante 68 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE Hypoth se 4 10 Nous supposons que lim Vaf x9 Veen x 0 4 24 lorsque Jim Vf e 0 4 25 Cette hypoth se nous pr serve des situations o l algorithme pourrait converger vers un point de selle Notons que la satisfaction de cette derni re hypoth se et de Vhypoth se 4 1 entra ne la satisfaction de l hypoth se 4 7 que nous pouvons donc ignorer aussi longtemps que nous adoptons l hypoth se 4 10 Nous pouvons analyser les cons quences de cette nouvelle hypoth se impos e l approximation locale sur la convergence de l algorithme grace au th or me suivant Th or me 4 5 Supposons que les hypoth ses 4 1 4 10 sont satisfaites que x ki est une sous suite des it r s g n r s par l algorithme 2 1 qui converge vers un point critique du premier ordre x que 59 0 pour tout k suffisamment grand et que Vaf x est d finie positive Dans ce cas la suite compl te des it r s x01 converge vers x et toutes les it rations finissent par tre tr s r ussies Ce th or me prouve que si un des points limites est un minimum isol alors l al gorithme converge vers ce minimum et le rayon de confiance A devient inutile dans le ca
6. Les variables 1bnd et ubnd d signent respectivement les bornes inf rieures x et sup rieures x impos es aux variables Ces variables sont inchang es en sortie integer intent in dimension n optional freex La variable optionnelle freex permet de fixer une ou plusieurs variables La va riable i est libre si reex i 0 et fix e si 1 1 Cette variable est inchang e en sortie En l absence de toutes les variables sont libres par d faut real kind 8 intent in dimension n optional valcar real kind 8 intent in dimension n optional varcar Les variables valcar et varcar d signent respectivement les valeurs caract ris tiques et les variations caract ristiques AT utilis es dans 6 29 pour mettre le probl me chelle Ces variables sont inchang es en sortie En l absence de valcar les valeurs caract ristiques sont nulles par d faut et en l absence de varcar les variations caract ristiques sont unitaires par d faut 240 ANNEXE A ROUTINES FORTRAN MODE D EMPLOI real kind 8 intent inout dimension n n optional hes En entr e la variable optionnelle hes permet de sp cifier une approximation ini tiale H de la matrice hessienne En sortie la variable hes contient l approxima tion de la matrice hessienne la fin du processus d optimisation real kind 8 intent out dimension n n optional hesGN En sortie la variable hesGN contient l appr
7. 5 43 si Az est connu Nous constatons nouveau que l impl mentation des quations adjointes doit s effectuer dans l ordre inverse des op rations pour les quations du mod le direct Az puis Ay puis Ay Pour une variable Y quelconque chaque ligne du code direct de la forme Z F X Y induit une contribution la variable adjointe de Y d une quantit OF 5 44 23 5 44 Puisque ces termes doivent tre accumul s pour chaque quation Y appara t dans le membre de droite la ligne de code qui apparait dans le mod le adjoint est dF Ay Ay 5 45 Y rie ze 5 45 ayant bien pris soin d initialiser Ay a z ro Les param tres x du mod le ne figurent jamais dans le membre de gauche et apparaissent forc ment au membre de droite d au moins une ligne d instruction dans le code direct ce qui entra ne la cr ation d une variable adjointe s y rap portant dans le code adjoint A la fin du code adjoint ceux ci donnent les valeurs des composantes du gradient de la fonction objectif par rapport aux variables de contr le of _ E Sch kclegn 5 46 co t num rique de cette m thode est de l ordre de deux fois celui du mo d le direct En effet chaque op ration l mentaire unaire ou binaire r sultera en un maximum de deux op rations adjointes Ceci en fait une m thode de pr dilec tion lorsque le nombre de param tres optimiser devient important L inconv nient de
8. P 0 995 F 7 4 b 4 4 L 0 99 F Y 1 0 985 1 7 0 98 pu UVQCOP avec mode rapide 1 UVQCQP sans mode rapide 0 975 10 10 4 FIG 9 6 Profil de performance de l algorithme UVQCQP avec et sans mode rapide sur 100 000 probl mes tests de petite taille 2 lt n lt 22 et 1 lt m lt 21 La figure 9 5 pr sente une illustration des r sultats obtenus sur 100 000 pro bl mes de petite taille Comme mesure de performance nous utilisons le rapport n m 9 165 est le nombre d it rations n cessaire pour obtenir s lt 10 5 Ce rapport a t choisi car il met en balance la charge de calcul le nombre d it rations et la complexit du probl me 1 dimension et le nombre de contraintes Nous pouvons constater que 98 des probl mes sont r solus en moins de it rations ce pourcentage monte 99 5 pour un rapport de performance de 3 et les 100 sont pratiquement atteints autour de 10 Rappelons qu en utilisant comme mesure de performance le nombre d it ra tions N S n cessaires pour r soudre le probl me p avec le solveur s nous pouvons tracer le profil de performance d un solveur s Il s agit de la distribution cumul e du rapport de performance 7 16 Nous allons nous attarder sur quelques profils de performance La figure 9 6 dresse le profil obtenu sur 100 000 probl mes g n r s al atoi rement en pr sence et
9. lla m 0 4 0 5 0 6 0 8 0 0 0 1 0 2 0 3 0 7 9 1 iter n m FIG 9 5 Performances de l algorithme sur 100 000 probl mes de petite taille L histogramme indique la proportion des probl mes r solus en fonction de leur rapport de performance La courbe continue repr sente quant a elle la proportion p t de probl mes dont le rapport de performance est inf rieur ou gal la matrice est effectu e et les valeurs propres n gatives sont remplac es par une valeur propre nulle voir la formule 3 35 A 09 diag max 4 0 0 97 9 164 La matrice ainsi g n r e est alors semi d finie positive et le probl me est alors bien convexe Notons au passage que la probabilit que les matrices A poss dent une ou plusieurs valeur s propre s nulle s est non n gligeable les probl mes ainsi g n r s comprennent donc une proportion importante de ce cas de figure Enfin les composantes du point de d part x ont galement t al atoirement g n r es entre 600 et 600 tout comme les composantes des contraintes de bornes XL et xy Toutefois s il s av rait que le nombre g n r pour la borne inf rieure xz tait sup rieur la composante correspondante x de l it r de d part la borne inf rieure tait alors modifi e en prenant xz x Un raisonnement similaire s appliquait aux bornes sup rieures 9 6 PERFORMANCES DE L ALGORITHME 209 1 005 P c
10. tape 3 Mise jour du param tre Choisir i Jo 1 4 si p gt nm 1 00 u9 my In Jul mill sip lt m Augmenter ensuite k d une unit et retourner l tape 1 Nous pouvons constater une certaine similarit entre les m thodes proximales et les r gions de confiance les premi res p nalisent l loignement entre deux it r s successifs alors que les secondes confinent l it r x autour de gr ce une contrainte la r gion de confiance L o d une part l intensit de la p na lit est gouvern e par le param tre u qui s adapte d it ration en it ration nous avons d autre part un rayon de confiance A variant galement au cours des it rations qui d termine la taille de la r gion de confinement De petites valeurs de 9 provoquent une p nalit forte dont les effets sont similaires une r gion de confiance de faible rayon A La r gularisation des m thodes proximales agit comme une p nalisation i e une forme de contrainte faible alors que les r gions de confiances utilisent une contrainte forte infranchissable Au vu de sa parent avec les r gions de confiance cette technique de globalisation ne sera plus voqu e par la suite 2 4 META HEURISTIQUES 35 2 4 Globalisation par m ta heuristiques terme m ta heuristique caract rise une approche g n rale plut t qu une m thode a part enti re Les m thodes m ta heuristiques
11. Les techniques de diff rentiation automatique doivent tre utilis es avec pru dence Les proc d s d crits tombent en effet facilement dans des chausse trappes communs s ils sont appliqu s sans esprit critique notre propos par un petit exemple qui permet de mesurer l importance d une impl mentation soigneuse du mod le direct Exemple 5 1 Consid rons la fonction fx eut 5 50 dont le code if x eq 1 0 then f 0 0 else f x 2 1 0 end if est une impl mentation en FORTRAN correcte bien qu inhabituelle Dans ce cas un logiciel de diff rentiation risque de d river les deux branches s par ment la d riv e obtenue sera si x 1 et 2x dans le cas contraire La diff rentiation automatique est un sujet de recherche tr s actif et des com pilateurs ou des programmes sont d sormais facilement accessibles citons par exemple ADIFOR 3 ADOL C 48 ADO1 86 TAPENADE 49 TAF 38 et Odyss e 27 Ces syst mes de diff rentiation automatique ont fait leurs preuves sur des probl mes parfois tr s difficiles et de grande taille N anmoins ces pro c d s ne doivent pas tre consid r s comme une arme ultime pour s affranchir de r fl chir au calcul des d riv es En effet de nombreux probl mes g nants sub sistent comme celui de la gestion des pointeurs des allocations dynamiques des programmes parall lis s ou encore plus simplement des embranchements 5 5 Conclusion
12. tape 5 valuer les contraintes de bornes activer Si une nouvelle contrainte de borne est activ e d sactiver le mode rapide si celui ci tait activ Fin de l it ration poser k k 1 retour l tape 1 pour l it ration suivante 9 4 5 Performances L introduction du mode rapide complique singuli rement l algorithme c est assez facile constater en comparant les algorithmes 9 1 et 9 2 Le jeu en vaut cependant la chandelle L int r t du mode rapide est de contrer l effet Maratos par l introduction d une correction du second ordre voir section 8 3 L efficacit du mode rapide peut tre clairement illustr e par l exemple suivant Exemple 9 7 Reprenons la fonction 9 38 de l exemple 9 1 au point x 0 0 1 Comme pr c demment supposons que la contrainte de borne inf rieure pour la troisi me variable x est active i e x 0 La figure 9 4 illustre le comportement des premi res it rations des algorithmes 9 1 et 9 2 dans le plan X 0 Pour les deux premi res it rations le comportement des deux algorithmes est identique car le mode rapide n est pas activ voir exemple 9 6 En x 0 bien que des ar tes soient actives le mode rapide n est pas enclench puisque le nombre d ar tes actives 20 2 n est pas gal la dimension de l espace y 0 dim V 1 L algorithme a ainsi d tect une d pendance lin aire du premier ordre entre les ar tes et n a pas tent de suivre
13. 7 Broh M M thodes de type proximal pour une somme d op rateurs maxi maux monotones Th se de doctorat en Sciences Universit de Li ge 2000 8 Broyden C G The convergence of a class of double rank minimization algorithms Parts I and II Journal of the Institute of Mathematics and Its Applications 6 1970 9 Bruyneel M Sch mas d approximation pour la conception optimale de structures en mat riaux composites de doctorat en Sciences Appli qu es Universit de Li ge 2002 10 Bruyneel M Vermaut O et Fleury C Reliable approximation schemes for composite structures optimization Dans R Van Keer B Verhegghe 245 246 BIBLIOGRAPHIE M Hogge et E Noldus r dacteurs International Conference on Advan ced Computational Methods in Engineering ACOMEN9S pages 705 712 Shaker Publishing B V Ghent Belgium 1998 11 Bunch J R et Kaufman L A Computational Method for the Indefinite Quadratic Programming Problem Linear Algebra and Its Applications 34 341 370 1980 12 Byrd R H Khalfan et Schnabel R Analysis of a symmetric rank one trust region method SIAM Journal on Optimization 6 4 1025 1039 1996 13 C Gould N et Toint P L Adaptive cubic overestimation me thods for unconstrained optimization Part I motivation convergence and numerical results Mathematical Programming A to appear 14 C Gould N et Toi
14. Apr s avoir g n r une population initiale chaque it ration ou g n ration se compose des tapes suivantes 1 valuation de la fonction objectif pour chaque nouvel individu de la po pulation 2 S lection des parents dans la population Ceux ci sont s lectionn s al atoi rement avec une plus forte probabilit pour les meilleurs individus ceux dont la valeur de la fonction objectif est la plus faible 3 Recombinaison des parents S lectionn s l tape pr c dente ceux ci sont crois s avec un op rateur ad quat afin de former de nouveaux membres de la population les enfants qui viennent s ajouter aux pr c dents 4 Am lioration locale des enfants Ceux ci sont ventuellement am lior s par une technique de recherche locale 6L op rateur div d signe la division enti re 38 CHAPITRE 2 METHODES DE GLOBALISATION OPTIMISATION 5 Mutation de certains individus dans la population Il s agit de cr er de nou veaux membres par de l g res perturbations al atoires des g nes de certains individus 6 Survie des plus aptes au sein de la population Certains individus sont s lec tionn s al atoirement dans la population et sont limin s de celle ci La s lection al atoire s effectue suivant une probabilit qui favorise les meilleurs individus Il convient naturellement d ajouter un crit re d arr t ce sch ma le plus simple tant d arr ter le processus lorsque la diff r
15. BFGS A incond 0 3 1 2 1 4 1 6 1872 1 1 2 1 4 1 6 1872 Fic 7 4 Profils de performance des diff rentes versions de l algorithme pour 70 probl mes de la collection CUTEr Les exp riences num riques utilisent les va leurs du tableau 6 1 un rayon de confiance initial AO 1 et un crit re d arr t f x JI x lt 1076 Les deux figures du bas sont des zooms des deux figures du haut 7 5 INTERACTION AVEC LA MISE JOUR QUASI NEWTON 145 TAB 7 6 R sultats d taill s pour conditionnelle de mise jour du Hessien SR1 et BFGS et les fonctions R et A pour la mise jour du rayon de confiance Nombre d it rations pour chacun des probl mes s lectionn s Entre pa renth ses nombre d it rations r ussies Le symbole signifie que le point de test X produit un d passement de valeur pour la fonction objectif ou pour son gra dient Le symbole signifie que le nombre d it rations d passe 10 000 Une toile en exposant signifie que la convergence se fait vers un autre minimum local avec une valeur plus grande de la fonction objectif Nom SRI R SRI A BFGS R BFGS A 3PK 35 147 123 AKIVA 11 18 11 ALLINITU 10 14 11 BARD 12 17 16 BEALE 16 13 13 BIGGS6 34 45 40 BOX3 9 9 BRKMCC 6 5 BROWNBS 2 69 48 BROWNDEN 18 28 21 CLIFF 1 i CUBE 60 45 37 DECONVU 83 124 101 DENSCHNA 9
16. et de ce fait que la suite x01 converge de mani re Q quadratique La prise en compte de contraintes d in galit se fait g n ralement par l uti lisation d une strat gie de contraintes actives qui tente de d terminer par avance quelles seront les contraintes actives l optimum Lorsque ces contraintes sont connues le probl me peut tre r solu comme s il ne faisait intervenir que des contraintes d galit De plus amples d tails sur ces strat gies de contraintes ac tives peuvent tre trouv es dans 20 31 80 8 2 Fonction de m rite et globalisation Tout comme les m thodes d velopp es dans le cadre de l optimisation non contrainte les m thodes SQP constituent des approximations locales qui doivent tre utilis es en conjonction avec une technique de globalisation pour en assurer la convergence Pour guider le processus conduisant diminuer la fonction objectif et la violation ventuelle des contraintes on introduit une fonction de m rite qui joue le r le de la fonction objectif en optimisation non contrainte Notons que r cemment certains auteurs ont d velopp des m thodes dites avec filtres n utilisant pas de fonction de m rite Le d tail de ces m thodes sort du cadre de ce travail mais le lecteur int ress pourra consulter entre autres les travaux de Fletcher et Leyffer 33 et de Fletcher et al 32 Bon nombre de fonctions de m rite ont t utilis es dans le cadre des m thodes de
17. i Q0 5 9 138 pour obtenir 9 0 Van 0 9 p Ja 949 9 139 La correction du second ordre d Y peut donc tre calcul e sans avoir former ex plicitement la matrice V au m me titre que les autres op rations de ce chapitre Une fois construite la direction d l it r suivant est simplement calcul en effectuant la minimisation unidimensionnelle suivante Ewe x 850 840 9 140 puis la mise jour correspondante dl 4 E E02 q 9 141 9 4 LE MODE RAPIDE 199 9 4 2 It rations suivantes en mode rapide Une fois que le mode rapide a t activ les it rations suivantes sont ga lement effectu es en mode rapide jusqu a sa d sactivation voir section 9 4 3 Supposons que l it ration k 1 tait en mode rapide Dans cas les ensembles N E z 0 et P ne sont plus d finis par les relations 9 14 9 15 et 9 16 mais par XO ie lt 0 j 24 9 9 142 29 1 9 0 Sr 0247 9 143 eil 1 0 9 gt 0 2 9 9 144 Autrement dit seules les ar tes qui n taient pas actives l it ration pr c dente sont valu es alors que celles qui taient actives le restent Cependant il est fr quent qu une ar te soit activ e en cours de calcul mais s av re ne pas tre active l optimum Si l algorithme ne pr voit pas de porte de sortie pour cette ar te elle risque d tre maintenue artificiellement l in
18. 1 1 9 e 77 Fg 1 e 1e 5 6 Fg a Ur 1 Fg l 44 Lil 0n ny On 1 11 R Ay a K 94 Kai E Li 28 ni 28 FIG 7 1 Rayons de confiance auto adaptatifs utilis s dans les exp riences num riques 132 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE 7 3 Raffinements Quelques raffinements pour la mise a jour du rayon de confiance ont t in troduits dans la litt rature sp cialis e voir 20 Ceux ci s av rent souvent tre des astuces empiriques introduites pour augmenter l efficacit du calcul Aucune de ces astuces semble similaire aux it rations trop r ussies introduites par Walmag et Delhez 100 La premi re r gle commode est assez naturelle d s que nous sortons d un cadre th orique vers l impl mentation num rique un rayon de confiance maxi mum Amax est simplement introduit pour viter les r gions de confiance trop grandes Un autre raffinement utile est de baser la mise jour du rayon de confiance sur la longueur du pas 5 Par exemple Conn ef al 20 ont propos la r gle max oo s A if p gt np AU if p nml A k 1 _ 7 12 o s if p 4 le max yi 54 if p lt o y est une constante donn e et Ty eu k 1 n2 5 Vu f xV 7 13 Toad 1 m 00 OYE nam 809 EO Ces r gles peu
19. 1 2 0 25 0 15 0 55 5 0 95 x 1 Fic 8 3 Exemple d une it ration avec r gion de confiance Le pro bl me 8 19 est repr sent sur la figure de gauche les iso valeurs de la fonction objectif la contrainte d galit trait pais discontinu le minimum global le point courant et le pas de progression L approximation locale 8 30 de la fonction de m rite est repr sent e sur la figure de droite ainsi que le pas de progression obtenu Le cercle en trait fin discontinu est la r gion de confiance de rayon AU 1 2 nous constatons que 59 est le pas qui au sein de la r gion de confiance m ne un point qui tablit un compromis entre les minimisations de la fonction objectif et de l loi gnement vis vis de la ligne de discontinuit du gradient Celle ci correspond la contrainte d galit lin aire du probl me 8 29 soumise la seule contrainte de confinement V 524 52 lt AM 8 31 k La solution sx de ce probl me local n est videmment pas identique celle du probl me 8 25 mais elle constitue un compromis au sein de la r gion de confiance entre la minimisation de la fonction objectif et la diminution de l am plitude de la violation de la contrainte d galit Ce probl me est illustr sur la figure 8 3 pour 4 et AV 1 2 8 3 EFFET MARATOS CORRECTION DU SECOND ORDRE 165 8 5 Effet Maratos et correction du second ordre Bien qu utile pour assu
20. AVEC REGIONS CONFIANCE Bien entendu le syst me 8 43 de quations n inconnues peut tre incompa tible ou poss der une infinit de solutions C est pourquoi ce probl me est g n k ralement r solu au sens d une certaine norme le plus souvent s est la solution de norme minimum nu arg min cs 9 59 8 45 peut tre calcul e au moyen d une d composition de la matrice k k G 000 ia 09 09 8 46 OH est une matrice orthogonale carr e d ordre n et Rt une matrice carr e 4 m k k triangulaire sup rieure d ordre m Les matrices et OU sont respectivement constitu es des m premi res colonnes de 09 et des n colonnes restantes Le probl me 8 45 peut donc s crire s argmin ROT QT s x 45 8 47 dont la solution est donn e par Pa 0 5 8 48 En utilisant 8 37 nous pouvons d duire facilement l ordre de grandeur de la correction s 9 o s lP 8 49 ce qui satisfait la condition 8 39 et en rempla ant dans 8 44 nous obtenons c x 5 4 5 8 50 et la condition 8 38 est galement satisfaite La correction sf obtenue en r sol vant le syst me 8 43 est donc bien une correction du second ordre parfaitement valide Notons que le calcul de cette correction du second ordre utilise les valeurs 59 qu il est donc n cessaire d valuer 2 m
21. Universite 0 de Li ge a Facult des Sciences Appliqu es Optimisation contrainte et non contrainte par r gions de confiance et avec approximations locales quadratiques J r me Walmag Th se de doctorat en sciences appliqu es Promoteur ric J M Delhez 2010 L homme raisonnable s adapte au monde l homme d raisonnable s obstine essayer d adapter le monde lui m me Tout progr s d pend donc de l homme d raisonnable Georges Bernard Shaw Remerciements n est un secret pour personne que la r daction d une th se est un exercice qui met a contribution bien plus de personnes que celles dont le nom figure sur la couverture de l ouvrage De nombreuses personnes ont par leur participation parfois inconsciente contribu au bon d roulement de ce projet Je voudrais tout premier lieu remercier Eric Delhez qui je dois cette aventure Je voudrais d abord le remercier pour sa confiance son soutien son attention son int r t pour l volution de mes recherches ses bons conseils ses qualit s humaines et sa grande compr hension face a mes choix de vie qui ne furent pas exactement de ceux qui simplifient la vie d un promoteur de th se Toutes ces qualit s m ont permis de mener ce travail a bon port Les quelques moments pass s a enseigner dans les s ances de r p titions qu il m a confi es m ont galement permis de satisfaire ma passion pour l ducation et la p dagogie
22. du probl me 9 38 au quel nous ajoutons les contraintes de bornes 0 2 3 lt lt 3 9 56 2 4 L it r courant est x 0 0 1 et la contrainte de borne inf rieure la pre mi re composante est active Pour obtenir la direction de descente en a il suffit de construire 1 2 g go E 9 57 a 0 1 0 1 9 58 et 000 000 000 000 0001 020 020 1 040 9 59 000 0 0 2 002 004 puis 000 0 010 040 1 9 60 00 4 0 La direction de descente recherch e est d s lors 0 sD 1 4 9 61 0 puisque 9 1 4 est l argument minimum de la fonction q u 1 2 9 62 soumis aux contraintes Le et ei 9 63 i e 3 lt u lt 3 184 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP 9 2 2 La direction de descente 7 k Une direction dans le sous espace Vv s crit s Vv avec v Nous pouvons de la m me mani re que dans le sous espace 49 d velopper chaque fonction sous la forme 9 46 de sorte que la fonction 9 44 devienne o x 47a 41 tay y 2 v er max 0 v7 v 97 d Steng 9 64 ie Z k a OT 4 Y eP SCENE 9 65 ie Pk AQ 404 y 9 66 icp H La direction de plus grande pente v pour cette fonction non diff rentiable est obtenue en prenant l oppos du sous gradient ag 0 BE Y U 9 67 ie z M k ZW comme co de norme minimale
23. le fait qu il s agit bien d une direction de descente l amplitude de ce pas de progression tra hit un peu l esprit de la m thode de Newton qui se base sur une approximation quadratique de la fonction objectif valide dans un voisinage de l it r x D s lors la question de l efficacit de cette direction de descente sur le calcul reste ouverte Notons que si nous prenons 6 0 l approximation locale ne pr sente plus de courbure du tout dans les directions de courbure n gative Malheureuse ment la matrice H est alors singuli re et semi d finie positive et le calcul de la direction de descente doit se faire diff remment D autres techniques de modification du Hessien ont t labor es certains auteurs proposent de simplement changer le signe des valeurs propres n gatives dans la d composition spectrale Bien que pragmatique cette strat gie parait dis cutable Afin d pargner le calcul de la d composition d autres auteurs effec tuent une d composition de Cholesky modifi e qui factorise le Hessien en modi fiant certains l ments en cours de calcul pour assurer la d finie positivit de la factorisation Le lecteur int ress est invit consulter par exemple Nocedal et Wright 80 3 2 3 M thodes de type quasi Newton Les m thodes de Newton modifi es ont un taux de convergence quadratique pourvu que H k demeure sym trique d finie positive Ces m thodes sont donc tr s attractives si ce n est q
24. lt min fy An 20 13 1 1 10 2 Incompatibilit des contraintes Une des premiers difficult s lors de l utilisation approximations locales qua dratiques est la construction de sous probl mes incompatibles et ce m me si le probl me initial est convexe Pour s en convaincre il suffit d envisager le pro bl me suivant Exemple 10 1 Soit les deux contraintes convexes pour lesquelles il existe un es pace admissible c1 x y 2x y 1 0 10 14 et clx y x 1 y 1 1 lt 0 10 15 10 2 INCOMPATIBILITE DES CONTRAINTES 217 0 8 0 6 0 4 0 2 1 08 06 04 0 2 0 02 04 06 08 7 FIG 10 1 Illustration de l exemple 10 1 au point x 1 2 1 2 Les deux contraintes c et gt sont repr sent es par un trait continu et l approxima tion locale de Be de par un trait discontinu La contrainte quadratique c est sa propre approximation locale Nous pouvons constater que l espace admissible pour les contraintes r elles la zone noircie disparait si c est remplac e par son approxi 9 mation au point x 1 2 1 2 L approximation locale quadratique pour la pre mi re contrainte est k 2 3 3 sy Z x y 5 245 37 lt 0 10 16 alors que la seconde tant d j quadratique est sa propre approximation Dans le sous probl me ainsi cr les deux contraintes approch es sont incompatibles voir figure 10 1
25. t modifi e en fonction de la courbure de la contrainte et que cette derni re a t remplac e par une contrainte lin aire L approche par r gions de confiance utilise le sous probl me 8 9 tout en introduisant une contrainte de confinement suppl mentaire minimiser 157 95 97 sc GMTs c 0 8 26 et ls lt 9 8 2 FONCTION DE MERITE ET GLOBALISATION 163 avec une norme et un rayon de confiance A donn s Avec une solution sit ventuellement approch e au probl me 8 26 un point de test peut tre construit g 0 6 8 27 La valeur de la fonction de m rite ce point de test est alors calcul e V 2 1 et compar e celle escompt e partir d une approximation locale Vx D 8 28 Si l ad quation entre l approximation locale et la fonction originale est satisfai sante le rayon de confiance est accru Dans le cas contraire celui ci est r duit Le sch ma de l algorithme est tout fait analogue celui d velopp la section 2 2 pour les probl mes non contraints mais c est la fonction de m rite qui tient lieu de fonction objectif Mais c est sans compter sur une diff rence majeure avec la globalisation par recherche lin aire il n y a a priori aucune raison que le pro bl me 8 26 poss de une solution La figure 8 2 pr sente un exemple de probl me sans solution deux dimensions Une autre question probl matique est celle de l approximation local
26. 3 42 deviennent donc LO y x k 1 6 6 aight 6 7 Notons qu en cas d it ration infructueuse il n est pas n cessaire d valuer le gradient de la fonction objectif au point de test X Si le calcul de la fonc tion objectif et de son gradient sont d coupl s il est donc possible d par gner le num rique associ au calcul du gradient 6 1 SOUS PROBLEMES QUADRATIQUES 105 Trust BFGS conditionnelle Cette version est en tout point semblable la pr c dente la seule exception pr s qu elle utilise la mise jour BFGS 3 57 en lieu et place de 3 46 Trust SR1 inconditionnelle Tout comme dans la version conditionnelle la mise a jour de la matrice hessienne H se fait par une technique de type quasi Newton utilisant la formule sym trique de rang un 3 46 a chaque it ration Le point U U utilis pour construire approximation quadratique est simplement l it r pr c dent x si l it ration est r ussie et le point de test X si celle ci s av re infructueuse ce qui implique contrairement ce qui se passe dans l approche conditionnelle d y valuer le gradient de la fonction objectif Trust BFGS inconditionnelle Cette version est en tout point semblable la pr c dente la seule exception pr s qu elle utilise la mise jour BFGS 3 57 en lieu et place de 3 46 Trust GN Cette version est utilis e pour les probl mes de moindres carr s
27. 6 4 CONCLUSION 125 BFGS inconditionnelle de l approximation de la matrice hessienne s av re tre la plus performante aussi bien du point de vue de la robustesse que de la vitesse de convergence Le chapitre suivant montre toutefois l influence importante de la mise jour du rayon de confiance sur cette conclusion 126 CHAPITRE 6 TRUST Chapitre 7 La mise jour du rayon de confiance k k Dans les algorithmes d optimisation par r gions de confiance le rapport d fini par 2 29 fournit une mesure de la fid lit de l approximation locale m la v ritable fonction objectif f dans le voisinage de l it r courant Il est d s lors utilis pour mettre jour le rayon de confiance A d une it ration l autre Pour rappel les r gles empiriques habituelles pour cette mise jour peuvent tre r sum es par voir par exemple Gould et al 441 aA sip lt n A k 1 AQ si n lt p 7 1 mA sip gt 04 05 N1 and N2 sont des constantes pr d finies telles que 0 lt 11 lt 712 lt 1 et 01 lt 1 lt 02 7 2 En d autres mots le rayon de confiance est r duit apr s une it ration infructueuse i e oh lt et maintenu constant ou augment apr s une it ration r ussie i e p gt mi La strat gie de mise a jour d finie par 7 1 est susceptible d avoir une forte influence sur les performances de l algorithme D une part les it r s successifs restent proch
28. 9 9 DENSCHNB 10 9 9 DENSCHNC 14 13 13 DENSCHND 22 21 20 DENSCHNE 22 34 29 DENSCHNF 9 8 8 DJTL 98 188 100 ENGVAL2 42 38 31 27 EXPFIT 13 13 13 11 GROWTHLS 32 44 161 141 GULF 53 46 41 HAIRY 57 115 101 HATFLDD 47 24 23 HATFLDE 24 20r 21 HEART6LS 5247 HEARTSLS 386 323 HELIX 24 21 HIELOW 21 16 HIMMELBB 3 suite la page suivante 146 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE TAB 7 6 suite du tableau suite de la page pr c dente Nom SRI R SR1 A BFGS R BEGS A HIMMELBF 34 33 HIMMELBG 11 7 HIMMELBH 10 8 HUMPS 247 185 HYDC20LS 296 237 JENSMP 50 39 KOWOSB 38 33 LOGHAIRY MARATOSB 149 125 23 16 MEYER 64 49 OSBORNEA 73 57 OSBORNEB 68 58 PALMERIC 7 7 7 34 23 PALMERID 8 8 8 42 29 PALMER2C 7 7 7 34 22 PALMER3C 7 F 7 40 27 PALMER4C 7 7 7 30 20 PALMERSC 7 7 7 26 19 PALMER6C 8 8 8 14 13 MER IC 5 5 5 16 15 PALMERSC 6 7 7 22 20 PFITILS 274 246 PFIT2LS 81 66 PFIT3LS 315 272 PFIT4LS 509 416 ROSENBR 38 32 5308 13 13 SINEVAL 76 68 5155 9 9 SNAIL 106 95 5 84 69 TOINTGOR 89 73 TOINTPSP 75 54 TOINTQOR 56 37 VIBRBEAM 114 79 YFITU 106 83 ZANGWIL2 2 2 fin du tableau 7 5 INTERACTION AVEC LA MISE JOUR QUASI NEWTON 147 7 5 3 Illustration calibration d une loi de comportement
29. Computing 23 309 331 1979 77 Navon I M Practical and theoretical aspects of adjoint parameter esti mation and identifiability in meteorology and oceanography Dynamics of Atmospheres and Oceans 27 55 79 1997 78 Nihoul J C J introduction l tude de la turbulence et la mod lisation des fluides g ophysiques A Modelenvironment Interscience Publication 1997 79 Nihoul J C J Syst mes non lin aires Universit de Li ge Notes de cours 1999 80 Nocedal J et Wright S J Numerical Optimization Springer Series in Operations Research Springer 1999 81 Panier E R An active set method for solving linearly constrained nons mooth optimization problems Mathematical Programming 37 269 292 1987 82 Papalambros P Y et Wilde D J Principles of optimal design Cambridge University Press second dition 2000 83 Pirlot M General local search heuristics in combinatorial optimization a tutorial Belgian Journal of Operations Research Statistics and Computer Science 32 1 2 1992 84 Powell M J D Convergence properties of algorithms for nonlinear opti mization SIAM Review 28 487 500 1986 85 Press W H Teukolsky S A Vetterling W T et Flannery B P Nume rical Recipes in Fortran 77 The Art of Scientific Computing tome 1 de Fortran Numerical Recipes chapitre 10 pages 387 448 Press Syndicate of the University of Cambridge second dition 198
30. Conclusion 4 29 oom rate EOS os Rs Convergence des r gions de confiance SN E DEE 4 2 Convergence globale du premier ordre 4 2 1 Hypoth ses sur le probl me 4 2 2 Hypoth ses sur l algorithme 4 2 3 Th or me de convergence 4 3 Convergence globale du second ordre 4 3 1 Approximations locales asymptotiquement convexes 4 3 2 Approximations locales non convexes 4 3 3 Hypoth ses sur l algorithme 4 3 4 Th or me de convergence globale 4 4 Forme des r gions de confiance 4 5 Probl mes non diff rentiables 4 67 Conclusion 52524545255 M A MA us Optimisation non contrainte Identification param trique Mod lisation 2 use an cmt ES dE denis 5 1 1 Mod lisation math matique 5 1 2 Identification param trique 5 1 3 Traitement des r sultats du mod le 5 14 Traitement des mesures 5 2 Caract re mal pos du probl me 5 2 1 Quasi solution d un probl me inverse 5 2 2 Quantification de l erreur fonction objectif 5 2 3 5 3 Exp rience Jumelle 5 5 sui dtu 419 E Rg etes 5 4 Diff rentiation de la fonction objectif 5 4 1 M t
31. D If x y 2 12 2 1 RECHERCHE LINEAIRE 29 De fa on assez surprenante on peut montrer que le taux de convergence de processus est le nombre d or LVS Malheureusement la convergence globale ne peut tre tablie cette m thode est donc rarement utilis e telle quelle Cette difficult propos de la convergence globale peut tre r solue en uti lisant une m thode avec intervalle L id e de base est de trouver un intervalle 51 2 tel que la d riv e soit n gative au point 61 et positive au point 62 Vu le caract re continu de la fonction y cette condition assure la pr sence d un mini mum l int rieur de l intervalle L algorithme tente alors de r duire celui ci tout en conservant la condition sur les d riv es aux bornes de chaque nouvel intervalle Pour ce faire un nouveau point appartenant l intervalle consid r not amp 3 est calcul selon une formule du type 2 p amp 51 2 17 Le calcul de la valeur du param tre p 0 1 partir des r sultats obtenus aux extr mit s de l intervalle 51 62 d pend de la m thode de r solution choisie En suite apr s calcul de la d riv e en ce point l algorithme r duit l intervalle Si V est n gatif l intervalle 3 62 est utilis pour l it ration suivante et dans le cas contraire l algorithme utilise 61 63 Parmi les m thodes utilisant un intervalle la m thode de la bisection est
32. Diff rences finies Jacobienne Tr s 5 avant ou arri re et gradient faible codes de calcul gt Nous dirons que les codes sont d coupl s si nous pouvons ex cuter le calcul de la fonction objectif et donc une simulation du mod le di rect sans qu il soit n cessaire de sp cifier a priori si l valuation des d riv es est n cessaire La m thode adjointe que ce soit dans sa version originale ou check pointed est d coupl e En effet une simulation du mod le direct permet de cal culer la fonction objectif et les variables d tat sont gard es en m moire Si une valuation des d riv es est n cessaire il suffit d op rer la simulation du mod le adjoint et dans le cas contraire d effacer le contenu de la m moire La m thode directe dans sa version originale ne poss de pas cette propri t l utilisateur doit sp cifier avant la simulation s il d sire voir s effectuer le calcul des d riv es ou non Deux techniques permettent de d coupler la m thode La premi re que nous nommerons diff rentiation directe m moire consiste conserver les variables d tat en m moire pour les r utiliser ensuite s il s av rait n cessaire de calculer les d riv es du mod le Ceci engendre naturellement une utilisation de m moire quivalente la m thode adjointe La seconde est une lapalissade il suffit sim plement d effectuer une simulation du mod le et d en effectuer une seconde au ca
33. GOT GOT GE ROTRA 9 3 DESCRIPTION D UNE ITERATION DE BASE 193 ce qui nous donne GOT GO RETRO 9 110 Le probl me 9 70 peut donc s crire 3 ez I argmin rot gt 5 9 111 8 0 lt lt 9 112 Constatons que ces diff rents calculs peuvent tre effectu s sans avoir construire k v recherche lin aire est effectu e pour obtenir l it r suivant x base une nouvelle it ration est non nulle une k 1 explicitement la matrice 09 Si la direction de descente s qui servira de 9 3 3 Calcul de la direction de descente 41 9 Si la direction 2 est nulle ou si dim V k 0 et si dim U k 0 nous ef fectuons le calcul de la direction de descente en wu Ceci n cessite la r solution du probl me 9 51 soumis aux contraintes 9 54 et 9 55 La matrice U k appa raissant dans ces contraintes peut tre obtenue en effectuant le produit ae 0 Log 9 113 k dim U k La matrice par blocs d finie par l expression 9 50 peut s exprimer en d composant AN Grau AU 10 0 pp jwr Aw 7 k _ prp 9 114 et ce dernier produit peut tre extrait de l expression M _ 8 A QUITA QC oe AQ g 9 115 VOTAWVH pUOrAG DOT 0 KTAG vU QWTAHO 9 116 A nouveau ces diff rents calculs peuvent tre effectu s sans avoir construire Se a oe k explicitement la matrice 0 Si la d
34. Pour r aliser l identification param trique nous g n rons des mesures fictives par une exp rience jumelle voir section 5 3 Toutes les exp riences jumelles me n es dans la suite prennent comme solution de r f rence les valeurs de param tres du tableau 6 3 Dans un premier temps l identification param trique est r alis e avec une estimation initiale arbitraire voir tableau 6 3 Nous consid rons que nous ne disposons que de Nu mesures de la proie X et du pr dateur Y des instants r partis al atoirement parmi les Nmax valeurs chantillonn es num rique ment Les r ponses du syst me sont pr sent es sur la figure 6 2 Nous adoptons pour la quantification de l erreur du mod le par rapport aux mesures l erreur au sens des moindres carr s 5 9 S1 nous d finissons la 116 4 5 3 5 CHAPITRE 6 TRUST R f rence Initiale 50 60 70 80 90 t 100 FIG 6 2 R ponses temporelles des variables d tat pour la solution de r f rence et pour l estimation initiale des variables de contr le Le but d une identification para m trique est en termes imag s de rapprocher les courbes discontinues des courbes continues 6 3 APPLICATION MOD LE DE LOTKA VOLTERRA 117 TAB 6 4 Co ts CPU des deux m thodes de diff rentiation normalis s par rapport au co t CPU du mod le On peut constater que les ordres de grandeur sont bien ceux attendu
35. approximation locale d croisse au moins d une fraction donn e de celle obtenue au point de Cauchy Hypoth se 4 8 Pour tout k le pas de progression s est tel que k mV x m x s gt ic IL mind LE L oi 4 17 Kmde 0 est une constante Cette hypoth se l int ressante cons quence suivante Th or me 4 2 Si les hypoth ses 4 4 et 4 8 sont satisfaites et si V f x 0 4 18 alors m x 50 lt 409 et s 0 6 dep pour Decrease at the Cauchy Point 7 pour Model DeCrease 66 CHAPITRE 4 CONVERGENCE DES REGIONS DE CONFIANCE Dans ce cas la d croissance de l approximation locale est assur e pour autant que x ne soit pas un point critique du premier ordre Naturellement nous pouvons d cider de faire d cro tre l approximation locale en de de la borne donn e par l hypoth se 4 8 En particulier nous pouvons tre amen trouver un minimum exact de l approximation locale dans la r gion de confiance xD arg min m x 4 19 xE Blk ou une approximation de celui ci En effet le r sultat suivant nous garantit la validit d une telle approche Th or me 4 3 Si pour tout k le pas de progression 59 est tel que m x9 _ m 500 gt Kamm Di x mO M 4 20 Kamm 0 est une constante l hypoth se 4 8 est satisfaite pour une valeur constante Kmde choisie en cons quence 4 2 2 3 Hypoth se sur les r gions
36. cette m thode n cessite le calcul de la d riv e seconde de la fonction objectif le long de la direction de descente La d riv e seconde n est malheureusement pas toujours disponible La m thode de la corde s inspire de la m thode de Newton Raphson et ap proche l inverse de la d riv e seconde de w par une constante m VOR 2 13 et la formule d actualisation est d s lors Et E my 2 14 L ordre de convergence est affect par cette approximation il passe de quadratique lin aire Ces deux m thodes un point ont cependant un d faut majeur leur conver gence globale vers une solution amp n est assur e que dans des conditions plut t restrictives ce qui en fait de pi tres instruments de globalisation pour des fonc tions objectifs tout fait g n rales 2 1 2 M thodes deux points Les m thodes deux points utilisent les informations en deux points et n ces sitent d s lors une proc dure sp cifique pour obtenir les deux premiers points Tout d abord la m thode de la corde classique s inspire de la m thode de la corde mais approche la d riv e seconde de 5 par une diff rence finie IEN wl 5 6 d signe l it r courant et celui qui le pr c de Le processus it ratif com plet s crit donc CN Eve YO Ge Pour rappel une fonctions f x D C R Rest continue au sens de Lipschitz s il existe une constante telle que pour tout x y
37. contraint correspondant se situe l int rieur de la r gion de confiance il est bel et bien le minimum global D s lors si H est sym trique d finie positive son inversion est effectu e au moyen d une d composition de Cholesky qui permet de la factoriser en un produit RTR R est une matrice triangulaire sup rieure Le minimum non contraint de l approximation locale s obtient alors en r solvant successivement deux syst mes triangulaires Le minimum global sy est gal au minimum non contraint si celui ci est l int rieur de la r gion de confiance i e si s lt A Dans les cas contraires nous d finissons 5 8 6 13 2 minimum est n cessairement global vu la forme de q s 6 1 SOUS PROBLEMES QUADRATIQUES 107 eu Ae Hu H FIG 6 1 Profil de la fonction s u lorsque v g Z 0 solution de 6 11 pour des valeurs de u suffisamment grandes pour que H ul soit sym trique d finie positive La d composition spectrale de de cette matrice permet d crire je 6 14 siu Vi mi Ajtu A est une valeur propre de H et v le vecteur propre correspondant Vu la sym trie de H les valeurs propres sont r elles et les vecteurs propres v peuvent tre choisis orthogonaux La norme du vecteur s u se calcule ais ment en tenant compte de cette orthogonalit 6 15 Sans pe
38. cref La variable est un entier elle donne la dimension du vecteur des variables op timiser x La variable x donne au simulateur la valeur des variables pour lesquelles la routine d optimisation demande a calculer la valeur de la fonction objectif et de sa d riv e Le cas ch ant la variable m est un entier qui donne la dimension m du vec teur c x que l utilisateur souhaite minimiser au sens des moindres carr s La variable cref quant elle est le vecteur des valeurs de r f rence Toutes ces variables doivent demeurer inchang es en sortie A 1 3 Les sorties real kind 8 intent inout f real kind 8 dimension n intent inout 0 real kind 8 dimension m intent inout c real kind 8 dimension n m intent inout jacob 2 LES AUTRES VARIABLES 237 Si l appel du simulateur se fait avec indic 1 la routine d optimisation fait en sorte que les variables f et g resp c et jacob contiennent en entr e les valeurs de la fonction objectif f x et de son gradient g x resp c x et G x au point x Cette disposition permet l utilisateur de faire imprimer ces valeurs et d ainsi formater les impressions de la routine d optimisation comme il le souhaite Dans ce cas les valeurs de ces variables doivent rester inchang es en sortie Si l appel de la routine se fait avec indic 2 l utilisateur doit faire en sorte que les variables et g resp c et jacob contiennent
39. end subroutine simul end module simul m 242 ANNEXE A ROUTINES FORTRAN MODE D EMPLOI Annexe Z ros des polynomes du troisi me et du quatri me degr Cette annexe pr sente les formules exactes utilis es pour calculer les z ros du polyn me de degr quatre VE 8 BE yE K t B 1 Avant de r soudre ce probl me de fa on g n rale envisageons le cas 1 0 et 0 Dans ce cas nous obtenons une quation cubique que nous pouvons r soudre gr ce la m thode de Tartaglia Cardan voir par exemple 1 Il faut poser De wie B 2 P E 2 276 Bean Si 7 gt 0 1 n y a qu une racine r elle 5 r r i r Vet Pa L B 4 3K sinon il y a trois racines r elles Ej 2 4050 se 5 s qcos0 de v 3qsin0 B 6 Es J qcos0 NM 3qsin0 B 7 243 244 ANNEXE ZEROS DES POLYNOMES 0302 4 arctan v TI sir gt 0 23 52 V 2 3 sir lt 0 Si t Z 0 nous pouvons utiliser la m thode de Ferrari voir par exemple 1 faut d abord r soudre le probl me cubique associ 2 m Iu 4 F ch 5 5 42 9 0 8 1 13 par la m thode de Tartaglia Cardan S il n y a qu une seule racine les quatre racines du polyn me B 1 sont les solutions des deux quations du second degr 2 mt q 0 E pr qg 0 Sg Y B 10 BU 5 gs K y 24 T 11 P2
40. est ind fini 9 4 LE MODE RAPIDE 201 jusque 1a doit tre activ e suite la recherche unidimensionnelle Dans ce cas aucune ar te ne peut tre d sactiv e au cours de cette it ration Algorithme 9 2 Le sch ma complet d une it ration e crit donc sch matiquement comme suit La variable enti re j est ind finie au d but de l algorithme La va riable logique SPECIAL est initialis e 0 au d but de chaque it ration avant l tape 1 Etape 1 Identification des ar tes actives Si le mode rapide n est pas activ 1 utiliser les formules 9 14 9 15 et 9 14 pour construire les ensembles N Z etph 2 si z U 0 et z 0 Z 0 poser SPECIAL 1 activer le mode rapide et recommencer l tape 1 Sinon passer l tape 2 Si le mode rapide est activ 1 si SPECIAL 0 et ja d fini poser 500 1 SEH OI ja 2 utiliser les mises jour 9 142 9 143 et 9 142 pour construire les ensembles N Z et p H 3 si une nouvelle ar te est activ e poser SPECIAL l et passer l tape 2 tape 2 Calcul de la direction de descente V 9 k Si le mode rapide n est pas activ si s 0 passer l tape 3 Si non effectuer une recherche lin aire dans cette direction et passer l tape 5 Si le mode rapide est activ si z 9 0 2 z0 Z dim 9 d sactiver le mode rapide et recommencer l tape 1 Sinon passer l tape 3 tape 3 Calcul
41. et sont choisies en fonction de x Moyennant toutes ces hypoth ses et modifications nous pouvons obtenir le th or me de convergence suivant pour l algorithme 2 1 Th or me 4 7 Si x est un point limite de la suite x0 et si les hypoth ses 4 14 4 19 sont satisfaites alors x est un point critique du premier ordre de f x Cet nonc n est valable que pour une r gion de confiance d finie avec la norme euclidienne pour d autres normes il convient d ajouter l hypoth se 4 9 Remar quons que contrairement au th or me 4 4 son pendant diff rentiable le th o reme 4 7 suppose qu il existe un point limite la suite x 4 6 Conclusion Ce chapitre traite de propri t s tr s g n rales des algorithmes utilisant une globalisation par r gions de confiance Les hypoth ses sont d taill es et pr sen t es avec rigueur afin de donner une solide assise th orique aux algorithmes d velopp s dans la suite de ce travail Plusieurs sujets sont voqu s Les hypotheses 4 6 CONCLUSION 79 permettant de conclure a la convergence vers un point critique du premier ordre ou du second ordre sont clairement expos es pour une fonction objectif diff ren tiable ainsi que les pr cautions importantes concernant la forme des r gions de confiance Tout ce corpus servira de base l impl mentation concr te d taill e dans le chapitre 6 Le pr sent chapitre traite galement des fonctions non diff rentiables En e
42. f 9 6 26 et Sm m 9 m x _ omax 1 f x 6 27 puis utilisons la valeur wf si ff lt cet f x9 gt 8 9 amp m 9 sinon Se 6 2 3 Mise chelle Comme voqu dans la section 4 4 il est assez fr quent que dans un probl me pratique les variables aient des ordres de grandeurs sensiblement diff rents Dans ce cas il s av re int ressant de travailler avec des r gions de confiance elliptiques i e d finies par 4 43 et 4 46 Le cas ch ant nous travaillerons donc avec des variables normalis es Car x amp 6 29 6 2 ASPECTS PRATIQUES DE L IMPLEMENTATION 111 ou tique Il est en effet vident que dans l espace des la r gion de confiance id ale serait un ellipso de d autant plus tendu dans une direction que l chelle de varia tion de la variable correspondante est grande Le changement de variable 6 29 nous permet d utiliser simplement une sph re dans l espace des Notons que si des variations caract ristiques sont donn es la valeur initiale pour le rayon de confiance A 1 s impose pratiquement nous puisqu une variation de la va riable de l ordre de l unit provoquera une variation de x de l ordre de est une valeur caract ristique et AT une chelle de variation caract ris 6 2 4 Contraintes de bornes La plupart des probl mes non contraints particuli rement lorsqu il s agit de probl mes
43. las toplastique Cette application est un test simple dans le domaine de la m canique des so lides 51 52 Le but est de calibrer les deux param tres E et de la loi de com portement d un mat riau lastoplastique EE si lt s e Go h 60 E sio gt oo 7 18 G est la contrainte le d placement E le module de Young h le coefficient d crouissage et la limite lastique La g om trie de ce cas test est repr sent sur la figure 7 5 s agit d un triangle en tat plan de contrainte Sa partie in f rieure est fixe et une force horizontale est appliqu e sur le coin sup rieur Un maillage sommaire est utilis onze noeuds et six l ments pour permettre d effec tuer des simulations rapides Toutes les simulations num riques ont t effectu es avec Lagamine un code l ments finis pour grandes d formations d velopp l Universit de Li ge voir Charles et al 15 321 FIG 7 5 G om trie et maillage du cas test Le triangle est encastr sa base et une force horizontale de 18 est appliqu e au coin sup rieur La figure donne une mesure de l tat de contrainte apr s d formation dans le mat riau la contrainte quivalente de Von Mises J2 en MPa Dans des applications r elles le mod le doit tre calibr par rapport des donn es exp rimentales Dans cet exemple num rique toutefois une exp rience Au sens de la m canique du solide d for
44. nous donnent OL OSN 1 0 5 33 OS OS k qui nous permet de d duire les variables adjointes Osn t1 Of 1 5 4 de DOUT k LN 5 3 et Aw 1 1 pourk N 1 5 35 Le Lagrangien se r crit donc Ns L x s f x Y Am 5 Fe x t 5 36 4 1 que nous injectons enfin dans les expressions 5 30 pour obtenir dL Of lt 8 oF 3 L 5 37 qui nous permet de 1 les composantes du gradient de la fonction objectif par rapport aux variables de contr le of Ns dF 1 n m ZA m pour 1 n 5 38 En r sum le raisonnement suivre pour obtenir le gradient de la fonction objectif est le suivant 5 4 DIFFERENTIATION DE LA FONCTION OBJECTIF 95 nous devons r soudre les quations du mod le pour obtenir les expressions 5 28 nous calculons les variables adjointes par les quations adjointes 5 34 connaissant les variables adjointes nous pouvons obtenir les composantes du gradient de la fonction objectif en d rivant 5 28 et en utilisant la for mule 5 38 En pratique nous ne disposons videmment des expressions 5 28 que par voie num rique nous ne pouvons donc formellement d river celles ci pour calculer les variables adjointes de Lagrange des variables de contr le Les quations du mod le discr tis es s crivent sous la forme 5 24 pme 1914 5 39 dans laquelle nous tenons compte du fait q
45. parametrization using time series observations Journal of Marine Systems 16 51 68 1998 Stoer J et Bulirsch R Introduction to numerical analysis Num ro 12 dans Texts in applied mathematics Springer Verlag New York third dition 2002 Svanberg K The method of moving asymptotes a new method for structural optimization International journal for numerical methods in engineering 24 359 373 1987 Svanberg K A globally convergent version of mma without linesearch Dans N Olhoff et G I N Rozvany r dacteurs First World Congress of Structural and Multidisciplinary Optimization pages 9 16 ISSMO Gos lar Germany 1995 Tossings P Sur les z ros des op rateurs maximaux monotones et applica tions Th se de doctorat en Sciences Universit de Liege 1990 Walmag J M B Optimisation des param tres d un mod le dynamique d cosyst me par assimilation de donn es Travail de fin d tudes Univer sit de Li ge 2002 Walmag J M B et Delhez J M A note on trust region radius update SIAM Journal on Optimization 16 2 548 562 2005 Walmag J M B et Delhez J M A trust region method applied to parameter identification of a simple prey predator model Applied Mathe matical Modelling 29 3 289 307 2005 BIBLIOGRAPHIE 253 102 W chter A et Biegler L On the implementation of an interior point filter line search algorithm for large scale nonlinear programming Mathe
46. rentes techniques d optimisation se distinguent bien entendu par leurs performances Une des mesures de la performance d un algorithme est le taux de convergence il s agit d une mesure de la vitesse de convergence Les deux taux de convergence les plus utilis s sont d finis comme suit voir par exemple Nocedal et Wright 80 Soit une suite d it r s x de R qui converge vers x On dit que le taux de convergence est lin aire s il existe une constante 0 1 telle que x xO e Cela signifie que l cart entre l it r et la solution d croit au moins chaque g q it ration d un facteur constant r La convergence est superlin aire si x lim 1 10 IN x d LIS lt r pour k suffisamment grand 1 9 Une convergence quadratique se d finit quant elle par x lt pour k suffisamment grand 1 11 x M est une constante positive Cela signifie que l cart avec la solution d croit quadratiquement au fil des it rations Une contrainte c est dite active au point x si c x 0 1 4 APPORT DE TRAVAIL 21 1 4 Objet et apport travail Ce travail porte sur une classe particuli re de techniques optimisation il s int resse aux probl mes non lin aires contraints et non contraints Les m thodes envisag es sont it ratives elles construisent au fur et mesure des it rati
47. reste ad quat pour traiter des probl mes non diff rentiables moyennant l utilisa tion de la formule de mise jour du rayon de confiance 4 38 assortie de la m me condition 4 39 laquelle nous ajoutons la contrainte 1 yi 4 53 Certaines hypoth ses minimales doivent cependant tre faites sur le probl me La fonction objectif doit tre localement continue au sens de Lipschitz et r gu Une fonction f x D C R gt R est continue au sens de Lipschitz s il existe une constante telle que pour tout x y D f x FO 449 La fonction f x est localement continue au sens de Lipschitz si pour tout x D il existe un voisinage de x dans lequel f x est continue au sens de Lipschitz 4 5 PROBLEMES NON DIFFERENTIABLES 77 8 li re sur IR Formellement cette premi re hypoth se sur la forme du probl me s crit comme suit Hypoth se 4 14 La fonction f x est localement continue au sens de Lipschitz et r guli re sur IR Malgr l int r t certain que pr sente cette classe de fonctions nous nous limi terons la plupart du temps aux seules fonctions convexes satisfaisant l hypo th se 4 14 Dans l expression de l algorithme 2 1 il faut naturellement red finir mation locale et ce que nous entendons par une r duction suffisante de l ap proximation locale Notre approximation locale doit cependant tre un peu moins
48. s av re plus performante qu un algorithme g n ral 9 6 PERFORMANCES DE L ALGORITHME 211 Po al 0 9 F f 7 0 8 A 0 6 F 2 0 4 1 0 3 F D r 4 Dit A L UVQCQP Matlab Interior point method 10 10 10 e 10 FIG 9 7 Profil de performance de l algorithme et de la m thode de point int rieur de Matlab sur 500 probl mes tests de petite taille 2 lt n lt 22 et 1 lt m lt 21 212 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP 9 77 Conclusion L algorithme d velopp dans ce chapitre est une brique l mentaire gt pour la r solution de sous probl mes engendr s par une approche s quentielle de pro bl mes quadratiques contraintes quadratiques Les probl mes envisag s sont ceux obtenus par l utilisation d une fonction de p nalit de type pour une fonction objectif et des contraintes quadratiques et une r gion de confiance uti lisant une norme 7 Nous n avons cependant envisag que des sous probl mes convexes La fonction ainsi obtenue est donc convexe non diff rentiable quadra tique par morceaux et soumise des contraintes de bornes L algorithme UVQCQP s inspire d un d veloppement th orique propos par Lemar chal et al 65 L espace d optimisation est divis en trois sous espaces celui des contraintes de bornes actives W d une part et son compl ment ortho w qui es
49. 1 x1 7 14 Cette fonction pr sente une vall e courbe et profonde le long de la parabole x1 et son minimum se situe en x1 x2 1 1 La figure 7 2 nous montre l volution de la fonction objectif avec les algorithmes Trust SR1 et Trust BFGS associ s aux quatre strat gies de mise jour Ro et tandis que les nombres d it rations requises pour atteindre la convergence sont list s dans le tableau 7 1 Dans un soucis de compl tude nous montrons galement le compor tement d une version de Newton utilisant la v ritable matrice hessienne Aussi bien avec la version Newton qu avec les versions SRI et BFGS de l algorithme les fonctions A se r v lent plus efficaces que les fonctions Les modifications algorithmiques sugg r es diminuent le nombre d it rations et par cons quent le nombre d valuations de la fonction objectif sans aucun calcul sup pl mentaire Nous constatons galement que la proportion d it rations r ussies est plus grande pour les fonctions A Le plus petit nombre d it rations observ avec les fonctions A r sulte de la combinaison de deux effets Le premier est une r duction du nombre d it rations 134 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE TAB 7 1 Nombre d it rations pour le probl me de Rosenbrock logarithmique Entre parenth ses le nombre d it rations r ussies Trust SR1 Trust BFGS Trust Newton incond incond 388 211 317 07
50. 2 calcul es lors des it rations pr c dentes La nouvelle approximation du pas optimal amp 3 est alors choisie comme le minimum de cette interpolation cubique Celle ci est calcul e gr ce l quation 2 17 o la valeur de p est donn e par wba 54R P WE v amp 25 n o Se 335 YG yE v 2 22 S2 yEyE 2 23 Cette m thode est tr s utilis e en raison de son taux de convergence quadratique et de sa propri t de convergence globale ind pendante du point de d part voir 82 95 2 1 3 M thode trois points Consid rons maintenant un ensemble de trois valeurs croissantes du pas soit lt 62 lt o les valeurs de la fonction objectif sont valu es Le mi nimum de l interpolation quadratique passant par ces trois points est ajout l ensemble ordonn _ 1 bos Si bai w S2 dia Ss 2 24 2 a23 w E1 431 w 2 412 w 3 o aj 5 65 et bij Il convient alors d exclure de l ensemble ordonn Ei ou celui dont la valeur de la fonction objectif est la plus grande et de recommencer l op ration avec les trois valeurs restantes Cette m thode trois points pr sente l avantage d avoir un taux de convergence quadratique et de ne pas n cessiter le calcul des d riv es Dans le cas de fonctions non convexes il peut arriver que 4 n appartienne pas l intervalle 61 63 Dans ce cas l algorithme est red marr avec par e
51. 3 Description d une it ration de base 187 9 3 1 Calcul pratique des directions de descente 190 9 3 2 Calcul de la direction de descente V 191 9 3 3 Calcul de la direction de descente AH 193 9 3 4 Calcul de la direction de descente en W 194 9 4 Le mode rapides os Sent retenir en y 195 9 4 1 Premi re it ration en mode rapide 195 9 4 2 It rations suivantes en mode rapide 199 9 4 3 D sactivation du mode rapide 199 9 4 4 Activation sp ciale du mode rapide 200 94 5 Performances 202 9 5 Minimisationunidimensionnell 204 9 5 1 Intervalle de confiance 205 9 5 2 Recherche des points anguleux 205 9 5 3 Algorithme de minimisation 206 9 6 Performances de l algorithme 207 Wee EEN 212 10 Vers une m thode SQCQP 213 10 1 Algorithme de 214 10 2 Incompatibilit des contraintes 216 10 3 Performances sur un petit ensemble de CUTEr 220 10 4 Conclusi n 2 eS a Bee a ae ee ee ee 224 IV Conclusion et perspectives 225 11 Conclusion et perspectives 227 11 1 Calibration de mod les math matiques 227 11 2 Trust un algorithme fiable 228 11 3 Les it rations trop r ussi
52. 5 IDENTIFICATION PARAMETRIQUE omega y 1 A omega h 2 A 1 11 1 vill omega f omega f y 1 ytilde 1 omega y 1 do i 2 N A y i 2 omega h 2 A y i 1 A y i 2 omega y 1 2 omega h 2 omega y 1 1 y i 2 amp amp 2 y 1 1 omega h 2 omega_f omega_f y 1 ytilde i omega_y i A_f A_ft y i ytilde i A_y i enddo On constate que le nombre d instructions t doubl tant donn qu il y a deux variables de contr le A et 0 5 4 5 2 M thode du mod le adjoint Si nous d signons les variables adjointes d une variable donn e en ajoutant simplement le pr fixe ad la variable directe correspondante nous obtenons par application syst matique de la formule 5 45 ad f 1 do 2 1 ad y i ad y i y i ytilde i ad f ad_y 1 1 ad_y i 1 2 omega h 2 ad y i ad_y 1 2 ad_y i 2 ad_y i ad omega ad omega 2 omega y i 1 h 2 ad_y i enddo ad y 1 2ad y 1 y 1 ytilde 1 ad f ad y 0 2ad 0 0 ytilde 0 ad f ad_omega ad_omega omega A h 2 ad_y 1 ad A ad A 1 0 5 omega h 2 ad_y 1 ad A ad y 0 en n oubliant pas d initialiser toutes les variables adjointes z ro Les compo santes du gradient de la fonction de co t sont ad A et ad omega ces valeurs sont exactes aux erreurs d arrondis pr s 5 5 CONCLUSION 101 5 4 6 Probl mes connus
53. Identification param trique Toute mod lisation math matique d une r alit physique passe par l introduc tion d une s rie de param tres Ces param tres sont plus ou moins bien connus suivant les cas la viscosit d un fluide peut tre mesur e exp rimentalement ou d termin e de mani re th orique il en va de m me pour le module de Young d un mat riau lastique etc Les mod les sont toutefois confront s des contraintes co t du calcul num rique n cessit d interpr ter les r sultats de les repr senter de fa on appropri e qui conduisent limiter l envergure soit par la r duction de l ampleur en ne consid rant par exemple que des valeurs moyennes sur la profondeur sur la section droite d une rivi re une zone climatique une r gion conomique soit par sectorisation en se limitant un sous mod le colo gique conomique soit par agr gation se limitant aux caract ristiques globales d ensembles de variables d tat la concentration moyenne des particules 5 1 MODELISATION 85 en suspension dans l air ou dans l eau sans distinction de tailles ou de composi tions les c r ales sans distinction d esp ces le nombre de ch meurs sans dis tinction de cat gories Ces limitations de l envergure du mod le conduisent in vitablement une mod lisation empirique des ph nom nes simplifier ou a agr ger les param tres introduits ce niveau s
54. Lower Bound on the objective Function ufh pour Upper bound on the objective Function s Hessian 4 2 CONVERGENCE GLOBALE DU PREMIER ORDRE 61 4 2 2 Hypoth ses sur l algorithme L algorithme 2 1 en lui m me doit lui aussi r pondre certaines hypoth ses Celles ci r sultent pour la plupart de deux pr occupations essentielles la pre mi re est que l approximation locale repr sente au mieux la fonction objectif dans la r gion de confiance et la seconde est que le probl me approch ainsi cr ait une solution 4 2 2 1 Hypoth ses sur l approximation locale Le but est ici de simplifier la d marche autant que possible sans pour au tant masquer les id es ma tresses Nous supposerons que l approximation locale mY choisie l it ration k pour repr senter la fonction objectif dans la r gion de confiance 8 est une bonne approximation lisse et du premier ordre de la fonc tion objectif En cons quence il est n cessaire de faire les hypoth ses suivantes Hypoth se 4 4 Pour tout k l approximation locale m est deux fois continiiment d rivable sur 8 Hypoth se 4 5 Au point courant x les valeurs de l approximation locale et de la fonction objectif coincident i e mE x f x Yk 4 6 Hypoth se 4 6 Le gradient de l approximation locale en x est gal au gradient de la fonction objectif i e g amp 4 7 Hypoth se 4 7 Le Hessien de l approximat
55. Notre approche n a cependant aucune difficult contourner ce probl me le recours une fonction de p nalit exacte tel qu envisag dans ce chapitre permet tra de progresser vers le point minimisant une certaine pond ration de la fonction objectif et de la violation des contraintes L exemple suivant illustre ceci 218 CHAPITRE 10 VERS UNE METHODE SQCQP Fic 10 2 Illustration de l exemple 10 2 la figure montre l approximation lo cale 10 18 construite pour le point x 1 2 1 2 avec o 2 de sorte que la fonction de p nalit est exacte Au titre de point de rep re la contrainte r elle c x y est repr sent e en trait pais discontinu Le minimum de ce probl me ram ne bien l algorithme vers l espace admissible du probl me original Exemple 10 2 Soit la fonction objectif lin aire f x y 10 17 soumise aux contraintes 10 14 et 10 15 de 10 1 Soit le point x 1 2 1 2 comme it r actuel L approximation locale de est m x y 6 f x y omax 0 c x y omax 0 c x y 10 18 Cette fonction est repr sent e sur la figure 10 2 le pas de progression engendr par cette repr sentation locale ram ne sans difficult l algorithme vers la zone admissible si gt 1 La figure 10 3 montre les deux it rations suivantes Une autre question importante dans le cadre des m thodes de type SQCQP est le sort r serv aux
56. Pour tout cela je tiens lui exprimer toute ma gratitude Je remercie galement l Universit de Li ge la facult des Sciences Appli qu es et le d partement A amp M pour m avoir permis de mener mes recherches dans un environnement stimulant ce titre je tiens tout sp cialement remercier les coll gues du groupe de Math matiques g n rales pour toutes les discussions scientifiques approfondies mais aussi et surtout pour tous les bons moments pas s s discuter de tout et de rien dans une ambiance d tendue merci Patricia pour l int r t port mon travail merci Christophe pour les s ances collectives de d bogage Merci galement G raldine et Francine Je voudrais aussi remercier Caroline Julien et Renaud de vieux amis tous docteurs aujourd hui pour leur soutien moral leurs encouragements m ont aid garder le cap malgr les emb ches Je r serve les derni res lignes ceux qui ont v cu cette th se en en subissant les cons quences les moins agr ables Merci Delphine pour absolument tout mais encore pour tout le reste Et merci aux deux petits bonshommes de deux et quatre ans qui m ont d ores et d j appris bien plus que toutes les th ses du monde Table des mati res Introduction 1 Position du probl me 1 1 Formulation 1 2 Conditions d optimalit 13 Taux de convergence 1 4 Objet et
57. ap proximation du Hessien avec des mises jour de quasi Newton impr cises Mal gr une l g re d t rioration de la robustesse il appara t que l algorithme le plus efficace combine cette nouvelle strat gie avec une mise jour inconditionnelle de l approximation de la matrice hessienne par une r gle de type quasi Newton Troisi me partie Optimisation sous contraintes 153 Chapitre 8 M thode SQP avec r gions confiance Dans les chapitres pr c dents nous avons d crit la forme g n rale des algo rithmes avec r gions de confiance Le chapitre 4 a permis de pr senter les r sultats th oriques En se basant sur ces derniers le pr sent chapitre et les suivants envi sagent la gestion de contraintes d galit ou d in galit pour tendre algorithme de type quadratique s quentiel d velopp au chapitre 6 dans le cadre de l optimi sation non contrainte ou ne comprenant que des contraintes de bornes L objet de ce chapitre est d introduire les principes sous tendant les algo rithmes de programmation quadratique r cursive ou sequential quadratic pro gramming SQP Comme son nom l indique cette m thode proc de par it rations sur des probl mes quadratiques approchant le probl me d optimisation original Cette m thode est une des plus r pandues et des plus efficaces dans le cadre de l optimisation avec contraintes e g 41 46 Nous nous attarderons en particu lier sur l utilisation d une m
58. apport de ce travail 2 M thodes de globalisation en optimisation 21 Recherche lin aire 2 1 1 2 1 2 2 1 3 M thodes un point M thodes deux points M thode trois points 2 27 R gions de CONHANCE PY ie releve Pre 2 3 Point proximal E ede ee es 24 Meta heuristiques 2 4 1 2 4 2 2 4 3 Recuit SuDUld oP ae eoe UE ee a Algorithmes g n tiques Propri t s g n rales 2 57 COnclision wee eB wee DRE D dO aca A 3 Approximations locales 3 1 Approximations 3 11 312 M thode de la plus grande pente Cas non diff rentiable 3 2 Approximations quadratiques 3 2 1 3 2 2 3 2 3 3 2 4 3 2 5 3 2 6 M thode de Newton M thodes de Newton modifi es M thodes de type quasi Newton Directions conjugu es R solution d quations non lin aires Approximations quadratiques s parables 5 TABLE DES MATIERES 3 3 3 3 1 Approximation conique 3 3 2 Asymptotesmobiles 24
59. autour de la contrainte s accroit avec le param tre ceci peut causer des probl mes de conditionnement lors de la minimisation de la fonction de m rite 162 8 METHODE 5 AVEC REGIONS DE CONFIANCE f x 0 75 0 35 F 0 05 r 0 45 0 25 0 15 0 55 S 0 95 FIG 8 2 M canisme de base d une it ration SQP Le probl me 8 19 est repr sent sur la figure de gauche les iso valeurs de la fonction objectif la contrainte d galit trait pais discontinu le minimum global le point courant et le pas de progression Le probl me 8 25 est repr sent sur la figure de droite les iso valeurs de la fonction quadratique la contrainte non lin aire trait pais discontinu la contrainte lin aris e trait pais continu et le pas de progression obtenu Le cercle en trait fin discontinu est une r gion de confiance de rayon AQ 2 nous constatons qu il est impossible dans ce cas d tre la fois l int rieur de la r gion de confiance et de satisfaire la contrainte d galit lin aris e Le sous probl me quadratique 8 9 correspondant s crit minimiser 1 2 52 52 25 52 8 25 S C 51 5 7 8 0 i dont la solution est 59 1 16 15 16 Le probl me 8 19 et le sous probl me quadratique correspondant 8 25 sont repr sent s la figure 8 2 Nous consta tons que la courbure de la fonction utilis e comme nouvelle fonction objectif a
60. bien gales dans voisinage de x 2 voisinage qui s tend a l ensemble des points pour lesquels et gt est strictement n gatives De la m me mani re la fonction approch e 63 x correspondant au point x9 0 0 1 s crit x max 0 1 x 9 45 puisque 61 x0 0 s annule et lt 0 La fonction Q x ainsi que les fonctions 9 QU x et Q9 x correspondant respectivement aux points x 0 0 2 x 0 0 3 et x 0 0 4 sont repr sent es la figure 9 2 Chaque fonction quadratique peut tre crite autour de sl g js As 9 46 s x x9 Notons que x 9 0 quand i Z par d finition de l en semble Z Notre but est de trouver une direction de descente s pour Nous prouvons ais ment que s est une direction de descente pour si et seulement si elle l est galement pour 0 9 x Ce probl me sera envisag dans chacun des sous espaces U k yh ew 9 2 1 La direction de descente en 419 Si nous restreignons le choix de la direction de descente dans le sous espace k u u le vecteur s doit n cessairement tre de la forme s U Yu o u En tenant compte des expressions 9 36 et 9 46 la restriction dans de la 181 DIRECTIONS DE DESCENTE 9 2 182 CHAPITRE 9 DESCRIPTION DE L ALGORITHME U
61. caract ristique particuli rement int ressante de la m thode provient du fait que le coefficient B k 1 peut tre calcul sans faire intervenir explicitement la matrice 207 go gD k 1 _ B qur gd een SE 52 CHAPITRE 3 APPROXIMATIONS LOCALES ce qui s av re particuli rement utile pour les probl mes de grande taille On peut montrer que le probl me de minimisation de l approximation 3 17 est r solu en au plus it rations par la m thode du gradient conjugu 30 80 La m thode du gradient conjugu telle que d crite ci dessus peut tre uti lis e avec des fonctions objectifs non quadratiques mais n cessite quelques 16 g res modifications Le coefficient B peut par exemple tre calcul partir d autres expressions quivalentes a 3 65 lorsque la fonction est quadratique est conseill apr s it rations de r initialiser le processus avec une it ration de plus grande pente Un nouveau jeu de directions de descente conjugu es pourra ainsi tre cr lors des n it rations suivantes De plus vu que la recherche lin aire n est jamais r solue de fa on parfaitement exacte il peut s av rer que la direction d ne pointe plus en direction d une r duction de la fonction objectif c est en fait une direction de mont e Dans ce cas on r initialisera de m me le processus par une it ration avec la m thode de la plus grande pente D autres m thodes utilisant le concept des dire
62. contraintes non convexes Ayant choisi de convertir chaque contrainte d galit en deux contraintes d in galit oppos es ce probl me de non convexit se pose forc ment pour l une des deux sauf si la contrainte est lin aire Pour comprendre la mani re dont nous avons envisag la gestion de contraintes non convexes nous pouvons consid rer l exemple suivant 10 2 INCOMPATIBILITE DES CONTRAINTES 219 y T T y 4 1 0 5 0 5 Fic 10 3 Illustration de l exemple 10 2 la figure montre l approximation lo cale 10 18 construite pour les points x 1 figure de gauche et x figure de droite avec 2 Au titre de point de rep re la contrainte 1 est repr sent e en trait pais discontinu Exemple 10 3 Soit la fonction objectif lin aire fy eg 10 19 soumise la contrainte d galit non convexe c x y x y 1 0 10 20 Au point 1 4 5 4 les deux approximations locales quadratiques corres pondantes sont 63 3 3 r 10 21 5 83 3 5 Ces deux contraintes sont incompatibles voir figure 10 4 L approximation lo cale de est m x y o f x y o max 0 c x y o max 0 c 10 23 220 CHAPITRE 10 VERS UNE METHODE SQCQP FIG 10 4 Illustration de l exemple 10 3 au point x 1 4 5 4 La contrainte c x y est repr sent e par un trait continu et les approximations l
63. d identification param trique font intervenir des contraintes dites de bornes i e pour i 1 n X lt Xj lt Xj 6 30 o x et x sont respectivement les bornes inf rieure et sup rieure de la variable x La variable x est dite fixe et ne constitue plus une variable pour l optimisation si X Xj type de contrainte est plut t simple traiter en raison de son caract re lin aire Il s av re donc utile dans un algorithme comme Trust d impl menter une strat gie de contraintes actives La strat gie adopt e est classique A une it ration donn e nous d finissons tout d abord l ensemble 7 k des indices des variables fix es une de leurs bornes Dans la m me logique nous d finissons l ensemble des indices des variables fix es au d part FO iix 6 31 Nous d finissons galement l espace vectoriel des variables actives l it ration k comme le sous espace de R tel que les variables fix es i e les variables x pour lesquelles i F E _ soient gales la borne inf rieure ou sup rieure sur laquelle elles ont t fix es chaque it ration la minimisation de l approximation locale quadratique s effectue non pas sur R mais sur A0 500 arg min m x s 6 32 sE q 0 3Dans un soucis de simplicit de la pr sentation et sans perte de g n ralit nous supposerons qu en dehors des composantes fix es aucune contrainte de borne n est active au
64. dans chaque sous probl me Les contraintes de bornes envoy es la routine UV sont en effet l g rement modifi es pour en tenir compte elles s expriment sous la forme max x La valeur de l approximation locale 10 5 tout comme l expression de ses d riv es directionnelles au point x coincident avec celles de V x et les hypo th ses 4 16 et 4 17 sont donc satisfaites L hypoth se 4 15 est galement satisfaite puisque m est une somme de fonctions continues au sens de Lipschitz et l hypoth se 4 18 est sans objet aucun param tre ne varie d une it ration l autre L utilisation de l algorithme UVQCQP pour la r solution du sous probl me garan tit une d croissance suffisante hypoth se 4 19 et le th or me 4 7 de convergence vers un point critique du premier ordre est d s lors d application Notons que la valeur du param tre n est pas quelconque Le th or me 8 2 ex prime la valeur minimum que doit prendre pour que la fonction de m rite 10 2 soit exacte la valeur de G doit tre sup rieure ou gale la norme 7 des multipli cateurs de Lagrange relatifs aux contraintes du probl me initial Dans cette tude exploratoire nous consid rerons que a t choisi suffisamment grand par rap port au probl me donn Notons toutefois que en pratique la valeur de ne doit pas tre trop importante pour ne pas d grader les performances de l algorithme AM lt s
65. de confiance par la norme dont la forme est la plus simple prendre en compte soit la norme Isle 151 max is 9 1 qui donne la r gion de confiance une forme d hyper boite dont les faces sont parall les aux axes La contrainte de confinement s lt 9 se transforme en contraintes de bornes dans le probl me local ce qui lui conf re l ind niable avan tage d tre ais ment combin e avec de v ritables contraintes de bornes Afin d viter les probl mes d incompatibilit entre les contraintes de confine ment et les contraintes r elles du probl me nous approchons le probl me contraint par le biais de la fonction de p nalit 21 Celle ci pr sente l avantage d tre une fonction de p nalit exacte mais le d savantage de ne pas tre en tout point diff rentiable Afin de simplifier le probl me nous ne consid rons que des contraintes l Tout au long de ce chapitre les composantes d un vecteur a ou d une matrice A seront d si gn es par et A i j 171 172 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP d in galit convexes crites sous la forme g n rique x lt 0 i 1 2 m 9 2 Cette hypoth se est bien entendu tr s restrictive mais nous aborderons le cas g n ral dans le chapitre suivant L algorithme d velopp dans ce chapitre pour r soudre le probl me s inspire des d veloppements th oriques de Lemar chal et al 65 qui ont intro duit une d com
66. de confiance Il reste formuler une derni re hypoth se sur les diff rentes normes utili s es pour d finir les r gions de confiance celles ci ne pouvant pas s tendre ou se contracter asymptotiquement dans une direction au fur et mesure des it rations Hypoth se 4 9 H existe une constante gt 1 telle que 1 1 1 lt lt Kune Yx R 4 21 On dit alors que la norme est uniform ment quivalente la norme eucli dienne 4 2 3 Th or me de convergence Il est maintenant possible de prouver que l algorithme 2 1 est globalement convergent vers un point critique du premier ordre Plus pr cis ment tous les points limites x de suites x g n r es par l algorithme sont des points cri tiques du premier ordre pour le probl me 4 3 c est dire qu ils satisfont 0 4 22 5 amm pour Approximate Model Minimizer une pour e Uniform Norm Equivalence 4 3 CONVERGENCE GLOBALE DU SECOND ORDRE 67 ind pendamment de la position du point de d part x et du choix du rayon de confiance initial AO Le th or me suivant permet de l affirmer Th or me 4 4 Si les hypoth ses 4 1 4 9 sont satisfaites on a lim 0 4 23 Ceci signifie que tout point limite d une suite d it r s est un point critique du premier ordre La preuve compl te de ce th or me peut tre trouv e dans 20 Notons qu il est impossible d ass
67. de globalisation la mise a jour du rayon de la r gion de confiance est susceptible d avoir une forte influence sur ses pro pri t s de convergence Ce chapitre fournit une nouvelle strat gie de mise a jour du rayon de confiance bas e sur l id e que certaines it rations d apparence tr s r ussies sont r alit trop r ussies C est ce qui arrive lorsque la r duction de la fonction objectif s av re significativement plus grande que celle qui tait esp r e apr s l analyse de l approximation locale Dans ce cas contrairement l habitude nous sugg rons de maintenir le rayon de confiance quasi constant Cette strat gie est tr s intuitive et largement applicable La mise jour auto adaptative propos e conserve les propri t s g n rales de convergence de la glo balisation par r gions de confiance Lorsque l algorithme est proche de la conver gence la plupart des it rations sont tr s r ussies et la r gion de confiance inop rante dans la minimisation de l approximation locale Le taux de convergence n est donc pas affect par la nouvelle r gle de mise jour du rayon Des exp riences num riques conjuguant des algorithmes utilisant des approxi mations locales quadratiques de type quasi Newton avec diff rentes strat gies de mise jour du rayon de confiance montrent que la nouvelle approche am liore la vitesse de l algorithme En effet cette r gle permet d viter la pollution de l
68. de la direction de descente en uY Si le mode rapide n est pas activ 1 si 0 lt z 9 dim lt 49 activer le mode rapide et recom mencer l tape 3 k 2 sis 0 passer l tape 4 Sinon effectuer une recherche li n aire dans cette direction et passer l tape 5 Si le mode rapide est activ k 1 le calcul de la direction Sy lieu de 9 114 k u s effectue avec la matrice 9 122 au 2 sis 0 d sactiver le mode rapide et recommencer l tape 1 202 CHAPITRE 9 DESCRIPTION DE ALGORITHME UVQCQP 3 si SPECIAL 0 valuer avec la formule 9 145 sinon poser Ja ind fini 4 si 59 est dominante i e Bell gt IDA pide et recommencer l tape 1 d sactiver le mode ra calculer la correction du second ordre d si d 0 d sactiver le mode rapide effectuer une recherche unidimensionnelle du type 9 140 N M sile pas E X obtenu est strictement positif calculer l it r suivant par 9 141 et passer l tape 5 Dans le cas contraire d sactiver le mode rapide et recommencer l tape 1 tape 4 Calcul de la direction de descente W Utiliser 59 tiver une contrainte de borne modifier les espaces U 0 4409 w en cons quence et retourner l tape 2 S il n est pas possible de d sactiver une contrainte de borne stopper l algorithme Noter que l tape 4 n est jamais atteinte en mode rapide pour d sac
69. de la fonction objectif au point x Pf em k d Cette approximation peut ventuellement tre assortie d un gardien garantissant la d finie positivit de la matrice H ei Duysinx et al 25 puis Bruyneel er al 10 proposent de construire les termes diagonaux du Hessien de l approximation locale partir d informations obtenues lors des it rations pr c dentes ce qui permet d viter le calcul des d riv es se condes Cette approximation est obtenue en rempla ant les termes diagonaux du 3 3 AUTRES APPROXIMATIONS 55 Hessien par une diff rence finie des gradients en deux points connus x et 5 1 k 50 1 k 1 k _ qi 1 Er En En H diag IE CN E one 3 81 1 Cette approximation peut videmment donner lieu des approximations n gatives des courbures il arrive donc qu un gardien algorithmique soit mis en place afin de garantir la d finie positivit de la matrice 3 3 Autres approximations locales Les approximations locales les plus directes sont celles qui se basent sur le d veloppement en s rie de Taylor 3 19 D autres types d approximations ont t d velopp s nous allons en brosser un rapide tableau La premi re d entre elles est l approximation conique de Davidon 22 Les m thodes suivantes nous pro viennent du domaine de l optimisation des structures qui a t particuli rement f cond en la mati re Des approximations locales convexes particuli re
70. de plus grande pente m 9 x 1A g 6 9 est repr sent par la courbe continue et le membre de droite m x rp x j x e de 4 12 est repr sent par la droite discontinue Pour fixer les id es les valeurs des constantes sont Kubs 0 1 et Ky 0 8 Sur l exemple propos le point de Cauchy approch xD correspond donc je 2 4 2 CONVERGENCE GLOBALE DU PREMIER ORDRE 65 En nous servant de ces d finitions nous avons le th or me suivant Se s Re 5 4 zalk Th or me 4 1 Si l hypoth se 4 4 est satisfaite le point de Cauchy approch x est bien d fini dans le sens existe et est fini De plus la d croissance de l approximation locale est minor e k m x mI x gt I0 mind span 4 14 BO 21 max vi It 4 15 xe Blk leit IL et Kacp 0 est une constante ind pendante de k Nous ne ferons d sormais plus la distinction entre point de Cauchy et point de Cauchy approch Nous utiliserons donc la d nomination point de Cauchy et son symbole pour les deux formes exacte et approch e Nous pouvons constater que la d croissance de l approximation locale au point de Cauchy d pend de la valeur de vik a tout le moins pour de petites va leurs du rayon de confiance A Nous verrons que l hypoth se 4 9 nous permet d affirmer que ys gt 0 4 16 Kune pour tout k Il est donc acceptable d exiger qu chaque it ration
71. de type moindres carr s on parlera plut t de la m thode de Gauss Newton Consid rons le d veloppement de Taylor limit au premier ordre de cha cune des composantes du vecteur c x e1 x ea x em x 3 69 autour de l it r x c x e x GMT x x 3 70 o G G x Une approximation locale quadratique de la fonction tre construite en utilisant 3 70 dans l expression de la fonction objectif 3 67 Cette approximation est de la forme 3 17 avec g G c x 9 3 71 et H 2 GO GOT 3 72 Cette expression est comparer avec le gradient en un point x Vf x G x e x 3 73 et la matrice hessienne en un point x Vaf x G x G x GE i V ci x 3 74 On constate qu il y a bien coincidence entre les gradients de la fonction objectif et de l approximation locale tandis que le second terme de l expression de la matrice hessienne 3 74 est n glig Notons que d autres formes de mesure de l cart peuvent tre utilis es voir section 5 2 2 De mani re analogue le gradient et la matrice hessienne de la fonc tion objectif g n rale f x 7 c x 6 sont respectivement de la forme Vf x G x V5 c x 3 75 et Vaf Gx Ve Gx Vci x 3 76 54 CHAPITRE 3 APPROXIMATIONS LOCALES L approximation locale quadratique s obtient alors en prenant pour matrice hes sienne HU GU Vef c x 9 6 97 3 77 La m
72. des points anguleux dans l intervalle de confiance Si ic gt p stopper l algorithme amp est le minimum recherch Sinon passer l tape 2 tape 2 Y a t il un minimum avant le prochain point anguleux Si ic lt p et amp lt stopper l algorithme 5 est le minimum recherch Sinon passer l tape 3 tape 3 R duire l intervalle de confiance Poser 64 Gj et ic ic 1 et passer l tape 4 tape 4 Construire un polyn me minimiser Si ic lt p poser Sie 9 154 sinon poser 2 2 9 155 pour valuer les coefficients du polyn me du quatri me ordre gal au voisinage de 5 5 80 B Bo m Bi 7 1l L x 9 156 amp il Kj 7Si la multiplicit d un z ro correspondant y est double ou quadruple le point est cart de l ensemble des points anguleux car la fonction y n y change pas de signe 9 6 PERFORMANCES DE L ALGORITHME 207 Passer l tape 5 tape 5 Minimiser le polyn me Le minimum 6 du polyn me 6 BE 9E amp E 164 9 157 dans l intervalle 5 Eg est ais ment calcul en utilisant les m thodes de r solution exacte pour les quations du troisi me degr pour la recherche des z ros de sa d riv e Retourner l tape 1 9 6 Performances de l algorithme Pour tudier les performances de l algorithme nous avons utilis une s rie de probl mes de type 9 3 g n r s semi al atoire
73. dispositifs sont pr sents plus aucun ne pr sente ce souci Nous avons galement compar l algorithme UVQCQP avec un algorithme standard du logiciel Matlab Le probl me 9 3 ayant une forme particuli re nous avons s lectionn l algorithme qui appr hendait le mieux cette structure Il s agit d une m thode dite de point int rieur utilis e pour r soudre le probl me contraint minimiser 9 166 sc lt 0 1 et XL xX lt xy Pour tre pr cis la fonction utilis e tait fmincon de la version Matlab Release 2009a Parmi les trois algorithmes utilisables nous avons choisi la m thode de point int rieur car celle ci permettait d introduire des informations du second ordre sur les contraintes comme c est le cas pour l algorithme UVQCQP Malheu reusement la fonction de m rite utilis e par Matlab ne correspond pas exactement la fonction objectif que nous utilisons tout au long de ce chapitre La comparai son des r sultats est donc envisager avec prudence elle n a pour seul objectif de nous donner un ordre de grandeur pour comparer la charge de calcul La fi gure 9 7 dresse le profil de performance ainsi obtenu sur 500 probl mes g n r s al atoirement Nous pouvons constater que ces ordres de grandeur sont nettement l avantage de l algorithme UVQCQP Fort heureusement notre m thode ad hoc i e sp cialement labor e pour r soudre des probl mes du type 9 3
74. donn e L hypoth se 4 11 assure simplement que l hypoth se 4 12 puisse tre impos e Cette derni re implique que si une courbure n gative appara t dans l approxima tion locale lorsqu un point critique du premier ordre est approch et si le point propre donne une r duction de l approximation locale inf rieure a celle obtenue au point de Cauchy alors cette courbure n gative doit tre exploit e par la proc dure de calcul du pas de progression 5 12 ube pour Upper Bound on the Curvature 13 Ich pour Lipschitz Constant for the model Hessian 4 sod pour Second Order Decrease 4 3 CONVERGENCE GLOBALE DU SECOND ORDRE 71 Notons que l hypoth se 4 12 est automatiquement satisfaite si le pas de pro gression s est calcul en vue d approcher Bei le minimum exact 4 19 de proximation locale au sein de la r gion de confiance Ceci signifie que si s est tel que la d croissance de l approximation locale est au moins gale une fraction d termin e de la d croissance obtenue au point xD i e m x9 qa 800 gt Kamm Ei d 4 35 alors l hypoth se 4 12 est satisfaite La d monstration de cette derni re affirmation peut s effectuer en tenant compte de la relation vidente m 9 lt min Di xD mB El 4 36 Une derni re hypoth se pourtant peu contraignante permet d obtenir un th o r me de convergence tr s int ressant Il
75. fur et mesure des it ra tions La figure du dessous repr sente la probabilit d acceptation 2 35 en fonction de la temp rature et de la valeur de la diff rence Af f 39 f x 2 4 META HEURISTIQUES 37 d acceptation de l it ration k est calcul e selon la formule suivante PERU p exp LE 2 35 T est un param tre nomm temp rature d croissant avec les it rations Le sch ma usuel de d croissance de T du type TO 2 36 o 0 lt lt 1 est le taux de refroidissement gt 0 la temp rature initiale et L gt 0 un entier appel longueur des paliers Ce sont les param tres du sch ma de refroidissement Les lois de refroidissement 2 35 et 2 36 sont repr sent es sur la figure 2 1 Il convient bien entendu d adjoindre cet algorithme un crit re d arr t 2 4 2 Algorithmes g n tiques Les m thodes g n tiques 57 83 sont galement des m thodes ne n cessitant pas d valutation des d riv es de la fonction objectif Elles se basent sur une s lection puis une ventuelle am lioration des meilleurs membres parmi un large chantillon de points s inspirant de la th orie de l volution de Darwin Le vo cabulaire utilis est celui de l tude des populations on parle de population en semble de points constitu e d individus un point de cet ensemble eux m mes caract ris s par des g nes les valeurs des param tres de cette solution
76. g n rale que dans le cas diff rentiable En effet nous adoptons une approxima tion locale m x p s qui d pend d un ensemble de param tres p P pouvant tre ajust s chaque it ration Entre autres exemples les param tres p peuvent tre des multiplicateurs de Lagrange un facteur de p nalit ou des approximations des d riv es d ordre sup rieur lorsque celles ci existent Hypoth se 4 15 L approximation locale m x p s est localement continue au sens de Lipschitz et r guli re par rapport s pour tout x p IR x et continue en x p pour tout s IR L approximation locale m x p s doit donc varier contin ment par rapport aux pa ram tres p qui sont les seuls tre modifi s en cas d it ration infructueuse Ceci est une restriction par rapport au cas diff rentiable o l approximation m x s pouvait changer ind pendamment en passant d une it ration l autre Cette pre mi re hypoth se sur m x p s est le pendant non diff rentiable de l hypoth se 4 4 De fa on assez logique nous devons galement formuler les hypoth ses suivantes qui sont semblables 4 5 et 4 6 Elles garantissent que l approximation locale est au moins une approximation du premier ordre de la fonction objectif Hypoth se 4 16 L approximation locale et la fonction objectif coincident quand s 0 i e m x p 0 f x 4 55 pour tout x p R x P 8Une fonction est r guli re si sa d ri
77. impression finale et initiale uniquement impres 2 une impression par it ration dont la valeur de la fonction objectif impres gt 3 commentaires d taill s sur le comportement de l algorithme integer intent in io La variable io d signe l unit dans laquelle les sorties sont crites S1 io 6 l impression se fait directement l cran Cette variable est inchang e en sortie 2 LES AUTRES VARIABLES 239 integer intent out mode La variable mode est une variable de sortie Elle indique le mode d arr t de la routine d optimisation mode lt 0 le simulateur simul a fourni une valeur de sortie indic lt 0 mode 0 le simulateur a demand l arr t en retournant la valeur indic 0 mode 1 Arr t normal Le crit re d arr t de d croissance du gradient est atteint mode 2 un des arguments d entr e n est pas bien initialis mode 3 le nombre maximum d it rations a t atteint integer intent out succes La variable mode est une variable de sortie Elle indique le nombre d it rations r ussies au cours de l optimisation integer intent inout niter En entr e la variable niter indique l algorithme le nombre maximum d it ra tions qu il peut effectuer En sortie cette variable donne le nombre effectif d it rations effectu es real kind 8 intent in dimension n real kind 8 intent in dimension n
78. inconv nients de l effet Maratos ainsi que la correction du second ordre traditionnellement mise en oeuvre pour l viter Nous nous sommes donc concentr s dans ce chapitre sur l utilisation r pandue d approximations locales du second ordre pour la fonction objectif et du premier ordre pour les contraintes Pour quelle raison le degr d approximation est il dif f rent Pourquoi ne pas utiliser des approximations du second ordre galement pour les contraintes La suite de notre travail porte pr cis ment sur cette question tout en s inspirant des techniques utilis e dans les cadre des m thodes SQP pour s approcher autant que faire se peut des remarquables propri t s de convergence de ces algorithmes Chapitre 9 Description de l algorithme UVQCQP Nous avons envisag dans le chapitre pr c dent l utilisation d approxima tions quadratiques pour la fonction objectif et pour les contraintes Cette perspec tive prometteuse se heurte aux probl mes li s la r solution du sous probl me local qui est un probl me dit QCQP quadratically constrained quadratic pro gramming Le chapitre qui suit a pour objet d tablir un algorithme de r solution de ce type de probl mes permettant ainsi l laboration d une m thode de type r cursif ou sequential La technique de globalisation choisie est celle des r gions de confiance Vu la complexit potentielle du probl me nous avons choisi de caract riser la r gion
79. la plus simple chaque it ration l intervalle obtenu est divis en deux parties gales p 1 2 L quation 2 17 devient alors SE 2 18 Cette m thode n utilise cependant aucune des informations sur les valeurs des d riv es 81 et w E2 alors que celles ci sont disponibles et ont t valu es au cours des it rations pr c dentes La convergence peut donc tre am lior e sans co t suppl mentaire c est la raison pour laquelle la m thode de la bisection n est que rarement utilis e en pratique La m thode regula falsi se base sur la formule d actualisation de la m thode a un point de Newton Raphson consid r e au point 62 Cependant afin d viter le calcul de la d riv e seconde y 5 celle ci est approch e par diff rences finies sous la forme y E V W 1 2 19 C Ei pour obtenir la formule de mise a jour v 62 ig ve a 2 20 30 CHAPITRE 2 M THODES DE GLOBALISATION EN OPTIMISATION Il est possible de montrer que si pour une it ration quelconque la d riv e troi si me de la fonction objectif existe et est positive dans l intervalle 51 62 1 taux de convergence de cette m thode est lin aire voir 95 La m thode deux point la plus populaire est sans conteste celle de l inter polation cubique qui approche la fonction W E par un polyn me du troisi me degr en partir des valeurs de w amp 1 w E2 w amp i et w amp
80. la moins co teuse il faut Nous supposons que le temps de simulation du mod le est tr s grand par rapport celui de l optimiseur Nous choisissons la m thode de diff rentiation directe m moire afin de b n ficier de propri t qui permet de d coupler le calcul de la fonction objectif et celui de la matrice jacobienne voir section 5 4 4 6 3 APPLICATION MOD LE DE LOTKA VOLTERRA 119 0 1 1 1 1 1 1 1 1 0 10 20 30 40 50 60 70 80 It rations FIG 6 3 Identification param trique du mod le de Lotka Volterra par M1QN3 Figure du haut volution des param tres au cours des it rations Figure du bas volution de la fonction objectif et de la norme de son gradient au cours des it rations 120 CHAPITRE 6 TRUST M1QN3 10 F Trust SR1 cond Trust SR1 incond Trust BFGS cond 8 Trust BFGS incond 10 Flo Trust GN q 107 L 1 0 30 60 on It rations 120 FIG 6 4 Fonction objectif f x au cours des it rations pour les diff rentes m thodes d optimisation s attendre un co t de l ordre de 27 fois celui du calcul du mod le ce que nous confirme le tableau 6 4 Ce raisonnement doit se g n raliser toutes les m thodes puisque les versions conditionnelles permettent l conomie d valuations du gra dient Le crit re de s lection retenir est donc celui du co t global engend
81. largit la r gion de confiance pour les it rations trop r ussies Pour g n raliser la strat gie modifi e 7 3 nous d finissons les fonctions A comme les fonctions unidimensionnelles A r d finies dans R telles que 1 A t est non d croissante dans 1 et non croissante dans 1 2 lim A r 204 1 gt lt 9 3 lim A t 1 t gt N 4 gt 04 gt 1 5 A 1 02 6 lim Au 03 les constantes Qt 002 03 satisfont la condition 7 5 et n2 est le seuil habituel utilis dans la d finition des it rations tr s r ussies La strat gie de mise jour AC A p 9 AU 7 10 est donc un cas particulier de 7 6 avec 0t Y3 03 Y4 Q2 et Y2 A 11 de sorte que les propri t s de convergence sont toujours valables La strat gie modi fi e 7 3 peut tre d crite par une fonction tag e A figure 7 1 en haut droite de la forme 7 10 Comme g n ralisation de 7 9 nous proposons d utiliser la fonction A d finie par oi si p lt 0 p 2 k 01 10 7 si 0 lt p n 7 11 b 4 2 as exp Bt si p gt Cette fonction A est qualitativement similaire la strat gie de mise jour A puisqu elle autorise un largissement franc de la r gion de confiance uniquement si p est proche de un figure 7 1 en bas droite 7 2 RAYON DE CONFIANCE AUTO ADAPTATIF 131
82. le adjoint aussi appel e m thode de diff rentiation ar ri re nous permet d crire des quations qui donnent les composantes du gradient de la fonction objectif au fur et mesure du calcul voir par exemple 60 61 66 77 93 94 991 Elle se base sur le principe suivant nous consid rons la fonction objectif comme une variable d tat suppl mentaire sx f x 5 26 Notons que la fonction objectif f d pend en fait des param tres x par l interm diaire des valeurs de comparaison c qui d pendent elles m mes des variables d tat cj Kale 5x t j 1 m 5 27 et selt Fo x t 5 28 ou d signe le vecteur des variables ind pendantes g n ralement le temps et l espace et les fonctions F repr sentent les solutions des quations du mod le La d rivation est exacte l erreur est de l ordre de la pr cision machine 94 5 IDENTIFICATION PARAMETRIQUE Nous pouvons construire le Lagrangien du probleme Ns 1 L x s SN 1 Y Ke se Fo x t 5 29 1 les sont les variables duales ou adjointes Les conditions de stationnarit du Lagrangien sont OL 0 k 1 n 5 30 dru L E 0 k 1 N 1 5 31 dei dr 0 k 1 Ns 1 5 32 9 7 7 Se Connaissant l expression du Lagrangien 5 29 nous pouvons valuer 5 32 et nous obtenons simplement les quations 5 28 pour k 1 N et 5 26 pour 1 De m me les relations 5 31
83. les diff rentes combinaisons de nouveaux profils de performances sont calcul s s par ment pour les strat gies de mise jour SRI et BFGS Pour simplifier l analyse seules les fonctions tag es et Ay sont consid r es en combinaison avec les approches conditionnelle et inconditionnelle de la mise jour quasi Newton Les profils de performance figure 7 4 confirment les meilleurs r sultats des fonctions A par rapport aux fonctions dans le cas inconditionnel Avec les ver sions R1 l approche conditionnelle se comporte galement mieux que la strat gie inconditionnelle la premi re cit e se r v lant plus robuste que la seconde Notons cependant que la vitesse moyenne de convergence de l approche inconditionnelle est significativement plus importante dans le cas d une mise jour de type BFGS De ces quatre algorithmes la combinaison de la fonction A pour la mise jour 144 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE du rayon de la r gion de confiance et de la mise jour quasi Newton incondition nelle peut tre recommand e Bien que l g rement moins robuste que les deux variantes conditionnelles elle est significativement plus rapide que les trois autres algorithmes 1 P v S 0 9 0 8 EE Fos 0 7 0 6 SR1 R cond BFGS R cond 05 SR1 A cond WR BFGS A cond A SR1 R incond ud BFGS R incond 0 4 SR1 A incond
84. les grandes lignes des m thodes quadratiques s quentielles SQP conjugu es avec une globalisation par r gions de confiance cette tech nique bien connue et plus particuli rement les corrections du second ordre ser 1 4 OBJET APPORT DE TRAVAIL 23 viront de base au chapitre suivant Le chapitre 9 pr sente un algorithme complet et efficace de r solution d un sous probl me convexe quadratique contraintes quadratiques Cette m thode originale se base sur une fonction de p nalit de type 1 celle ci pr sente la particularit de ne pas tre diff rentiable L algorithme tire profit d une d compo sition de l espace des variables x en trois sous espaces orthogonaux un premier permettant de g rer des contraintes de bornes un deuxi me dans lequel la fonction objectif est continiment d rivable et un troisi me o elle pr sente des cassures de pente Le principe du nouvel algorithme est de construire une strat gie de recherche de direction de descente successivement sur ces trois sous espaces Les performances de cet algorithme sont encore am lior es par l impl mentation d un mode rapide qui tire profit des corrections du second ordre utilis es dans les m thodes SQP et par une m thode de recherche unidimensionnelle particuli rement bien adapt e Le chapitre 10 aborde l utilisation de l algorithme UVQCQP labor au cha pitre pr c dent dans le cadre de la r solution de probl mes n
85. lieu et place de 9 50 Le vecteur 29 est le vecteur des pseudo multiplicateurs de Lagrange i e les multiplicateurs de Lagrange correspondant aux ar tes actives 196 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP si celles ci taient des contraintes Une estimation de ce vecteur peut tre obtenu par un calcul au sens des moindre carr s 59 argmin ont 9 123 Sachant que GA GORE o RY j une matrice triangulaire sup rieure de rang maximum et de dimension i x z le vecteur z est la solution du syst me lin aire ROZ _ QT ZH 9 124 Ce syst me peut en tenant compte de 9 101 tre exprim par blocs 5 k k R a k a 9 125 x p S 2 P o n est une matrice carr e triangulaire sup rieure de dimension Z Pour rappel cette derni re est gale dim V k quand le mode rapide est actif Le calcul des pseudo multiplicateurs de Lagrange se limite donc l inversion du syst me lin aire lan _ AN Kl 9 126 Il est int ressant de constater que le probl me 9 123 peut s crire 1 29 c arg min z GOT eh E 22 oan 9 127 Ce dernier est quivalent au probl me 9 111 dont on ne prendrait pas en compte les contraintes qui imposent a chacune des composantes de 0 d appartenir l intervalle 0 1 Dans la suite de l expos nous ferons cette approximation 20 amp 30 9 128 o 19 sont les valeurs obtenues lors de la d termination de la direction de r
86. lisant Trust BFGS R avec la r gle 7 17 Nous pouvons constater que les pre mi res it rations se contentent d effectuer une recherche lin aire dans la direc tion s U qui est grosso modo la direction de plus grande pente Ce comportement s explique facilement la condition 7 17 est n cessairement satisfaite lorsque x x0 et que l it ration est infructueuse la matrice hessienne reste donc inchang e et gale sa valeur initiale g n ralement l identit Il est donc int ressant de d sactiver ce gardien tant que x x La figure 7 7 droite 150 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE 320 T T T T 320 T T T h h R 2 310 2 4 310F MES E 1 300 1 300 1 290 290 5 280 1 280 1 Dol 270 1 260 4 260 Ld 4 250 250 4 1 1 240 4 240 230 E 230 24 220 1 1 1 1 1 1 220 1 L i 1 1 1 16 17 18 18 2 21_22 23 16 17 18 19 2 21 22 23 5 5 x 10 x 10 FIG 7 6 Historique des it rations pour le probl me d identification des param tres d une loi lastoplastique pour Trust BFGS avec mise jour quasi Newton incondi tionnelle Les deux strat gies de mise jour du rayon de confiance permettent l al gorithme de converger vers le minimum global repr sent par une ast risque Les lignes pleines d signent les it rations r ussies et les lignes pointill es les it rations infructueuses 7 5 INTERACTION AVEC LA MISE JOUR QUA
87. lt 2 AU lt p lt n SS AU gt 13 0 lt 11 lt 1 lt 1 lt 171 3 7 4 et a lt 1 lt 03 lt 00 7 5 Notons que la strat gie habituelle de mise jour 7 1 s av re tre un cas particu lier de la nouvelle strat gie 7 3 n3 Lea 7 2 RAYON DE CONFIANCE AUTO ADAPTATIF 129 D apr s 7 3 accroissement maximum du rayon de confiance se produit lorsque p est proche de l unit i e lorsque la fonction m fournit une ap proximation locale pr cise de la fonction objectif Dans le cas d une it ration trop r ussie la r duction de la fonction objectif obtenue l it ration k est significative ment plus importante que celle attendue par la minimisation de l approximation locale m Bien que cette it ration permette l algorithme de progresser vers un optimum il n y a aucune raison de croire que l it ration suivante sera aussi chanceuse puisque m sera probablement tout aussi impr cis que m n parait donc plus prudent d viter d accro tre trop rapidement la taille de la r gion de confiance et de choisir lt Nous pourrions conclure que la r gion de confiance doit tre r tr cie apr s une it ration trop r ussie Nous choisirons n anmoins gt 1 mais proche de l unit pour tre conforme la forme g n rale de la strat gie de mise jour 4 38 i e GA All ifp lt m AD e 9 AM if p E mi mo 7 6 AU yA re gt m d termin
88. matical Programming 106 1 25 57 2006 103 Zhang W H et Fleury C A modification of convex approximation me thods for structural optimization Computers amp Structures 64 1 89 95 1997 104 Zheng C et Wang P Parameter structure identification using tabu search and simulated annealing Advances in Water Resources 19 4 215 224 1996
89. n ralement difficile trouver car les valeurs des fonc tions f x et c x ne sont g n ralement pas connues en tous les points de len semble admissible La plupart des algorithmes se contentent donc de trouver un minimum local On dit que la fonction objectif pr sente un minimum local en un point x si la fonction f x est la plus petite valeur dans un voisinage de ce point i e x est un minimum local s il existe un voisinage V x tel que f x lt f x Vx QNV x 1 4 Le minimum local est dit strict si l in galit peut tre remplac e par une in galit stricte Heureusement cette d finition ne constitue pas la seule mani re de d termi ner si un point x est oui ou non un minimum local Il serait en effet impossible d explorer tout les points du voisinage de x pour tre s r que la fonction objectif n est pas sup rieure f x Lorsque le probl me est suffisamment r gulier des moyens beaucoup plus efficaces existent Par exemple lorsque la fonction f est deux fois contin ment d rivable les crit res d optimalit sont bien connus voir par exemple Fletcher 31 Dans un probl me non contraint il suffit que le gra dient de f au point x soit nul V f x 20 1 5 et que son Hessien aussi appel matrice hessienne Ma f x soit d finie positive pour que x soit un minimum local de f La litt rature fait aussi grand usage des conditions n cessaires d optimalit La condition du premier ordre
90. ne n cessitent aucun cal cul de d riv e mais uniquement des valuations de la fonction objectif en dif f rents points Elles n utilisent pas v ritablement d approximations locales Cer taines de ces m thodes ont fait leur preuves dans le domaine de l optimisation combinatoire et discr te mais peuvent galement tre utilis es pour des probl mes d optimisation continus et ont l avantage de pouvoir tre utilis e pour la recherche d un minimum global de la fonction objectif f Il convient n anmoins de se gar der d un enthousiasme excessif ces m thodes reposent sur des analogies avec des m canismes pr sents dans la nature ou sur des consid rations g om triques et ont une base th orique relativement mince et partielle Leur vitesse de conver gence laisse galement d sirer et le nombre d valuations de la fonction objectif est norme en comparaison des m thodes bas es sur des approximation locales Parmi les m thodes rencontr es dans la litt rature nous n en citerons que deux la m thode du recuit simul simulated annealing et les algorithmes g n tiques 2 41 Recuit simul La m thode du recuit simul 83 85 a d j t utilis e par exemple pour des identifications param triques 71 104 Son principe est relativement simple et se base sur une analogie entre la minimisation d une fonction et le refroidisse ment d un m tal en fusion Quand un m tal en fusion est refroidi suffisamment lentemen
91. obtiennent en inversant le syst me Rec 0 30 G NV CS L 0 59 A2 cO 8 6 G Ke i 8 7 JEE Il est ais de v rifier que 8 6 peut galement tre crit sous la forme 00 900 GW 29 GWT 0 yet 8 8 y a une autre fa on d obtenir le processus it ratif 8 8 Examinons le pro bl me quadratique suivant minimiser 557 Hs ghTs s c GUT Gell 0 8 9 8 1 5 157 dont le Lagrangien s crit 1 1 55 HOs gT s sl GUOT cH 8 10 y est le vecteur des multiplicateurs de Lagrange relatif aux contraintes d ga lit Les conditions de stationnarit du Lagrangien pour obtenir les points critiques SE et y 5 s crivent HB 400 0 8 11 GATE 0 9 8 12 qui est parfaitement quivalent au syst me 8 8 si H Vas x y Le pas de progression s est donc aussi celui qui minimise le probl me 8 9 et y est le vecteur des multiplicateurs de Lagrange correspondant C est a cette qui valence que la m thode doit son nom de programmation quadratique s quentielle Notons que la litt rature regorge de m thodes pour r soudre les probl mes du type 8 9 voir par exemple 4 11 29 31 42 56 80 La grande majorit des m thodes SQP proposent de remplacer H 0 par une approximation du Hessien du Lagrangien Une des raisons principales du grand int r t suscit par ces m thodes r side dans son potentiel
92. plus fr quent Pour pouvoir comparer le mod le et la r alit il convient de g n rer des valeurs de r f rence j j 1 m 5 5 auxquelles nous comparerons les valeurs c issues du mod le math matique For mellement j M m mn j 1 m 5 6 o les sont des fonctions ou des fonctionnelles suivant la nature des mg Notons que tout comme les valeurs de comparaison les peuvent tre des fonctions et ou des variables discr tes Nous nommerons les fonctions les fonctions de traitement des mesures 5 2 Caract re mal pos du probl me De mani re g n rale le probl me d optimisation param trique est un pro bl me inverse et par ce fait mal pos 57 77 En effet un probl me est dit bien pos lorsqu il respecte les conditions d existence d unicit et de continuit de la solution pour tout jeu de donn es Cependant dans les probl mes de calibration la mod lisation forc ment r ductrice les erreurs num riques les mesures bruit es etc m nent in vitablement l inexistence d une solution conduisant parfaitement au r sultat souhait m me Par souci de simplicit nous conserverons n anmoins la notation s pour cet ensemble de valeurs discr tes sera d s lors consid rablement plus grand 5 2 CARACTERE MAL POSE DU PROBLEME 87 5 2 1 Quasi solution d un probl me inverse On introduit la m thode de r gularisation suivante Dans le cas o les para m tres
93. pour lesquels la fonction objectif s crit sous la forme 3 67 Trust GN s ins pire de la m thode de Gauss Newton 3 72 pour l approximation du Hes sien Contrairement aux m thodes pr c dentes celle ci n cessite en plus de l valuation du gradient celle de la matrice jacobienne G x Notons que l approximation locale utilis e ne d pend que des valeurs du gradient et de la matrice jacobienne l it r x L valuation du gradient et de la matrice jacobienne n est d s lors n cessaire que pour les it rations r ussies A chaque it ration il convient de r soudre un sous probl me quadratique sou mis une contrainte de confinement dans une r gion de confiance sph rique s agit donc de trouver le pas de progression sy de fa on r soudre le probl me 1 minimiser q s g s 5 s Hs 6 9 S C s lt A 6 10 avec s Certaines propri t s apparaissent imm diatement si nous analysons ce sous probl me La solution que nous cherchons est soit l int rieur de la r gion de confiance c est dire telle que s lt A soit sur la fronti re auquel cas s Si la solution est int rieure la contrainte de confinement est inactive et sy est un Dans un souci de simplicit nous avons supprim le compteur d it rations k et d fini q s m x m 40 6 8 106 CHAPITRE 6 TRUST minimum non contraint de q s et le multiplicateur de Lagrange relatif la contrai
94. pour garantir une progression satisfaisante de l al gorithme la condition 2 5 autorise en effet des pas de progression extr mement petits Pour s en pr munir on introduit la condition de courbure f 200400 gt e 2 6 2 1 RECHERCHE LINEAIRE 24 avec lt c lt 1 Pour viter d obtenir des pas de progression trop diff rents de 2 3 la condition 2 6 est parfois modifi e selon id 9 T y xt 209409 lt c a 9T v 2 7 Les conditions 2 5 et 2 6 sont appel es les conditions de Wolfe tandis que 2 5 et 2 7 sont les conditions fortes de Wolfe Notons qu il est toujours possible de trouver un minimum EI r pondant aux conditions de Wolfe si 4 est une direction de descente Comme nous le verrons plus tard ces conditions peuvent s av rer particuli rement utiles dans le cadre des m thodes de type quasi Newton voir section 3 2 3 Parall lement aux conditions de Wolfe les conditions de Goldstein rem plissent une fonction similaire TEAU 07 r9 02 8 amp 2 9 f x 0409 amp gt lt avec 0 lt c lt 2 Il n est cependant pas possible de garantir l existence d un mini mum r pondant ces conditions Il existe plusieurs m thodes de minimisation pour le probl me unidimension nel 2 3 que nous classerons ici suivant le nombre de points o une valuation de la fonction et parfois de ses d riv
95. re tape de l algorithme recense tous les z ros des fonctions y aux quels la fonction y change de signe pour i 1 m Ces z ros sont au nombre de 4m au maximum Ils peuvent tre calcul s au moyen des formules exactes pour les polyn mes d ordre inf rieur ou gal quatre voir annexe B La plu part d entre eux sont des poins anguleux ce qui signifie que la fonction y est continue mais pas d rivable et que leur repr sentation graphique pr sente donc g n ralement un angle en ce point STI n y a que dans le cas un z ro s av re tre multiple que le point n est pas anguleux yaq ple q p p g 206 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP Consid rons donc l ensemble des points anguleux pour j 1 p tels que wi C 0 9 152 pour au moins un i 0 m Parmi ces points retenons ceux qui sont stricte ment positifs tout en tant inf rieurs la valeur maximum Eu et ordonnons les de sorte que Q0 Ol Cp SOM 9 153 9 5 3 Algorithme de minimisation Si p 0 il n y a aucun point anguleux dans l intervalle 0 6 et la fonction w amp est gale dans tout cet intervalle un polyn me du quatri me ordre Son minimum dans 0 Em est ais ment calcul en utilisant les m thodes de r solution des quations du troisi me ordre pour annuler sa d riv e Si p 0 nous utilisons l algorithme it ratif suivant Algorithme 9 3 Jnitialiser le curseur 0 tape 1 Y a t il encore
96. sont incompatibles c est dire qu aucun ensemble de valeurs de ceux ci ne peut conduire exactement la r ponse d sir e on cherche l ensemble de para m tres le plus prochede celle ci au sens d une certaine distance Ce jeu de para m tres est appel quasi solution du probl me inverse En changeant de cette fa on le concept de solution on est assur de son existence Les probl mes inverses et en particulier celui de l optimisation param trique peuvent donc se mettre sous la forme canonique d un probl me d optimisation dans lequel une distance est d finie et doit tre minimis e en jouant sur les gran deurs choisies comme variables de contr le Math matiquement il s agit de mi nimiser une fonction objectif F c qui repr sente la distance entre les r sultats du mod le c et les mesures correspondantes apr s un ventuel traitement en faisant varier c par le biais d une modification des param tres pev 5 7 du mod le Les tant des valeurs de r f rence fixes nous pouvons r crire la fonction objectif sous la forme f x 7 c x 6 o x est le vecteur des para m tres du mod le ou variables de contr le Le probl me se formule finalement comme suit trouver x argmin f x 5 8 qui est la forme canonique d un probl me d optimisation non contraint 5 2 2 Quantification de l erreur fonction objectif Soient deux ensembles de grandeurs c et j j 1 m c
97. sultat est atteint en quinze it rations 9 5 Minimisation unidimensionnelle Lorsqu une direction de descente s et ventuellement une correction du second ordre d ont t calcul es une minimisation unidimensionnelle est effec tu e le long de la trajectoire parabolique di LE 500 4 EM 2 400 9 146 Si la direction d est nulle la trajectoire d g n re en une ligne droite et la minimisation unidimensionnelle en une recherche lin aire classique Dans un soucis de simplicit les indicateurs d it ration port s en exposant seront omis dans la suite de cette section Chaque fonction individuelle peut tre d velopp e gr ce 9 146 et nous pouvons d finir les fonctions unidimensionnelles yil 4524 1 amp alx 5 xT Aix al s 4 x Ajs 1 1 Aid 75 Ais d Aid x E 9 147 pour i 0 m Toutes ces fonctions sont des polyn mes de degr quatre et la fonction minimiser correspondante YE Wo E Y max 0 wi 9 148 iz est d s lors une fonction non d rivable continue gale par morceaux des poly n mes de degr quatre 9 5 MINIMISATION UNIDIMENSIONNELLE 205 existe de nombreux algorithmes tout a fait g n raux pour effectuer la mi nimisation de cette fonction non diff rentiable voir par exemple 64 mais la forme particuli re de ce probl me correspond ceux r solus avec une tr s grande pr c
98. thode SQP avec une m thode de globalisation par r gions de confiance Notre but sera donc de traiter efficacement le probl me d optimisation non lin aire minimiser f x s c cj x pour j 8 1 x pour j E I o E et J sont respectivement les ensembles disjoints des indices des contraintes d galit et d in galit Les fonctions f et cj sont suppos es continiment d ri vables Nous supposerons galement l absence de d g n rescence g om trique entre les diff rentes contraintes ce qui signifie que l hypoth se de qualification des contraintes est satisfaite voir section 1 2 155 156 8 METHODE 5 AVEC REGIONS DE CONFIANCE 8 1 Principe de base Les m thodes SQP sont g n ralement introduites en consid rant dans en pre mier temps le probl me d pourvu de contrainte d in galit minimiser f x cj x 20 pour j EE dont le Lagrangien s crit L xy f x 8 3 JEE o y est un ensemble de multiplicateurs de Lagrange La m thode la plus simple pour r soudre ce probl me est certainement de r soudre les conditions d optima lit de Karush Khun Tucker 1 8 VL 20 et c x Z0 8 4 par la m thode it rative de Newton Si nous disposons d estimations x et y des valeurs critiques x et y l it ration de Newton s crit k 1 k k x X Sx 2 8 5 1 et les incr ments 59 et 59 s
99. thodes SQP avec recherche lin aire utilisent plut t la correc k tion s pour effectuer une recherche unidimensionnelle sur la fonction de m rite P x 250 22500 terme recherche lin aire est cependant impropre puisque la trajectoire d crite dans l espace de conception n est plus une droite mais une parabole L utilisation de cette trajectoire parabolique en lieu et place de la trajectoire rectiligne x Self autorise de plus grands pas de progression que la recherche lin aire classique pour une valeur de o inchang e 8 3 EFFET MARATOS CORRECTION DU SECOND ORDRE 169 6 40 4 6 40 oz 0 6 i 1 l 1 I 07 S I I 1 l I l Y 0 8 1 1 7 2 4 7 0 9 12 X 1 4 041 em 1 1 FIG 8 5 Illustration de la correction du second ordre pour le probl me 8 19 La figure de gauche pr sente les contours de la fonction de m rite V x et la ligne discon tinue en trait pais est la trajectoire parabolique x 559 52 9 avec la variable amp 0 1 La figure de droite repr sente la valeur de la fonction de m rite le long de la trajectoire rectiligne x Es trait continu la valeur de la m me fonction de m rite le long de la trajectoire parabolique x 6500 52 9 trait discontinu et leur minimum respectif Et et 89 Nous pouvons constater que l utilisation de la
100. type SQP Nous nous focaliserons ici sur la fonction de m rite non diff rentiable Pour le probl me 8 1 celle ci est d finie par Y x 6 f x 6 gt e x 6 y 0 8 15 jet jel o gt 0 est un param tre de p nalit Cette fonction n est pas diff rentiable par tout en particulier aux points d annulation d une ou plusieurs composantes le gradient n est pas d fini Elle poss de cependant une propri t remarquable nonc e par le th or me suivant 20 Th or me 8 2 Soient f x et cj x des fonctions deux fois continiiment d ri vables Supposons que x et y sont telles que x est admissible pour le pro bl me 8 1 et que gt max yj 8 16 jEEUI 8 2 FONCTION DE MERITE ET GLOBALISATION 159 Dans ce cas si x et y satisfont aux conditions suffisantes d optimalit du premier ordre pour 8 1 x satisfait aussi aux conditions suffisantes du premier ordre d un minimum local de x Ce th or me implique que si nous pouvons trouver un point admissible qui sa tisfait les conditions suffisantes du second ordre pour la fonction de m rite il sera solution du probl me non lin aire associ 8 1 Cette propri t fait de la fonction de m rite une fonction de m rite exacte par opposition avec d autres fonctions de m rite qui ne permettent d obtenir qu une solution approximative voir 80 201 Sous certaines conditions le probl me non li
101. une ligne droite perpendiculaire au plan de la feuille et passant par x Les valeurs de la fonction dans ces sous espaces peuvent tre repr sen t es voir figure 9 1 en fonction du param tre E amp x 4 Ee 9 43 o ej est eq OU ey des vecteurs unitaires dans les espaces u x V x et Ww 9 Nous constatons que les trac s des deux premi res fonctions pr sentent au voisinage du point x9 graphisme se rapprochant respectivement de celui des lettres U et V Remarquons que la fonction ainsi obtenue n est pas partout diff rentiable dans l espace V alors qu elle l est dans l espace U 9 2 Directions de descente L algorithme propos est bas sur l obtention de diff rentes directions de des cente Ces directions se calculent sur base d une fonction approch e QM qui est parfaitement gale dans un voisinage suffisamment petit de l it r x x max 0 9 44 iE k ie zZ k Cette fonction approch e est construite pour liminer un maximum des disconti nuit s possibles dans les d riv es Les termes de la fonction 9 3 sont remplac s par la fonction identiquement nulle si 0 lt 0 c est dire si j 9 la contrainte A ed 9 2 est satisfaite par si jo gt 0 c est dire si j P la contrainte correspon dante 9 2 est viol e par max 0 si
102. variant d it ration en it ration voir 17 18 6 88 et d autre part une m trique fixe non lin aire bas e sur une m thode dite entropique voir 16 26 55 Bien entendu les couplages entres ces diff rentes approches ont initi de nouvelles recherches voir 2 7 pratique un crit re d arr t doit naturellement tre sp cifi Celui ci doit stoppe le pro ramme aussit t que l it r x satisfait l utilisateur La plupart des programmes sp cifient gale g q piup prog 8 ment un nombre maximal d it rations 34 CHAPITRE 2 METHODES DE GLOBALISATION OPTIMISATION Plus r cemment Cartis et al 13 14 ont d velopp une m thode appel e adaptive cubic overestimation ACO Celle ci pr sente des caract ristiques semblables a la m thode du point proximal Algorithme 2 2 Soit un point de d part x9 un rayon de confiance initial AO et les constantes N1 Y1 qui satisfont aux conditions 2 28 Calculer f x0 et initialiser k 0 tape 1 Calcul d un pas de progression Calculer pas 59 r duisant suffi samment l approximation locale 1 1 1 m x s f x sI Vf ST HO Ils H est une approximation de la matrice hessienne Mo f 0 tape 2 Acceptation ou rejet du point test valuer f x avec FH dl 4 500 et d finir le rapport f x fe 9 mU 80 Si p gt 11 d finir x dans le cas contraire x x
103. voir section 3 1 Construisons la matrice G de dimension t dim v 0 z 0 form e en prenant les vecteurs V Tg lonnes y T Al y GT Gi Gy V g VU GV 9 68 1 Chaque sous gradient au point v 0 peut s crire ei 9 69 A k o le vecteur RIZ Le sous gradient de norme minimale est donc obtenu comme solution du probl me d optimisation I argmin ro e sme apr 9 70 8 C 0 lt lt 1 9 71 9 2 DIRECTIONS DE DESCENTE 185 probl me est convexe quadratique et soumis a des contraintes lin aires il peut tre r solu de la m me mani re que 9 51 La direction de descente 47 9 est alors la direction dans R qui correspond 9 l oppos du sous gradient de norme minimum 0 _ y _y a 69 1 9 72 Exemple 9 4 Calculons la direction de descente 4 du probl me 9 38 l it r x 0 0 1 Comme pr c demment la contrainte de borne inf rieure sur la premi re composante est active Pour obtenir la direction de descente en v il suffit de construire 1 5 a 0 0 1 9 73 et la matrice 0 0 69 001 0 001 0 24 970 2 4 La norme minimiser d un sous gradient quelconque s crit donc SS EEN ae Je 9 75 sous les contraintes 0 lt 1 lt 1 Le minimum est notamment obtenu pour k _ 1 2 1 2 et la direction de descente correspon
104. 0 c est dire si j 2 9 la contrainte cor respondante 9 2 est active Nous ne conservons donc intacts que les termes provoquant effectivement une cassure de pente de en AT les autres sont remplac s par un terme conti n ment d rivable 9 2 DIRECTIONS DE DESCENTE 179 Fic 9 1 Figure du haut illustration des espaces 41 trait pais discontinu et V trait pais continu au point x 0 0 1 pour la fonction 9 38 dans le plan x 0 Figure du bas repr sentations de la fonction le long des espaces U trait discontinu V trait discontinu et W trait pointill 180 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP Exemple 9 2 Afin d illustrer le concept de fonction approch e 99 envisageons la fonction de trois variables 9 38 repr sent e sur le premier graphique de la figure 9 1 dans le plan x 0 La fonction approch e go x correspondant au point x 0 0 1 est gale en tout point de R En effet 1 9 0 et 0 et l ensemble 20 1 2 et les ensembles P et N sont vides Pour d autres points la situation est diff rente Au point x2 0 0 2 pour lequel les deux fonctions 1 et 0 sont strictement n gatives l application de la d finition 9 44 permet de conclure que la fonction approch e q x est gale comme l illustre le deuxi me graphique de la figure 9 2 Remarquons que et Qq x sont bel et
105. 1 ce qui devient simplement dans le cas f est d rivable en x dT y F x lt 0 2 2 La distance dont l algorithme avance dans la direction d est appel e le pas de progression et peut tre trouv e en r solvant un probl me unidimensionnel de recherche lin aire it ration k Il s agit de calculer ventuellement de fa on approch e le pas 9 parcourir le long de la direction de descente d Al afin de minimiser la fonction objectif i e trouver EU arg min W 2 3 o y amp 9 549 La nouvelle approximation de la solution sera alors obtenue par la mise jour _ e 2 4 r solvant exactement le probleme 2 3 nous tirerions un b n fice maximal de la direction 49 Mais une minimisation exacte est cependant tr s co teuse et n est g n ralement pas n cessaire Il est donc tr s fr quent de voir les m thodes de recherche lin aire dispens es de trouver le minimum exact dans la direction de descente Le plus fr quemment la recherche est arr t e d s qu une diminu tion suffisante de la fonction objectif est constat e voir par exemple 80 On demande g n ralement le respect de la condition d Armijo F x 46a lt E0409 T V F x 2 5 pour une constante donn e 0 lt lt 1 En pratique cette constante c est g n ra lement choisie assez petite de l ordre de 1074 Cette condition de d croissance n est cependant pas suffisante
106. 15 9 11 104 HS107 9 6 0 7 16 11 68 2 104 HS109 9 6 4 3001 52 2247 32 10 HS111 10 3 0 11 16 16 4 105 HSIIILNP 10 3 0 11 18 16 4 105 HS40 4 3 0 4 9 4 3 104 HS46 5 2 0 22 30 20 60 0 1 HS47 5 3 0 18 55 21 9 0 1 HS56 7 4 0 37 21 11 9 2 HS68 4 2 0 19 48 24 189 10 HS69 4 2 d 13 17 13 57 50 HS71 4 1 1 8 14 9 15 1 HS74 4 3 2 13 15 11 73 6 HS75 4 3 2 12 17 12 145 10 HS77 5 2 0 12 13 13 20 0 1 HS78 5 3 0 5 8 5 4 104 HS79 5 3 0 5 8 5 6 0 1 HS80 5 3 0 10 10 8 4 103 HS81 5 3 0 10 17 8 4 10 HS93 6 0 2 7 13 10 5 105 HS99 7 2 0 4 18 7 5 10 LAUNCH 2 9 19 39 76 27 5 100 SYNTHES 6 0 6 8 17 10 5 10 SYNTHES2 11 1 13 13 22 26 3 50 SYNTHES3 17 2 21 11 21 18 3 50 TWOBARS 2 0 2 8 11 10 7 10 10 3 PERFORMANCES SUR UN PETIT ENSEMBLE DE CUTER 225 1 BO effet _ 0 9 ECKER EES 4 f re D r ge n 2 0 7 eu 4 ual 0 6 F 71 0 5 1 Ps 4 1 d 0 4 n v 03r 4 KNITRO 4 LOQO IPOPT 027 4 0 1 F 4 10 10 10 FIG 10 7 Profils de performances correspondant au tableau 10 1 La figure 10 7 pr sente les profils de performance correspondant au tableau 10 1 Les r sultats semblent prometteurs plus de 60 des probl mes sont r solus plus rapidement par notre algorithme SQCQP et seul LOQO s av re finalement plus robuste gler 102 La comparaison porte sur le nombre d valuation de la fonction objectif et des contraintes mais les r sul
107. 29 4 373 394 2003 48 Griewank A Juedes D et Utke J ADOL C a package for the automa tic differentiation of algorithms written in C C ACM Transactions on Mathematical Software 22 2 131 167 1996 49 Hasco t L et Pascual V TAPENADE 2 1 user s guide Rapport technique 0300 INRIA Sophia Antipolis 2004 50 Hei L A self adaptive trust region algorithm Journal of Computational Mathematics 21 2 229 236 2003 BIBLIOGRAPHIE 249 51 52 53 54 55 56 57 58 59 60 61 Jeunechamps P P Duysinx P Walmag J M B Mathonet V Delhez E J M Tossings P Habraken A M et Ponthot J P A trust region algorithm for automatic identification of elasto viscoplastic parameters in metal forming problems Dans J Kusiak et M Pietrzyk r dacteurs Procee dings of the 10th International Conference on Metal Forming 2004 Steel Grips Journal of steel and related materials tome 2 pages 527 534 Akademia G rniczo Hutnicza Krakow Poland 19 22 September 2004 Jeunechamps P P Walmag J M B Mathonet V Delhez E J M Ha braken A M Ponthot J P Tossings P et Duysinx P Identification of elastoplastic model parameters in large deformation problems Dans The 5th World Congress of Structural and Multidisciplinary Optimization ISSMO Italian Polytechnic Press Lido di Jesolo Italy 2005 Jian J B A quadratically approximate
108. 54 0 94 0 53 0 96 0 50 0 96 0 46 0 93 De mani re g n rale les variantes utilisant les fonctions A sont substantielle ment plus performantes que celles bas es sur les habituelles fonctions R tant du point de vue de l efficacit que du point de vue de la robustesse voir tableaux 7 4 et 7 5 Cette plus grande efficacit des versions A est clairement d montr e par les trac s des profils de performance complets figure 7 3 les courbes corres pondant aux fonctions A se situent sous les versions utilisant les fonctions R pour toutes les valeurs de T 7 4 EXPERIENCES NUMERIQUES 137 1 1 2 1 4 16 187 2 71 1 2 1 4 16 1842 FIG 7 3 Profils de performance des diff rentes versions de l algorithme pour 70 probl mes de la collection CUTEr Les exp riences num riques utilisent les va leurs du tableau 6 1 un rayon de confiance initial AU 1 et un crit re d arr t ef x JI f x lt 107 Les deux figures du bas sont des zooms des deux figures du haut 138 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE TAB 7 4 R sultats d taill s pour Trust SR1 avec mise jour quasi Newton in conditionnelle Nombre d it rations pour chacun des probl mes s lectionn s Entre parenth ses nombre d it rations r ussies Le symbole signifie que le point de test 9 produit un d passement de valeur pour la fonction objectif ou pour so
109. 6 86 Pryce J D et Reid J ADOI a fortran 90 code for automatic dif ferentiation Rapport technique RAL TR 1998 057 Rutherford Appleton Laboratory Chilton Didcot Oxfordshire OX11 0QX England 1998 87 Remouchamps A et Radovcic Y Boss Quattro Theoritical aspects about optimisation methods and algorithms Rapport technique Samtech s a 2001 252 88 89 90 91 92 93 94 95 96 97 98 99 100 101 BIBLIOGRAPHIE Renaud A Algorithmes de r gularisation et d composition pour les pro bl mes variationnels monotones Th se de doctorat E N S des Mines de Paris 1993 Rockafellar R T Monotone operators and the proximal point algorithm SIAM Journal on Control and Optimization 14 5 877 898 1976 Schittkowski K Numerical data fitting in dynamical systems tome 77 de Applied Optimization Kluwer Academic Publishers Dordrecht The Netherlands 2002 Serres M et Farouki N r dacteurs Le Tr sor Dictionnaire des Sciences Flammarion Paris 1997 Shanno D F Conditionning of quasi newton methods for function mini mization Mathematics of Computation 24 647 656 1970 Spitz Y A feasibility study of dynamical assimilation of tide gauge data in the Chesapeake Bay de doctorat Old Dominion University 1995 Spitz Y H Moisan J R Abott M R et Richman J G Data assimi lation and a pelagic ecosystem model
110. 60 72 46 R 312 153 506 260 74 46 Au 195 152 96 87 55 48 203 164 94 86 56 49 induite par la nature conservative de la strat gie de mise jour l algorithme est ainsi emp ch de perdre du temps avec des pas trop grands qui produisent des it rations infructueuses Le deuxi me effet est li aux mises jour de la ma trice hessienne inexistante pour Trust Newton Les nombreuses it rations infruc tueuses des versions de algorithme utilisant des fonctions R produisent de grands pas s et des mises a jour impr cises de la matrice hessienne Au contraire les fonctions A donnent des pas 59 plus courts et d s lors une mise jour de type quasi Newton plus pr cise quand l approximation locale x approche trop grossi rement la fonction objectif f x 7 4 2 Performances sur un ensemble de problemes tests Une comparaison syst matique entre les diff rentes strat gies de mise jour du rayon de confiance est effectu e pour 70 probl mes de l ensemble de test CU TEr voir Bongartz et al 5 et Gould et al 47 Les probl mes s lectionn s sont tous ceux de petite taille n lt 100 pour lesquels les d riv es premi res sont dis ponibles ils sont r pertori s dans le tableau 7 2 Les r sultats sont analys s avec les profils de performance propos s par Dolan et Mor 24 Des profils s par s sont calcul s pour les mises jour SRI et BFGS Pour chacune des deux mis
111. 7 TOINTQOR 25 22 VIBRBEAM 55 31 YFITU 194 150 ZANGWIL2 2 2 fin du tableau 140 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE TAB 7 5 R sultats d taill s pour Trust BFGS avec mise jour quasi Newton in conditionnelle Nombre d it rations pour chacun des probl mes s lectionn s Entre parenth ses nombre d it rations r ussies Le symbole signifie que le point de test 9 produit un d passement de valeur pour la fonction objectif ou pour son gradient Le symbole signifie que le nombre d it rations d passe 10 000 Une toile en exposant signifie que la convergence se fait vers un autre minimum local avec une valeur plus grande de la fonction objectif Nom Ay 157 117 99 11 12 13 9 ALLINITU 10 10 10 9 BARD 15 15 16 16 BEALE 13 13 13 13 BIGGS6 38 36 41 40 BOX3 9 9 15 15 BRKMCC 5 5 6 5 BROWNBS 34 34 42 38 BROWNDEN 19 19 24 20 CLIFF 1 1 1 1 CUBE 44 39 36 DECONVU 80 102 99 DENSCHNA 9 9 9 DENSCHNB 9 9 9 DENSCHNC 13 14 14 DENSCHND 19 25 24 DENSCHNE 33 37 35 DENSCHNF 8 8 8 DJTL ENGVAL2 27 25 EXPFIT 15 14 GROWTHLS 48 46 GULF 51 44 HAIRY 160 150 HATFLDD 25 25 HATFLDE 22 22 HEART6LS HEARTSLS 346 324 HELIX 26 24 HIELOW 18 14 HIMMELBB 3 3 HIMMELBF 32 31 suite la page suivante 7 5 INTERACTION AVEC LA MISE JOUR QUASI N
112. 77 t RE uy Ku B ui 6 cb ON d ME B 12 41 sign d uf 1 42 2 E 1 d 4 1 5 19 S il y a plus d une racine r elle au probl me B 9 il convient d utiliser la valeur de qui produit des coefficients r els aux deux quations du second degr i e u1 tel que SCHTER gt 0 14 2 Uy Oy 15 Bibliographie 1 Abramowitz M Elementary analytical methods Dans M Abramowitz et A Stegun r dacteurs Handbook of mathematical functions chapitre 3 pages 10 66 Dover Publications Inc New York seventh Dover dition 1964 2 Alexandre P Algorithmes a m trique variable pour la recherche de z ros d op rateurs maximaux monotones Th se de doctorat en Sciences Uni versit de Liege 1995 3 Bischof C Carle A Khademi P et Mauer A The ADIFOR 2 0 system for the automatic differentiation of fortran 77 programs Rapport technique CRPC TR94491 CRPC Rice University 1994 4 Boland N L A dual active set algorithm for positive semi definite qua dratic programming Mathematical Programming 78 1 27 1997 5 Bongartz I Conn A R Gould N et Toint P L Constrained and uncons trained testing environment ACM Transactions on Mathematical Software 21 123 160 1995 6 Bonnans J E Gilbert J C Lemar chal C et Sagastizabal C A family of variable metric proximal methods Rapport de recherche 1851 INRIA 1993
113. EWTON 141 TAB 7 5 suite du tableau suite de la page pr c dente Nom HIMMEL 9 7 HIMMELBH 8 7 HUMPS 7496 7441 HYDC20LS 369 341 JENSMP 36 32 KOWOSB 33 32 LOGHAIRY MARATOSB 14 8 MEXHAT 14 12 MEYER3 394 386 OSBORNEA OSBORNEB 54 57 53 PALMERIC 17 32 29 PALMERID 18 22 20 PALMER2C 15 15 14 PALMER3C 14 27 26 PALMER4C 11 18 17 PALMERSC 13 20 17 PALMER6C 17 12 11 PALMER7C 13 11 10 PALMERSC 15 19 18 PFITILS 402 27 23 PFIT2LS 326 PFIT3LS 846 332 315 PFIT4LS 432 522 498 ROSENBR 31 35 31 5308 13 16 14 SINEVAL 76 87 80 SISSER 9 9 9 SNAIL 92 103 98 STRATEC 63 79 71 TOINTGOR 61 76 74 TOINTPSP 44 62 51 TOINTQOR 29 42 40 VIBRBEAM 52 91 71 YFITU 67 80 72 ZANGWIL2 N wa N N fin du tableau 142 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE 7 5 Interaction avec la strat gie de mise jour de type quasi Newton Comme mentionn plus haut dans l analyse du probl me de Rosenbrock sec tion 7 4 1 il y aune nette interaction entre la strat gie de mise jour de la matrice hessienne et la strat gie de mise jour du rayon de la r gion de confiance Les r sultats obtenus dans les exp riences num riques de la section pr c dente utilisent une mise jour de type quasi Newton inconditionnelle i e l approximation de la matrice hessienne est m
114. ITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP Algorithme 9 1 Le sch ma simplifi d une it ration de l algorithme est le sui vant tape 1 Identification des ar tes actives Construire les ensembles N 2 et 9 0 tape 2 Calcul de la direction de descente V Si elle est nulle passer l tape 3 Sinon effectuer une recherche lin aire dans la direction on en se basant sur la fonction exacte 9 3 et passer l tape 5 tape 3 Calcul de la direction de descente 419 Si elle est nulle passer k l tape 4 Sinon effectuer une recherche lin aire dans la direction s 1 basant sur la fonction exacte 9 3 et passer l tape 5 k tape 4 Calcul de la direction de descente w 9 Utiliser s pour d sac tiver une contrainte de borne modifier les espaces 49 Yy er w en cons quence et retourner l tape 2 S il n est pas possible de d sactiver une contrainte de borne stopper l algorithme tape 5 valuation des contraintes de bornes activer C est la fin de l it ration poser k k 1 retour l tape 1 pour l it ration suivante La premi re tape d une it ration de base est d identifier les ar tes actives Le terme ar te d signe les espaces de dimension inf rieure n pour lesquels une ou plusieurs fonctions pour i 1 n sont nulles L valuation de ces fonctions permet de construire les ensembles N 2 et p qui reprennen
115. L identification param trique est une tape cl dans le d veloppement d un mod le math matique Celle ci doit toujours avoir lieu si l on exige du mod le des r sultats pr cis Pour les mod les les plus sophistiqu s une syst matique dans la r solution de ce probl me est la bienvenue Des concepts tels que les exp riences jumelles ou les analyses post optimisation sont de pr cieux outils cet gard 102 CHAPITRE 5 IDENTIFICATION PARAMETRIQUE Les probl mes d identification param trique sont parmi les probl mes d opti misation non contrainte les plus r pandus et les m thodes de calcul utilis es re qui rent g n ralement l valuation du gradient de la fonction objectif ou de la matrice jacobienne Ceux ci peuvent tre obtenus avec une excellente pr cision en utilisant la m thode de diff rentiation directe ou un mod le adjoint Cepen dant ces derni res exigent des ressources informatiques diff rentes et celles ci doivent tre prises en compte dans l valuation du co t de la m thode d optimisa tion correspondante Chapitre 6 Trust un algorithme d optimisation par r gions de confiance Nous nous attachons dans ce chapitre a d crire un algorithme d optimisation par r gions de confiance sp cifiquement d velopp pour s attaquer aux probl mes d identification param trique introduits au chapitre pr c dent Plusieurs variantes sont tudi es et compar es L algorithme se base sur le sch ma
116. Le mod le est donc tout la fois moule gabarit prescription r sum et r duction Il porte soit sur un processus qu il aide a retranscrire soit sur un objet dont il contracte les propri t s Utilis abondamment dans les sciences et les techniques le mod le demeure un interm diaire indispensable il s interpose entre les ph nom nes et linter pr tation que la science en donne En particulier dans les sciences de la nature le mod le appara t comme n cessaire pour affronter le r el qui se r v le bien souvent peu accessible l exp rience imm diate et dans la plupart des cas trop complexe pour tre appr hend 91 Les ingr dients initiaux d un mod le sont d une part tout ce qui a pu tre observ et mesur sur un objet particulier d autre part toutes les connaissances th oriques de la physique de la biologie de la sociologie etc qu il est possible de mobiliser Construit par un agencement judicieux de ces ingr dients le mod le donne une image simplifi e et mall able loisir qui est mise titre d hypoth se 83 84 5 IDENTIFICATION PARAMETRIQUE pour la confronter aux donn es issues d observations ou d exp riences afin de la valider En somme le mod le pr sente l intuition une explication intelligible et partielle d un ph nom ne trop complexe pour tre saisi sous tous ses aspects Sa fonction est double il r sume des connaissances empiriques
117. MER7C PALMER8C n Nom OV Z tA Q2 N D D SE PFITILS PFIT2LS PFIT3LS PFIT4LS ROSENBR 5308 SINEVAL SISSER SNAIL STRATEC TOINTGOR TOINTPSP TOINTQOR VIBRBEAM YFITU ZANGWIL2 MN D D D W O L S 136 CHAPITRE 7 LA MISE JOUR DU RAYON DE CONFIANCE p avec le solveur s et les meilleures performances obtenues sur ce probl me par un des solveurs de S Une rapport de performance arbitrairement grand ry 100 est affect au solveur s si celui ci s av re incapable de r soudre un probl me donn Nous d finissons le profil de performance d un solveur s comme la distribution cumul e du rapport de performance 1 PT 7 T 7 16 Js t p P rps La notation A indique le cardinal de l ensemble A Avec cette d finition la valeur P 1 est la probabilit que le solveur s l em porte sur les autres solveurs et peut d s lors tre utilis e pour comparer les vitesses moyennes des algorithmes La valeur de la limite Pj lim But Try est la probabilit pour le solveur s de r soudre un probl me et peut d s lors tre utilis e pour comparer la robustesse des algorithmes Ces valeurs sont donn es au tableau 7 3 TAB 7 3 Vitesse et robustesse des algorithmes pour diff rentes mises jour du rayon de confiance Trust SR1 incond Trust BFGS incond 1 1 R 0 30 0 74 0 43 0 83 R 0 46 0 80 0 36 0 84 Ai 0
118. Negative Curvature 70 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE soit v rifi e pour une constante Kupe 0 L Ksnc donn e Le point propre appro ch x l it ration de l algorithme 2 1 est alors d fini par dl 2 4 33 Comme pour le point de Cauchy nous pouvons abandonner la distinction entre le point propre x et le point propre approch x et retenir uniquement la no tation et le nom du premier En effet il est possible de d montrer que ces deux points m nent des r ductions semblables de l approximation locale voir 20 4 3 3 Hypoth ses sur l algorithme Il est vident que la convergence globale de l algorithme vers un point critique du second ordre ne peut tre obtenue qu au prix d hypoth ses suppl mentaires Les deux hypoth ses suivantes sur l algorithme 2 1 paraissent raisonnables Hypoth se 4 11 Les Hessiens Vm des approximations locales m del algo rithme 2 1 sont uniform ment continus au sens de Lipschitz sur son domaine de d finition c est dire qu il existe une constante Kien gt 0 telle que Yen x V y lt sall 4 34 pour tout x y 8 H et tout k E N Hypoth se 4 12 Soit T Ja plus petite valeur propre du Hessien de l approxima tion locale au point courant Vem x Sit lt 0 alors m 9 0 5 gt Gus vom Lo la aA Ksod max 4 g min Bw AT th AY pour une constante Ksod 10 5
119. Non BFGS incond Gradient Premier ordre Non GN Jacobienne Premier ordre Oui est effectu en minimisant exactement le sous probl me au sein de la r gion de confiance Enfin la mise jour du rayon de confiance 6 22 entre bien dans le cadre tabli par 4 38 et l hypoth se 4 13 est donc satisfaite En vertu du th or me 4 4 nous pouvons conclure la convergence vers un point critique du premier ordre de la suite engendr e par l algorithme Si l hypoth se 4 10 est galement satisfaite nous concluons en vertu du th o r me 4 6 la convergence globale de la suite engendr e par l algorithme vers un point critique du second ordre L hypoth se 4 10 est g n ralement remplie pour les m thodes de type SR1 du moins sous les hypoth se du th or me 3 1 Le ta bleau 6 2 rassemble les diff rentes propri t s des variantes de Trust comprises dans la pr sente section et dans la section 6 1 6 3 Application identification param trique d un mod le dynamique de type Lotka Volterra Afin d tudier l efficacit des m thodes impl ment es nous appliquons celles ci l identification des param tres d un systeme dynamique non lin aire 101 6 3 1 Description du mod le Penchons nous sur un des plus vieux exemples de syst me proie pr dateur tudi celui de Lotka Volterra dont les quations sont bien connues en th orie des syst mes non lin aires 75 78 Le mod le de Lotka Volterra s crit sous
120. Nous allons r soudre ce probl me avec une m thode par r gions de confiance et r soudre les sous probl mes cr s gr ce l algorithme UVQCQP d velopp au chapitre 9 chaque it ration nous souhaitons utiliser des approximations quadratiques convexes aussi bien pour les contraintes que pour la fonction objectif Pour ce faire les contraintes du probl me 10 1 sont utilis es sous la forme quivalente O pour jEz cj x lt O pour iert 10 3 cj x O pourjel L algorithme propos ici est volontairement extr mement simple notons que l tude compl te et syst matique de ses propri t s th oriques et de ses perfor mances constitue un prolongement naturel de ce travail Notons que l algorithme d crit ci dessous ne comporte pas de crit re d arr t En pratique nous avons choisi de stopper l algorithme lorsque s lt 1076 Algorithme 10 1 Soit un point de d part x un rayon de confiance initial AQ et les constantes 11 0 01 01 0 8 12 0 95 05 2 10 4 1 05 Q5 1 26 qui satisfont aux conditions 2 28 et 4 53 Calculer P x et initialiser k 0 10 1 ALGORITHME DE BASE 215 tape 1 D finition de l approximation locale Approcher la fonction W x o par m xo Pato Y 0 2 x JEIUE 6 Y max 0 2 x 10 5 JEE o f x 5 k e et 6j x 0 s sont des approximations quadra tiques convexes de f x s cj x s et s resp
121. SI NEWTON 151 320 h 310 300 290 280 270 260 zent 240 230 220 1 6 EN E 22 23 320 310 300 290 280 270 260 250 240 230 220 1 L 2 1 5 i 4 6 AA TV 19 2 21 22 23 5 10 FIG 7 7 Historique des it rations pour le probl me d identification des param tres d une loi lastoplastique pour Trust BFGS R en utilisant la r gle empirique de Byrd et al L algorithme converge vers le minimum global repr sent par une ast risque Les lignes pleines d signent les it rations r ussies et les lignes pointill es les it ra tions infructueuses La figure de droite montre la trajectoire obtenue en d sactivant la r gle de ef al aussi longtemps que x 0 pr sente l historique des it rations En comparant avec la figure 7 6 gauche nous constatons que les cinq premi res it rations sont les m mes qu en utilisant Trust BFGS R avec mise jour quasi Newton inconditionnelle Cependant la condition 7 17 n est pas satisfaite au point de test x et la mise jour du Hes sien n est d s lors pas effectu e Nous constatons que la trajectoire r sultante est finalement plus proche de celle obtenue avec A que de celle obtenue avec R2 C est par ailleurs la seule it ration o cette condition est satisfaite 152 CHAPITRE 7 LA MISE JOUR DU RAYON CONFIANCE 7 6 Conclusion Dans les algorithmes utilisant ce type
122. T En tenant compte de la forme particuli re 9 3 et 9 5 de un sous diff rentiel peut tre facilement caract ris Le sous diff rentiel d x est len semble de tous les sous gradients en un point donn x Le sous diff rentiel d une somme de fonctions convexes est la somme cart sienne de ses sous diff rentiels Le sous gradient des fonctions quadratiques par morceaux max 0 au point x s crit 0 si x lt 0 max 0 6 3 9 AM x 2 0 1 0 9 0 9 13 KHN si o x gt 0 Si nous d finissons les trois ensembles d indices NO ej x9 0 j 1 m 9 14 2 7 6 x 0 j 1 m 9 15 eil 1 9 gt 0 7 1 m 9 16 le sous diff rentiel de au point peut s crire d x J Y Woe Y ico H ice z V 9 17 Le vecteur g V bo x Y V 0 x 9 18 9 1 TROIS SOUS ESPACES ORTHOGONAUX 175 est un sous gradient particulier de 9 9 Conform ment sa d finition 9 12 le sous espace V s crit donc y H tn f X 0 toen 9 19 ie Z V L enveloppe lin aire d un espace formul de la sorte est tr s simple obtenir il suffit d autoriser toutes les valeurs r elles pour les coefficients En tenant compte de 9 5 nous obtenons Y XP Ae d nay OL 9 20 20 g All a 9 21 Dans les sous espaces W k y 0 et 419 trois matrices wh v
123. Us 3 23 sc 8 lt A 3 24 Cette variante permet de circonvenir aux probl mes pos s par des matrices hes siennes non d finies positives La r solution du sous probl me 3 23 dans le cas ou la norme utilis e est la norme euclidienne a t tudi e par Mor et Soren sen 74 voir section 6 1 1 3 2 2 M thodes de Newton modifi es De nombreuses variantes ont t propos es pour stabiliser la m thode de New ton Elles passent g n ralement par une modification de la matrice H destin e assurer la convexit de l approximation locale Un Hessien modifi peut par exemple tre obtenu en ajoutant simplement une matrice k sym trique semi d finie positive ad quatement choisie au v ritable Hessien H v f x 9 EO 3 25 Le choix de E est crucial pour les performances des algorithmes bas s sur cette approximation Intuitivement il semble logique d utiliser des matrices de correc tion E aussi petites que possible Sous certaines conditions la convergence 2 qui est le cas par exemple pour une fonction objectif convexe 44 3 APPROXIMATIONS LOCALES globale de tels algorithmes avec une recherche lin aire peut tre d montr e et leur taux de convergence est quadratique pour autant que le minimum ainsi atteint soit isol voir 801 Supposons en effet que la suite d it r s x converge vers un point x pour lequel V f x est suffisamment d finie posi
124. VQCQP fonction 9 44 peut tre crite sous la forme oU GO U Vu o x pda se U 9T AQU y E L a Gap ne 97 Vu ic k k A lt ul yU i 9 47 ie z k Notons que u U gt 0 en raison de la semi d finie positivit de Aj En cons quence les fonctions maximum dans 9 47 sont toujours gales a leur se cond argument et est une fonction quadratique qui peut s crire simple ment 1 QU x uT dD 5 TAD u 9 48 Sue Q ty eP y T el 9 49 0 et AW vor aos Y Ai YA u OT ao 9 50 ic p k ie Zz K k Nous d finissons s la direction de descente en 419 comme le produit U u avec sl ze arg min u 9 51 S C Uy gt x 9 52 U 9y lt 9 53 Les contraintes 9 52 et 9 53 constituent une transposition des contraintes de bornes 9 4 dans le sous espace U k Toutefois les contraintes de bornes actives ne doivent pas entrer en ligne de compte puisque le sous espace U est orthogo nal w k les contraintes 9 52 et 9 53 peuvent donc tre reformul es 09 gt 59 9 54 09 lt 9 9 55 Le probl me 9 51 est quadratique convexe et lin airement contraint et la litt rature scientifique regorge de m thodes efficaces pour le r soudre e g voir Flet cher 31 ou Boland 4 9 2 DIRECTIONS DE DESCENTE 183 Exemple 9 3 Calculons la direction de descente U
125. act penalty function algorithm for finite dimensional and control optimization problems de doctorat University of London 1978 Martinet B Algorithmes pour la r solution de probl mes d optimisation et de minimax Th se d Etat Universit de Grenoble 1972 Matear R J Parameter optimization and analysis of ecosystem models using simulated annealing A case study at station P Journal of Marine Research 53 571 607 1995 Michaleris P Tortorelli D A et Vidal C A Tangent operators and de sign sensitivities for transient non linear coupled problems with application to elastoplasticity International Journal for Numerical Methods in Engi neering 37 14 2471 2499 1994 Mifflin R et Sagastiz bal C V decomposition derivatives for convex max functions Dans R Tichatschke et M Th ra r dacteurs Variational Problems and Regularization Techniques num ro 477 dans Lecture Notes in Economics and Mathematical Systems pages 167 186 Springer Verlag Berlin Heidelberg 1999 BIBLIOGRAPHIE 251 74 Mor J M et Sorensen D C Computing a trust region step SIAM Journal on Scientific and Statistical Computing 4 3 553 572 1983 75 Murray J D Mathematical Biology I An Introduction tome 17 de Inter disciplinary Applied Mathematics Springer third dition 2002 76 Murray W et Overton M L Steplength algorithms for minimizing a class of nondifferentiable functions
126. active L algo rithme ne d sactive qu une seule contrainte a la fois Pour choisir la contrainte a Cette fa on de proc der est adopt e dans de nombreuses m thodes d optimisation non contrainte et pr sente l avantage d effectuer une certaine mise chelle du crit re d ar r t 39 40 6 2 ASPECTS PRATIQUES DE L IMPLEMENTATION 113 lib rer il value les multiplicateurs de Lagrange relatifs chacune des variables fix es c est a dire k ag si x x Hee up 0 __ 922 pour i E F F O Si j est l indice de la contrainte relative au plus grand multi plicateur de Lagrange k Se 6 39 ic FUN o ud et si ce multiplicateur est strictement positif cette contrainte est d sactiv e et gi P F ONG 6 40 Si le plus grand multiplicateur est n gatif ou si l ensemble 7 F est vide l algorithme s arr te 6 2 6 Convergence de l algorithme L objet de la pr sente section est de v rifier que l algorithme impl ment r pond bel et bien aux hypoth ses mises au chapitre 4 Nous supposerons tout d abord que les hypoth ses portant sur le probl me d optimisation lui m me sont satisfaites la fonction objectif est deux fois conti n ment d rivable hypoth se 4 1 born e inf rieurement hypoth se 4 2 et son Hessien poss de galement une borne inf rieure au sens d une certaine norme hypoth se 4 3 Les conditions imposer l approximation locale sont quant elles
127. afellar 89 Dans toute sa g n ralit cet algorithme est d velopp pour rechercher un z ro d un op rateur maximal monotone un de ses nombreux cadres d application tant l optimisation convexe Dans ce contexte l algorithme du point proximal est ca ract ris par une it ration de base de la forme x arg min f x ea el 2 34 x u o e est introduit pour prendre en charge d un point de vue th orique les er reurs li es au calcul num rique approch Le terme de distance est introduit en vue de r gulariser la fonction convexe f x et ainsi assurer l existence et l unicit du minimum x La convergence de l algorithme est assur e moyennant certaines hypoth ses Parmi celles ci on trouve cependant l hypoth se de convexit qui af faiblit s rieusement le r sultat Fin des ann es 1980 l essor de la th orie de la convergence variationnelle a permis d introduire dans l algorithme de base la notion de perturbation la fonction f x tait remplac e l it ration k dans le probl me 2 34 par une autre fonction f x la suite f H devant converger vers f Cette approche facilite grandement la prise en charge de contraintes via l exploitation des fonctions de p nalisation voir par exemple 63 98 Parall lement d autres auteurs se sont plut t pench s sur la m trique exploi t e dans l algorithme i e sur la distance utilis e dans 2 34 C est ainsi qu ap paraissent d une part des m triques
128. ais ment v rifi es l approximation locale quadratique est deux fois contin ment d rivable hypoth ses 4 4 la fonction objectif et l approximation locale ainsi que leurs gradients respectifs coincident bien l it ration courante hypoth ses 4 5 et 4 6 L hypoth se 4 7 est satisfaite car dans l impl mentation les diff rentes mises jour du Hessien de l approximation locale sont assorties d un garde fou gt l em p chant de prendre des valeurs d mesur es En vertu du th or me 4 3 dont l hypoth se est satisfaite en prenant Kamm 1 l hypoh se 4 8 est galement satisfaite i e la d croissance de l approximation locale dans la r solution du sous probl me est suffisante puisque le sous probl me est r solu de facon quasi exacte La norme euclidienne est videmment uniform ment quivalente elle m me nous pouvons le v rifier facilement en prenant Kune 1 hypoth se 4 9 L hypoth se 4 11 de continuit au sens de Lipschitz du Hessien de l approxi mation locale est satisfaite tant donn que celui ci est constant L hypoth se 4 12 est automatiquement satisfaite d s lors que le calcul du pas de progression 114 CHAPITRE 6 TRUST TAB 6 2 Tableau comparatif des diff rentes versions de Trust Version Information Convergence D couplage de Trust n cessaire vers un pt crit souhaitable SR1 cond Gradient Second ordre Oui BFGS cond Gradient Premier ordre Oui SR1 incond Gradient Second ordre
129. aisant ainsi perdre toute information sur les autres variables De plus l algorithme se retrouve dans l impossibilit de limiter raisonnablement les d placements sur ces m mes variables rendant de ce fait les propri t s de convergence caduques 74 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE Eo y ZL _2 1 1 1 1 1 1 1 2 1 5 1 0 5 0 0 5 1 1 5 2 FIG 4 4 Forme des r gions de confiance dans un espace deux dimensions avec une norme matricielle pour un m me rayon de confiance A Les directions en poin till correspondent aux vecteurs propres de la matrice sym trique d finie positive M Les r gions de confiance sont dessin es pour diff rentes valeurs de la valeur propre 2 tandis que la seconde valeur propre est maintenue constante et gale l unit Il est donc d une importance capitale de normaliser le probl me de mani re ad quate En plus du danger num rique de travailler avec des variables de trop grande valeur absolue celles ci peuvent avoir des chelles de variation compl tement diff rentes Pour lever ces difficult s nous pouvons crire chacune des variables de la mani re suivante Xi x E x 4 45 SCT est une valeur caract ristique une chelle de variation caract ristique et amp j la variable normalis e D s lors le probl me d optimisation peut tre r solu terme des 5 qui permet de travailler des ordres de grandeur raiso
130. apitres suivants reposeront quant elles sur les approximations locales de type quadratique Chapitre 4 Convergence globale des algorithmes d optimisation par r gions de confiance Notre travail s int resse particuli rement a I optimisation par r gions de con fiance nous d taillons ici les principaux r sultats th oriques de ce domaine Dans un soucis de simplicit ce chapitre n envisage que les probl mes non contraints les probl mes contraints seront abord s au chapitre 8 La plupart des algorithmes d optimisation par r gions de confiance sont la bor s partir de l algorithme l mentaire 2 1 d taill dans la section 2 2 Les propri t s de convergence globale de cet algorithme sont bien tablies nous al lons d tailler les plus remarquables d entre elles La plupart des l ments de ce chapitre sont tir s de l excellent ouvrage de Conn Gould et Toint 20 le lec teur int ress y trouvera les d tails et les d monstrations de tous les th or mes nonc s 41 Points critiques du premier et du second ordre Il est impossible de prouver en toute g n ralit la convergence globale d un algorithme d optimisation vers un minimum global voir section 1 2 Tout au plus devons nous nous contenter de points critiques Les points critiques v rifient certaines propri t s n cessaires mais non suffisantes d un minimum local On parle de point critique du premier ordre x si ce
131. ar ailleurs l objet d une publication Walmag et Delhez 101 Le chapitre 7 est le deuxi me apport majeur de ce travail pr sente une stra t gie nouvelle de mise a jour du rayon de confiance Le rayon de confiance est un param tre des m thodes par r gions de confiance il indique l tendue de la dite r gion autour de l it r x Traditionnellement l tendue de cette zone de confiance est maintenue constante si elle m ne des r sultats satisfaisant dimi nu e si ceux ci sont m diocres et augment e s ils sont bons Nous entendons par r sultat la diminution effective de la fonction objectif La nouveaut intro duite ici invite se m fier des trop bons r sultats c est dire des it rations menant une r duction de la fonction objectif bien plus importante que pr vue par l approximation locale Dans ce cas la logique propos e est de maintenir quasi constant le rayon de confiance Cette simple pr caution am liore les per formances de l algorithme et cette am lioration est consid rable lorsqu elle est cumul e avec une strat gie intelligente de mise jour de l approximation qua dratique Les profils de performances des diff rentes strat gies ont t compar s et valid s sur nombre de probl mes tests et cette partie du travail fait galement l objet d une publication Walmag et Delhez 100 La troisi me partie du travail aborde la question de l optimisation contrainte Le chapitre 8 trace
132. atiques de type quasi Newton Elles montrent clairement que la nouvelle approche am liore la vitesse de l algorithme En effet cette r gle per met d viter la pollution de l approximation du Hessien avec des mises jour de type quasi Newton impr cises Malgr une l g re d t rioration de la robustesse il apparait que l algorithme le plus efficace combine cette nouvelle strat gie avec une mise jour inconditionnelle de l approximation de la matrice hessienne par une r gle de type quasi Newton Il reste d sormais valider ce concept tr s simple avec d autres types d ap proximations locales lin aires coniques asymptotes mobiles avec des pro bl mes contraints et avec des probl mes de plus grande taille 11 4 De l utilisation d une approche SQCQP Le chapitre 9 pr sente un algorithme permettant de r soudre un type de sous probl mes engendr s par une approche s quentielle de probl mes quadratiques contraintes quadratiques Il s agit d une brique l mentaire pour qui s at taque une fonction de p nalit de type 1 avec des approximations quadratiques convexes Le sous probl me engendr est donc convexe non diff rentiable qua dratique par morceaux et soumis des contraintes de bornes L originalit de l algorithme UVQCQP r side dans l utilisation d un d velop pement th orique propos par Lemar chal et al 65 L espace d optimisation est divis en trois sous espaces celui des con
133. ce chapitre nous supposerons qu aucune permutation n est n cessaire Ceci peut se faire sans perte de g n ralit puisque l ordre des colonnes constituant la matrice 9 22 n a pas t impos La matrice de permutation est donc gale la matrice identit P 1 200 et la d composition QR s crit Ly 0 09 DATT p 9 29 1 G0 po nun 9 30 La dimension du sous espace V k correspond au rang de la matrice RY i e le plus grand entier i tel que RO gt o 9 31 ii La matrice 0 peut d s lors tre d coup e en trois matrices wh V etU k k _ ylk ra _ Jam 0 0 09 v ut dmw p p 9 32 avec 000 v9 0 j 9 33 La propri t d orthogonalit de 0 9 m ne ais ment l expression suivante whTwh wlyl yTy yOTy yWTy 7 9 34 yTy yTy yTy ou D A V Ty I UTD 0 9 35 GT GOTOV D 3Naturellement les impl mentations pratiques utilisent en r alit un petit seuil positif en lieu et place de z ro 9 1 TROIS SOUS ESPACES ORTHOGONAUX 177 L orthogonalit de u par rapport 7 9 conjugu e sa d finition 9 20 nous donne quant elle l expression 0 pourie 2 9 36 ou 29700 0 209 9 37 Pour rappel les vecteurs 49 k i sont le r sultat de la d composition par blocs 9 8 de g Exemple 9 1 Afin d illustrer les espaces U 0 y ew envisageons la fonc tion
134. cette m thode est la n cessit de garder en m moire nombre de variables d tat ce qui peut exiger des ressources consid rables dans certains cas Un se cond d savantage est son incapacit donner d autres informations que le gradient VI Les m thodes d optimisation requ rant l valuation de la matrice jacobienne sont donc n cessairement carter aussit t que cette technique de diff rentiation est employ e 5 4 4 Co t en ressources informatiques Le co t d un code de calcul a deux sources la m moire n cessaire et le nombre d op rations effectuer Id alement ces deux ci doivent tre r duits au 5 4 DIFFERENTIATION DE LA FONCTION OBJECTIF 97 maximum il n est pas rare d avoir un seul de ces deux facteurs qui conditionne compl tement le co t informatique global G n ralement ce qui peut tre gagn d un c t est perdu de l autre La diff rentiation num rique ne d roge pas cette r gle Nous allons proc der ici une comparaison intuitive des m thodes de dif f rentiation et de certaines variantes voir 101 Le premier point de comparaison d j voqu est l information retir e L o la m thode de diff rentiation directe permet une valuation aussi bien du gra dient MI que de la matrice jacobienne J le mod le adjoint ne donne acc s qu au gradient La m thode directe s impose donc aussit t que l on d sire valuer la matrice jacobienne Le second point de compa
135. chnique applied to a predator prey model Bulletin of Mathematical Biology 57 593 617 1995 250 62 63 64 65 66 67 68 69 70 71 72 73 BIBLIOGRAPHIE Lehoucq R B The computation of elementary unitary matrices ACM Transactions on Mathematical Software 22 4 393 400 1996 Lemaire B Coupling optimization methods and variational convergence Dans K H Hoffmann J B Hiriart Urruty C Lemar chal et J Zowe r dacteurs Trends in Mathematical Optimization tome 84 de International Series of Numerical Mathematics pages 163 179 Birkhauser Verlag Ba sel 1988 Lemar chal C et Mifflin R Global and superlinear convergence of an algorithm for one dimensional minimization of convex functions Mathe matical Programming 24 241 256 1982 Lemar chal C Oustry F et Sagastiz bal C The u Lagrangian of convex function Transactions of the American Mathematical Society 352 711 729 1999 Leredde Y Devenon J L et Dekeyser I Peut on optimiser les cons tantes d un mod le de turbulence marine par assimilation d observations Comptes Rendus de l Acad mie des Sciences Series Earth and Planetary Sciences 331 6 405 412 2000 Litt F X Analyse num rique II Universit de Li ge Notes de cours 1999 Litt F X Introduction la th orie de l optimisation Universit de Li ge Notes de cours 2001 Maratos N Ex
136. confiance est augment ou maintenu constant Dans le cas contraire le point test est rejet et la r gion de confiance est contract e dans l espoir de voir l approximation locale donner de meilleures pr dictions sur une r gion plus petite 20 Formellement l algorithme peut s crire 31 litt rature sp cialis e parle plus volontiers d un mod le m x 32 CHAPITRE 2 M THODES DE GLOBALISATION OPTIMISATION Algorithme 2 1 Soit un point de d part x 0 un rayon de confiance initial A er les constantes 111 N2 qui satisfont aux conditions 0 lt n1 lt n2 lt 1 et 0O lt Y lt Y lt I 2 28 Calculer f x et initialiser k 0 tape 1 D finition de l approximation locale Choisir la norme et d finir une approximation locale dans B tape 2 Calcul d un pas de progression Calculer un pas 59 r duisant suffi samment l approximation locale m et tel que 0 0 500 E B tape 3 Acceptation ou rejet du point test valuer f x et d finir le rap port Ein _ er k 0 00000 2 29 Si p gt d finir x k 1 z dans le cas contraire x x tape 4 Mise jour du rayon de confiance Choisir 9 el sip gt ACD e lo 9 AQ sip Ini ml 2 30 9 si p lt m Augmenter ensuite k d une unit et retourner l tape 1 Les it rations pour lesquelles p gt sont appel es des it rations r ussies succ
137. ctif au cours des 120 Identification param trique par Trust BFGS inconditionnelle 121 Rayons de confiance auto adaptatifs 131 volution de la fonction objectif pour le probl me de Rosenbrock 133 Profils de performance pour les diff rentes strat gies de mise jour du rayon de confiance 137 Profils de performance des approches conditionnelles et incondi tionnelles s ec e E been Ux pe 144 G om trie du cas test d identification des param tres d une loi lastoplastique 147 Calibration d une loi lastoplastique avec Trust BFGS en utilisant une mise jour quasi Newton inconditionnelle 150 Calibration d une loi lastoplastique avec Trust BFGS R en utili sant la r gle empirique de Byrdetal 151 Fonction de m rite 1 161 M canisme de base d une it ration SQP 162 Exemple d une it ration SQP avec r gion de confiance 164 Illustration de l effet Maratos 166 12 8 5 9 1 93 9 3 9 4 9 5 9 6 9 7 10 1 10 2 10 3 10 4 10 5 10 6 10 7 TABLE DES FIGURES Illustration de la correction du second 169 Illustration des espaces U et V 179 Illustration de la fonction approch e 9 de 181 Illustration du comport
138. ctions conjugu es ont t d ve lopp es dont certaines ne demandent pas l valuation du gradient de la fonction objectif Le lecteur int ress est invit consulter 30 Les directions conjugu es peuvent galement tre utilis es avec une globalisation par r gions de confiance voir par exemple 20 44 3 2 5 R solution d quations non lin aires Le principe de ces m thodes est de rechercher le vecteur des variables d opti misation x solution du syst me d quations implicites et non lin aires Eo C i 1 m 3 66 en minimisant la fonction objectif 3 f x 5 ci x l 3 67 pay c est l cart au sens des moindres carr s tant donn e la pr sence de nombreuses sources d erreurs de mod lisation num riques exp rimentales l existence d une telle solution n est pas av r e N anmoins loin de l optimum cette inexis tence de solution n influencera que peu la m thode de r solution propos e qui tend converger vers une solution approch e du syst me de base Les m thodes sp ci fiquement construites pour r soudre ce genre de probl me n cessitent le calcul de la matrice jacobienne G x Veo x 3 68 3 2 APPROXIMATIONS QUADRATIQUES 53 de dimension n x Pour la r solution d un syst me d quations non lin aires nous pouvons uti liser la m thode de Newton Raphson Dans le cas de la minimisation d une fonc tion objectif
139. dante est 0 0 sU _ 1 2 HE E o 0 77 0 Comme attendu il n y donc pas de descente possible dans l espace V 9 voir figure 9 1 186 CHAPITRE 9 DESCRIPTION DE ALGORITHME UVQCQP 9 2 3 La direction de descente en w 9 De mani re tout fait similaire la direction de descente 7 k une direc tion de Mi DE dans le sous espace W L g exprime sous la forme s Wy w Rdimw En exprimant nouveau chaque fonction 6 sous la forme 9 46 la fonction 9 44 devient QUI 9 wy 6 x wea EUR X max Ow WT wth Taw w 9 78 ie z V ico H AQ pr ss Y w 9 9 80 ic k La direction de plus grande pente wh pour cette fonction non diff rentiable est obtenue en prenant l oppos du sous gradient dont la norme est minimale voir section 3 1 dQ 0 Ju L e 00 A 9 81 ie Z K Construisons la matrice GY de dimension dim w x 29 form e par les vecteurs WHT ie ZV ol werQP wrg 9 82 iez 1 k Chaque sous gradient peut s crire Die GO o t RIZ Le gradient de norme minimum est obtenu en r solvant le probl me d optimisation t arg min g A 9 83 S C 0 lt t lt 1 9 84 9 3 DESCRIPTION D UNE ITERATION DE BASE 187 C est un probl me convexe quadratique et lin airement contraint La direction de descente en W 9 est l oppos de
140. de Lagrange La fonction de m rite Li pour ce probl me s crit V x o 2202 3 1 x14 6 x 4x2 1 8 20 160 8 METHODE 5 AVEC REGIONS CONFIANCE et est repr sent e sur la figure 8 1 pour diff rentes valeurs de Nous pouvons constater que pour une valeur lt y la minimisation de la fonction de m rite 8 20 ne conduit pas au minimum du probl me contraint 8 19 En revanche lorsque gt y les deux minima sont identiques Remarquons galement que la croissance du param tre a tendance rendre de plus en plus escarp e la val l e autour de la contrainte ce qui d t riore le conditionnement de la minimisa tion de la fonction de m rite L utilisation d une fonction de m rite permet d introduire les deux techniques de globalisation utilis es dans ce travail la recherche lin aire et les r gions de confiance Les m thode SQP avec recherche lin aire cherchent am liorer une estima tion x9 y de la solution de 8 2 en calculant des corrections ell 5 par r solution du probl me quadratique 8 9 L it r suivant sera k 1 k k _ x k Sx f 8 21 vii 5 A est un pas de progression calcul de a assurer de mani re analogue ce qui est fait pour la fonction objectif dans un probl me non contraint une cer k taine d croissance de la fonction de m rite dans la direction e convient donc d
141. de convergence rapide Celui ci est tabli par le th or me suivant 20 Th or me 8 1 Supposons que les d riv es secondes de f x et ci x existent et soient continues au sens de Lipschitz dans un voisinage du point critique du premier ordre x y et que la matrice apparaissant dans le membre de gauche de 8 6 soit non singuli re Soit la suite x01 g n r e par l it ration 8 5 avec U solution de 8 9 Soit une suite quelconque y 01 convergeant vers y Alors il existe un voisinage X C de x tel que la suite x converge de mani re Q superlin aire vers x partir de n importe quel point de d part x de x Si y 9 y o x 9 x la convergence est quadratique Soit la suite des multiplicateurs de Lagrange du probl me 8 9 Alors il existe un voisinage X Q et un voisinage Y de tels que la suite x 9 y converge de mani re Q quadratique vers x y partir de n importe quel point de d part x y de x x y Notons qu au vu de ce th or me il n est pas n cessaire de prendre y U comme le vecteur des multiplicateurs de Lagrange du probl me 8 9 pour obtenir un taux de convergence Q superlin aire En pratique un estimateur au sens des moindres carr s est souvent utilis y 0 argmin 69 im 8 13 158 8 METHODE SQP AVEC REGIONS CONFIANCE Si G x est non singuli re on peut montrer que voir 20 y o lx ol 8 14
142. de la derni re it ration real kind 8 intent inout dimension n m jacob En entr e la variable jacob doit tre la valeur de d part de la matrice jacobienne En sortie cette variable contient la valeur de la matrice jacobienne G x lors de la derni re it ration real kind 8 intent inout delta En entr e la variable delta doit tre la valeur de d part du rayon de confiance En sortie cette variable contient la valeur finale du rayon de confiance real kind 8 intent inout deltamax En entr e la variable delta doit tre la valeur maximum Amax du rayon de confiance Cette variable est inchang e en sortie real kind 8 intent inout epsg En entr e la variable epsg doit tre plus petite que l unit c est la valeur du param tre du crit re d arr t 6 37 En sortie cette variable contient la valeur finale effective de 9 d fini par 6 35 integer intent in impres En entr e la variable impres contr le les impressions de la routine sa valeur est inchang e en sortie Les diff rentes options d impression sont impres lt 0 l optimisation se fait silencieusement Cependant toutes les impres it ration s un appel du simulateur simul est effectu pour lequel indic 1 Ceci permet l utilisateur de formater les sorties sa meilleure convenance impres 0 aucune impression optimisation se fait silencieusement impres 1 messages d erreur
143. de maximisation pouvant tre facilement converti en cherchant minimiser l oppos de la fonction f x Il convient enfin d identifier les fonctions de contraintes Les contraintes peuvent tre de deux natures nous avons d une part les contraintes d galit et d autre part les contraintes d in galit Plus formellement le probl me g n ral que nous traitons s crit minimiser f x s c 20 pourje 1 1 cj x lt 0 pour j T E et 7 sont respectivement les ensembles disjoints des indices des contraintes d galit et d in galit Les fonctions f et c sont suppos es contin ment d ri vables On d signe par l ensemble admissible le sous ensemble de IR les contraintes sont satisfaites i e Q x R cj x 20 pour j etc x lt 0 pour j E rj 1 2 Pour certains probl mes les variables n ont un sens qu la condition d tre choisies dans un ensemble de valeurs discr tes Il s agit l d optimisation discr te opposer l optimisation continue Le pr sent travail ne traitera pas de l optimi sation discr te 1 22 Conditions d optimalit Les solutions les plus int ressantes d un probl me d optimisation sont les mi nima globaux c est dire l ensemble des arguments x pour lequel la fonction f atteint sa plus petite valeur dans l ensemble admissible i e fO lt f x Vx E Q 1 3 1 2 CONDITIONS D OPTIMALITE 19 Le minimum global est g
144. de trois variables Z x x3 max 0 x3 x3 1 max 0 x3 x 2x3 3 9 38 lt SS 61 x 2 x au point x 0 0 1 Supposons que seule la contrainte de borne inf rieure pour la troisi me variable x soit active i e xr 0 Une seule contrainte de borne tant active la dimension de l espace W 0 est gale l unit et la dimension de travail 9 7 est gale deux La matrice wl est donc le vecteur colonne 1 0 0 V rifiant que 94 all 0 et d x 0 nous obtenons zo 1 2 9 39 tandis que les ensembles N 0 et P sont vides Nous pouvons alors construire la matrice G de dimension n Z constitu e des gradients 9 21 0 0 G 0 0 9 40 24 dont on extrait la matrice de dimension 9 x 29 sf UU G 3 a 9 41 La d composition QR de GO nous donne E ERA 0 1 2 4 o gere 9 3 o 9 42 178 CHAPITRE 9 DESCRIPTION DE ALGORITHME UVQCQP La matrice R est de rang un l espace 9 est donc galement de dimension un La premi re colonne de Q constitue la matrice V9 alors que la deuxi me est la matrice Les matrices V et UH correspondantes sont respectivement 001 er 0 10 7 La fonction est repr sent e sur le premier graphique de la figure 9 1 pour une valeur constante 0 Pour cet exemple les espaces u x et V x cor respondants sont repr sent s par des lignes parall les aux axes tandis que W k devrait tre
145. e cherche s Le fait que tous les pseudo multiplicateurs soient contraints tre positifs a de plus l ind niable avantage de maintenir la d finie positivit de la ma trice AQ similarit entre la nouvelle d finition 9 122 et la d riv e seconde du La grangien 8 10 utilis dans un probleme SQP n est videmment pas due au ha sard De fa on similaire le calcul des pseudo multiplicateurs 9 123 est aux no tations identique au calcul des multiplicateurs de Lagrange d un probleme SQP classique 8 13 L objectif est clairement de se rapprocher autant que faire 9 4 LE MODE RAPIDE 197 se peut des hypoth ses du th or me 8 1 qui assurent une vitesse de convergence Q quadratique J pr sent rien n che 1 0 usqu pr sent rien n emp che le pas s tivement nous souhaitons donc utiliser une correction du second ordre d k sem blable celle utilis e dans les m thodes SQP S inspirant de la formule 8 43 celle ci devrait tre la solution du syst me lin aire de souffrir de l effet Maratos Intui GET ql 0 9 129 o di x tsy i x s ccs in u 9 130 bra 9 50 avec 2 Linie 9 131 Notons que chaque composante de c peut s crire 7 euo 5 ege ee sers 09 130 La d finition 9 15 de l ensemble Z permet d affirmer que le premier terme de 9 132 est nul Sachant que 5 U 949 la propri t 9 36 nous permet galement d
146. e Y x 5 6 comment doit elle tre choisie Les algorithmes SQP utilisant une globalisation par r gions de confiance doivent tenir compte de ces questions Plusieurs m canismes ont t propos s pour pallier ce probl me le lecteur int ress est invit consulter l ouvrage de Conn et al 20 Exemple 8 3 figure 8 2 illustre une de ces situations sur le probl me 8 19 Adoptons une norme euclidienne pour la r gion de confiance et construisons le sous probl me quadratique 8 26 correspondant au point x 1 4 1 4 tout en utilisant la valeur optimale pour le multiplicateur de Lagrange y 2 2 minimiser 1 2 52 55 251 52 S C 51 5 7 8 0 8 29 et Aj 52 52 lt AQ Le probl me 8 19 et le sous probl me quadratique correspondant 8 29 sont repr sent s sur la figure 8 2 Nous pouvons constater que pour une valeur rayon de confiance d une demi unit le sous probl me quadratique ne poss de pas de solution et que la strat gie habituelle de diminution du rayon de la r gion de confiance ne fait qu exacerber le probl me Pour viter ce genre de configuration le probl me 8 29 peut tre remplac par la minimisation d une approximation locale de la fonction de m rite 8 20 1 V 5 6 9 T s 53 251 52 0 7 s1 83 d 8 30 164 8 METHODE 5 AVEC REGIONS DE CONFIANCE f x 8 4 0 75 P 0 35 0 05r 0 45
147. e cas de figure que Mor et Sorensen 74 nomment le hard case premi re vue il est difficile de choisir sy et qui satisferaient aux conditions nonc es par la th or me 6 1 qui nous garantit cependant que ce dernier existe dans l intervalle 2 ny a donc qu une seule possibilit uy Ay Dans ce cas la matrice H 241 est cependant singuli re et la d composition spec trale de son inverse ne peut plus tre utilis e telle quelle pour d finir 6 14 Il convient de d finir le vecteur s t y as aA 6 20 6 2 ASPECTS PRATIQUES DE L IMPLEMENTATION 109 dont on v rifie ais ment qu il remplit la condition 6 11 En tenant compte des relations d orthogonalit entre les vecteurs nous obtenons T V 8 FX x M et il est d s lors toujours possible de choisir tel que A On v rifie ais ment que le vecteur ainsi trouv est bel et bien le minimum sy du probl me 6 9 soumis la contrainte 6 10 2 T y 82 T 6 21 6 2 Aspects pratiques de l impl mentation Apr s le type d approximation locale et la forme de la r gion de confiance uti lis s ainsi que la m thode de r solution du sous probl me il reste encore quelques degr s de libert fixer dans l algorithme 2 1 6 2 1 Mise jour du rayon de confiance Le premier d entre eux est la strat gie de mise jour du rayon de confiance Nous avons op r le choix sui
148. e conclure l annulation du deuxi me terme de sorte que E Em 9 133 y 3 u j u Parmi les diff rentes corrections du second ordre possibles nous avons d cid de privil gier celles qui pouvaient s exprimer d b vil 49 i e celles comprises dans le sous espace V 9 pour deux raisons fort simples La premi re est li e aux contraintes de bornes Restreindre la correction du second ordre d dans le sous espace V entra ne que le d placement total qui est une combinaison lin aire de 50 et d reste dans le sous espace compl mentaire W ce qui signi fie que les contraintes de bornes qui sont actives le restent et que la strat gie de contraintes actives n est pas affect e La deuxi me raison est plus pragmatique le syst me lin aire 9 129 r soudre peut tre simplifi en raison des d compo sitions d j effectu es sur la matrice G sur base des espaces 41 9 et V et 198 CHAPITRE 9 DESCRIPTION DE LU ALGORITHME UVQCQP la r solution du syst me 9 129 en est donc simplifi e En effet le membre de gauche peut s crire par blocs GOTO gOTy 9409 9 134 k Gr ot v YH d b por d pwr gw x o Ia d 9 136 en utilisant 9 31 9 32 9 98 et 9 125 La correction d est obtenue en in versant le systeme lin aire inversible carr et triangulaire inf rieur 807409 9 137 puis effectuant le produit k _ k poa v 00
149. e font l objet d une publication Walmag et Delhez 100 7 1 Lesit rations trop r ussies Les it rations de la troisi me cat gorie d finie par 7 1 sont appel es les it ration tr s r ussies parce qu elles fournissent des diminutions importantes de la fonction objectif atteignant au moins les r ductions esp r es par la minimisation de l approximation locale m Comme le sugg re 7 1 l approche habituelle dans un tel cas est d largir la r gion de confiance La raison sous jacente cette augmentation de 4 9 est intuitive l approximation locale semble pr cise dans une grande r gion autour de l it r courant et l algorithme devrait d s lors tre autoris effectuer un pas plus grand si n cessaire Cependant une partie de l histoire manque Les it rations dites tr s r ussies usurpent leur nom si la r duction obtenue pour la fonction objectif repose sur une approximation locale impr cise m C est le cas lorsque 9 est significativement plus grand que l unit la r duction de la fonction objectif semble d s lors plut t fortuite et le risque est grand de p cher par exc s de confiance en l approximation locale m Ceci sugg re l introduction d un nouvel ensemble d it rations trop r ussies caract ris es par oh gt 13 173 gt est une constante pr d termin e et le remplacement de 7 1 par la formule 6 22 impl ment e dans Trust aA sip lt n k in lt kk k 1 _ sin lt p
150. e objectif est d identifier les deux param tres E et de ce mat riau Puisque nous connaissons le minimum global du probl me optimisation associ nous introduisons une mesure de l erreur relative l it ration EI ref p k pref k _ VEER eve href 7 21 Le tableau 7 8 donne le nombre d it rations n cessaires pour approcher les para m tres de r f rence avec une erreur relative inf rieure 1 en utilisant l approche BFGS inconditionnelle Nous pouvons constater que la mise jour du rayon de confiance de type ne parvient pas approcher le minimum global moins de 1 l algorithme converge en effet vers un minimum local dont l erreur relative r siduelle est de 2 7 Pour plus de pr cisons sur le principe de l exp rience jumelle consulter la section 5 3 7 5 INTERACTION AVEC LA MISE JOUR QUASI NEWTON 149 TAB 7 8 Tableau comparatif du nombre d it rations n cessaires pour atteindre 1 d erreur relative pour diff rentes mises jour du rayon de confiance Les valeurs des param tres de l algorithme sont celles du tableau 6 1 et le rayon de confiance initial est gal l unit A 1 La mise chelle du probl me utilise les valeurs du tableau 7 7 voir section 6 2 3 Mise a jour du Nombre rayon de confiance d it rations R chec 16 1 9 A2 11 La figure 7 6 montre l volution des it r s dans l espace des variables de cont
151. e par les constantes r elles n1 N2 Y1 Y3 et Y4 telles que lt n2 lt 1 et lt lt lt 1 lt sy 7 7 Bien entendu la strat gie modifi e 7 3 satisfait aux hypoth ses du chapitre 4 Les propri t s g n rales de convergence globale des algorithmes d optimisation par r gions de confiance sont donc d application 7 2 Rayon de confiance auto adaptatif Le concept des it rations trop r ussies peut aussi tre utilis dans le cadre des algorithmes au rayon de confiance auto adaptatif introduits par Hei 50 L id e pr sent e par cet auteur est simplement de faire varier le rayon de confiance plus ou moins contin ment avec le rapport p suivant AC R p AC 7 8 est une fonction telle que les conditions de convergence 7 6 sont satisfaites videmment la strat gie habituelle 7 1 est un cas particulier de 7 8 correspon dant une fonction tag e figure 7 1 en haut gauche Hei 50 sugg re 130 CHAPITRE 7 LA MISE A JOUR DU RAYON CONFIANCE d utiliser des fonctions R non d croissantes telles que oi si pt lt 0 2 0 4 1 a gt si 0 lt p lt na Ro p 7 9 02 0 exp et 3 si lt p lt 1 200 o5 exp 1 p sip gt 1 ou Q1 lt 1 lt 03 lt Q2 et N2 lt 1 sont des constantes appropri es figure 7 1 en bas gauche Cette fonction est qualitativement similaire la strat gie initiale puisqu elle
152. e r soudre ventuellement de fa on approch e le probl me unidimensionnel 200 arg min x 650 oi 8 22 qui permet de guider le processus it ratif vers une am lioration de la solution chaque tape Exemple 8 2 titre d exemple construisons pour le probl me 8 19 le sous probl me quadratique 8 9 correspondant au point x 1 4 1 4 et utilisant la valeur optimale pour le multiplicateur de Lagrange y 3 2 La matrice hessienne du Lagrangien s crit HO Va f x 9 yO qe 4r 221 y 8 23 tandis que le gradient de la fonction objectif et la matrice des gradients des contraintes sont donn es par g x et G x 8 24 4 2 4x2 8 2 FONCTION DE MERITE ET GLOBALISATION 161 1 2 21 2 0 4 0 4 Xi 1 2 2 Fic 8 1 Le probl me 8 19 est repr sent sur la figure sup rieure gauche les iso valeurs de la fonction objectif la contrainte d galit trait pais discontinu le minimum global carr et le minimum global non contraint cercle Les trois autres figures repr sentent la fonction de m rite pour diff rentes valeurs de le cercle indique la position du minimum de V Nous constatons que le minimum non contraint de ne coincide pas avec le minimum contraint du probl me 8 19 si lt 3 2 contrairement aux cas gt 3 2 Nous pouvons galement remarquer que l escarpement de la vall e
153. e th or me est plus fort que celui du th or me 4 5 au prix d hy poth ses suppl mentaires relativement peu contraignantes L avantage d utiliser des approximations locales non forc ment convexes est donc vident La d mons tration de ce r sultat remarquable peut tre trouv e dans 20 Notons qu un point critique du second ordre ne signifie pas forc ment minimum local les points d in flexion multidimensionnels vers lesquels l algorithme peut converger ne peuvent tre vit s qu en tenant compte d informations d ordre plus lev que le second N anmoins si la matrice hessienne obtenue au point limite est strictement d finie positive on est assur que ce point est un minimum local 4 4 Forme des r gions de confiance La norme d finit la forme de la r gion de confiance gl b ER 9 lt AQ 4 40 l it ration k La norme euclidienne classique ou norme 2 lui donne la forme d une sph re alors que les normes et lui donnent la forme d un cube La figure 4 3 illustre la forme des r gions de confiance dans un espace deux dimen sions pour un m me rayon de confiance A avec les normes de type p Ixl Y ln 4 41 1 prenant la limite pour p tendant vers l infini on a xls 4 42 i 1 2 n L utilisation de la norme correspond de simples contraintes de bornes variant d une it ration l autre celles ci sont parfoi
154. ectivement Utiliser la norme L dans le A des r gions de confiance tape 2 Calcul d un pas de progression Calculer le pas de progression 59 avec l algorithme UVQCQP Poser HH 500 tape 3 Acceptation ou rejet du point test valuer et le rapport p V x 9 6 19 0 m9 9 0 m O oi me Si p gt on d finit x dans le cas contraire x Etape 4 Mise jour du rayon de confiance Poser ou s sip lt n k JA sini lt p mo an AU sin lt p lt SEN AK sip gt n3 Augmenter ensuite k d une unit et retourner l tape 1 Qu entendons nous exactement l tape 2 par approximation quadratique convexe Il s agit simplement d une forme rendue convexe de l approximation quadratique de Newton modifi e 3 34 Les fonctions d x et 6 x corres pondant la fonction sont respectivement All 45 x sl vox 79 10 8 99 3 oa el V x 55 As 10 9 o le Hessien de la fonction au point x Q9 diag 4 QT 10 10 sous probl me ainsi cr est bien de la forme 9 3 216 CHAPITRE 10 VERS UNE METHODE SQCQP est approch par H QU gdiag max 4 0 07 10 11 AY Q diag max X 0 097 10 12 Notons que l utilisation de la norme 7 dans la d finition de la r gion de confiance nous permet d int grer facilement les contraintes de bornes de 10 1
155. elles ci pouvant tre des fonctions ou des valeurs discr tes c est le vecteur des valeurs de com paraison et le vecteur des valeurs de r f rence r sultant respectivement du trai tement des r sultats et du traitement des mesures Nous d sirons une fonction objectif qui mesure l cart entre ces deux vecteurs F c doit donc avoir les propri t s d une distance 68 1 Positivit F x y gt O pour tout couple x y de R 2 S paration F 0 si et seulement si x 3 Sym trie F F 4 In galit du triangle F x y F x z F z y pour tout x y et z de R Parmi les fonctions r pondant ces crit res on peut citer quelques l cart au sens des moindres carr s ou les normes pond r es de diff rents 88 5 IDENTIFICATION PARAMETRIQUE 5 2 21 Ecart au sens des moindres carr s L exemple le plus simple c tous discrets est celui de la norme euclidienne ou erreur au sens des moindres carr s c 1 1 x 5 9 Y ci i 5 9 i 1 L introduction d une matrice diagonale D permet de tenir compte d ven tuelles diff rences d ordre de grandeur ou d importance c Die Y 2 5 10 i 1 NY i l F c Mais la forme la plus g n rale prend en consid ration des corr lations croi s es 1 Zei 2 lt W c 5 11 W est id alement l in
156. elui ci Cette approximation locale donne naturellement naissance la m thode de la plus grande pente C est une m thode avec recherche lin aire qui consiste a choisir chaque it ration la direction de descente 4 k qui pr sente la plus grande pente c est dire l oppos de l estimation du vecteur 59 i e JT ll 3 2 39 40 CHAPITRE 3 APPROXIMATIONS LOCALES La m thode de la plus grande pente est globalement convergente et son ordre de convergence est lin aire Cependant la vitesse de convergence s av re tr s faible aussit t que la fonction objectif pr sente une forme anisotrope i e lorsque les valeurs propres du Hessien a l optimum sont tr s diff rentes les unes des autres voir par exemple 80 3 1 2 G n ralisation au cas non diff rentiable Une g n ralisation de la m thode de la plus grande pente peut tre obtenue pour des fonctions objectifs non diff rentiables Naturellement le gradient de la fonction objectif n est alors pas d fini en tout point du domaine mais il est tout de m me possible de d finir et d utiliser des g n ralisations appropri es Commengons par rappeler les concepts de base associ s aux fonctions non diff rentiables Nous ne nous attarderons que sur le cas des fonctions continues finies et convexes Notons qu une fonction f R est dite convexe si f 0x4 1 9 y Of x 1 9 f y Vx y R VO c 0 1 3 3 chaque fois que le second m
157. embre de cette in galit est d fini La d riv e unidirectionnelle f x de f au point x dans la direction d est d finie par td fie lim f x f x t 0 t 3 4 L existence de cette d riv e est assur e pour une fonction f convexe et finie Lorsque f est continiment diff rentiable dans un voisinage de x nous avons ga lement f x V f x d Le sous diff rentiel df x de f en x est l ensemble df ge R g d lt fi x Vd R 3 5 et chaque l ment du sous diff rentiel de f en x est appel un sous gradient de f en x Nous pouvons constater que si f est contin ment d rivable dans un voisinage de x le sous diff rentiel de f en x se r duit un singleton ne comprenant que le gradient f x Le sous diff rentiel peut galement tre crit sous la forme of x g ER f x g d lt f x d Vd e R 3 6 Une g n ralisation simple de la m thode de la plus grande pente est la m thode du sous gradient Il suffit de prendre pour direction de descente l oppos d un l ment quelconque du sous diff rentiel g e af x 3 7 3 1 APPROXIMATIONS LINEAIRES 41 Mais cette technique s av re plut t inefficace en pratique et des exemples pour lesquels l algorithme ne converge pas peuvent facilement tre construits voir par exemple 31 Pour obtenir un algorithme globalement convergent il faut pous ser plus avant l analogie avec la m thode de la plus grande p
158. ement de l algorithme UVQCQP de base 190 Comportement de l algorithme UVQCQP avec et sans mode rapide 203 Performances de l algorithme UVQCQP 208 Profil de UVQCQP avec et sans mode rapide 209 Profil de et une m thode de point int rieur de Matlab 211 Une it ration SQCQP sans espace admissible 217 Calculer le pas de progression pour une it ration SQCQP sans espace admissible s s o qe dae e date ded Breede Do eed do 218 Calculer le pas de progression pour une it ration SQCQP it ra tions suivantes 219 D composition d une contrainte d galit 220 Calculer le pas de progression pour une it ration SQCQP avec une contrainte d galit non convexe 221 Calculer le pas de progression pour une it ration SQCQP avec une contrainte d galit non convexe it ration suivante 221 Profils de performances de quatre algorithmes sur quelques pro bl mes de petite taille 223 Liste des tableaux 5 1 6 1 6 2 6 3 6 4 6 5 6 6 6 7 74 7 2 7 3 7 4 7 5 7 6 7 7 7 8 10 1 Tableau comparatif des diff rentes m thodes de diff rentiation 98 Param tres de mise jour du rayon de confiance 110 Tableau comparatif des diff rentes versions de Trust 114 Valeurs de r f rence et initiale pour les param tres mod le de VOOR meriame
159. ement en s rie de Taylor de la fonction objectif autour de la solution optimale x donne Fle Hie e Site 5 14 o Vx f x est la matrice hessienne l optimum Si les termes n glig s sont suffisamment petits les incertitudes sur les param tres optimaux du mod le sont normalement distribu s avec une moyenne nulle et une matrice de covariance d finie comme l inverse du Hessien C H Cette matrice fournit donc une infor mation sur la distribution de probabilit des param tres optimaux Les l ments de la diagonale de C fournissent une mesure de la largeur de la distribution pour chacun des param tres Ceci remplace avantageusement une analyse de sensibi lit classique De plus la matrice de covariance fournit des informations suppl mentaires les termes hors diagonale indiquant le niveau de corr lation entre deux param tres du mod le 5 3 Analyse de l observabilit par exp rience jumelle Une exp rience jumelle est une simulation par le mod le d une prise de me sures Pour chaque param tre du mod le math matique une valeur de r f rence est choisie qui permettra d effectuer une simulation du mod le math matique Des valeurs ainsi obtenues pour les variables d tat on extrait des donn es semblables aux mesures dont on dispose pour le syst me r el Cette exp rience nous permet de tirer des conclusions sur l observabilit du syst me Est ce que les mesures notre disposition son
160. en l absence du dispositif de mode rapide Nous pouvons 210 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP constater que dans un peu plus 97 596 des probl mes g n r s le mode rapide n entre pas en action et les performances des deux versions de l algorithme sont d s lors rigoureusement identiques n y a donc que 2184 cas pour lesquels le mode rapide s active Sur ceux ci 2137 sont l avantage de l utilisation du mode rapide qui peut se r veler jusqu 40 fois plus rapide Paradoxalement 47 pro bl mes s av rent tre l g rement plus lents en pr sence du mode rapide le cas le plus probl matique engendre le double d it rations tous les autres entrainent un surcro t d it rations inf rieur 60 L introduction du mode rapide permet donc un gain de performance consid rable dans plus de 2 des probl mes envisag s et une l g re d pr ciation dans 0 005496 Notons galement que les dispositifs de d sactivation du mode rapide ou des ar tes voir section 9 4 s ils peuvent paraitre alambiqu s n en sont pas moins indispensable au niveau de la robustesse et de la fiabilit de l algorithme Pour analyser leur utilit les m mes 100 000 probl mes g n r s al atoirement ont t r solus par l algorithme en l absence de ces dispositifs La convergence n est pas efficacement pour 780 de ces 100 000 probl mes le rapport de perfor mance 9 165 tait nettement sup rieur 10 Dans le cas o tous les
161. en sortie les valeurs de la fonction objectif f x et de son gradient g x resp c x et G x au point x Dans ce cas aucune valeur ne doit tre sp cifi e en entr e A 2 Les autres variables integer intent in n La variable n est un entier elle donne la dimension du vecteur des variables optimiser x Cette variable demeure inchang e en sortie real kind 8 intent inout dimension n x En entr e la variable x doit tre la valeur de d part x 0 des variables optimiser En sortie cette variable contient les valeurs optimis es real kind 8 intent inout f En entr e la variable f doit tre la valeur de d part f x de la fonction objectif optimiser En sortie cette variable contient la valeur finale de la fonction objectif optimiser real kind 8 intent inout dimension n g En entr e la variable g doit tre la valeur de d part g x du gradient de la fonction objectif En sortie cette variable contient la valeur finale du gradient la fonction objectif integer intent in m La variable m est un entier elle donne la dimension m du vecteur c x mini miser au sens des moindres carr s Cette variable demeure inchang e en sortie real kind 8 dimension m intent inout c 238 ANNEXE A ROUTINES FORTRAN MODE D EMPLOI En entr e la variable doit tre le vecteur des valeurs de d part c x En sortie cette variable contient les valeurs du vecteur c x lors
162. ence entre les valeurs de fonction ob jectif entre le meilleur et le pire individu de la population est inf rieur un seuil fix 2 4 3 Propri t s g n rales Les m thodes m ta heuristiques pr sentent l avantage de ne pas n cessiter de calcul des d riv es de la fonction objectif Aucun co t d impl mentation ni de cal cul du gradient de la fonction objectif n est donc engendr Ces m thodes ont ga lement la propri t int ressante de pouvoir tre dirig e vers le minimum global du probl me et non vers un minimum local comme les m thodes d ordre sup rieur Toutefois des applications num riques montrent que ces m thodes demandent un nombre d valuation de la fonction objectif tr s important 71 G n ralement le surcro t de temps de calcul engendr est prohibitif par rapport aux autres tech niques de globalisation 2 5 Conclusion Dans ce chapitre nous avons essentiellement pr sent les deux techniques de globalisation les plus courantes les m thodes avec recherche lin aire et les algo rithmes avec r gions de confiance Les globalisations par m thode de type proxi mal et les m thodes m ta heuristiques n y sont que succinctement voqu es dans un soucis de compl tude L tude syst matique et compl te de toutes les m thodes appartenant aux deux familles principales sort du cadre de ce travail Certaines techniques d optimisa tion unidimensionnelle sont pr sent es ici pour servir d
163. ente et prendre 2 9 comme l oppos du sous gradient de plus grande pente qui peut tre caract ris e math matiquement par g arg min g 3 8 gcof x En effet lorsque la d riv e existe la direction unitaire de plus grande pente est en fait la solution du probl me d optimisation suivant T S E arg max 4 STI 3 9 s c 4 2 1 3 10 dT g lt 0 3 11 La condition 3 10 impose une valeur finie unitaire la norme de la direction et la condition 3 11 restreint quant elle l espace de recherche aux directions de descente Sachant que la pente est n cessairement n gative ce probl me peut tre reformul plus simplement TE arg mind g 3 12 s c 42 1 3 13 dont la solution g lg e est bien un multiple de 3 2 Par analogie dans le cas non diff rentiable le sous gradient de plus grande pente est la solution du probl me d optimisation in d7 3 14 cx SR s c dllo 1 3 15 Le minimum de d g soumis la contrainte 3 15 s obtient pour d 8 lello 3 16 quelle que soit g La valeur du minimum est donc g 2 et nous obtenons ainsi la formulation 3 8 suffit simplement d utiliser l quivalence entre les deux probl mes max f x et min f x 42 CHAPITRE 3 APPROXIMATIONS LOCALES 3 2 Approximations locales quadratiques Pour am liorer l ad quation entre la fonction objectif et l approximation lo cale il para t naturel d au
164. er l effet Maratos une des techniques utilis es est celle de la k correction du second ordre Il s agit d un pas de correction s qui est appliqu au point xa 49 de ramener la valeur des contraintes actives une valeur n gligeable En d autre mots puisque de grandeur des contraintes au point x k 49 est k k e x 9 ok 8 37 la correction 59 doit tre telle que la valeur de la contrainte devienne n gligeable devant cet ordre de grandeur ant rieur c x 9 5 5 o s 2 8 38 Cependant il est important qu une telle correction n alt re pas exag r ment le pas original dont cherche pr server les propri t s de convergence rapide Il k convient donc galement que la correction soit n gligeable par rapport a 5 s o s 8 39 k Tout vecteur s satisfaisant aux relations 8 38 et 8 39 est une correction du second ordre Comment d s lors choisir 59 existe plusieurs variantes mais la plus simple est certainement d utiliser l approximation de Taylor c x 9 45 45 5 GT x 5 00 Is 912 8 40 qui peut tre l g rement modifi e comme suit dl 5 e x 5 4 GOT d 0 1 max IPP 840 en utilisant GT x 5 GOT 8 42 Si nous choisissons s i tel que GOT oe 45 0 8 43 nous obtenons de 8 41 que efx P 907 Us max P s 168 8 METHODE 5
165. ervi la g n ration de l ensemble des 64 points de d part L ensemble est constitu par les combinaisons possibles de ces pa ram tres Les deux derni res colonnes contiennent les valeurs et variations caract ristiques dans les cas une mise chelle est utilis e Param tre X 0 Y 0 2 a4 Valeur 1 0 8 0 8 0 3 0 1 0 1 0 08 1 2 1 2 0 5 0 3 0 3 0 12 1 1 0 4 0 2 0 2 0 1 Valeur 2 Val de r f 1 05 0 95 0 42 0 22 0 19 0 09 Val car 0 3 0 3 0 12 0 12 0 12 0 03 C est sur base d une telle analyse que la valeur du param tre n3 de la mise a jour du rayon de confiance 6 22 a t choisie En effet en comparant celui ci a 6 3 APPLICATION MOD LE DE LOTKA VOLTERRA 123 TAB 6 7 Tableau comparatif des diff rentes variantes de Trust Les trois derni res colonnes sont des moyennes sur toutes les optimisations r ussies A titre de compa raison M1QN3 a t soumise au m me test Pour Trust GN cette colonne indique le nombre d valuations de la matrice jacobienne G x et non celui du gradient g x Ceci explique son co t global tonnamment important en regard du nombre d it ra tions relativement faible Version Notes Taux de Evaluations Evaluations de de r ussite de f x g x ou G x global SRI cond 50 105 62 211 02C 1 05 69 102 64 211 44C mise ch 81 66 43 139 53 Cm SRI incond
166. es 0 229 11 4 De l utilisation d une approche SQCQP 230 TABLE DES MATIERES V Annexes Routines FORTRAN mode d emploi AV TESA aE UT ce D e D we oh dt VS AT Indicateur sy bank 0 he eh cete kk Tes entrees s cos Dir e fute dS RSS ATS sLes Sorties de den A s A 2 Les autres variables Exemple d utilisation A 3 1 Programme principal A327 SIMUlATEUT ios eo ERES B Z ros des polyn mes 233 235 235 236 236 236 237 240 240 241 243 10 TABLE DES MATIERES Table des figures 2 1 4 1 4 2 4 3 4 4 4 5 6 1 6 2 6 3 6 4 6 5 7 1 7 2 7 3 7 4 7 5 7 6 7 71 8 1 8 2 8 3 8 4 Recut Simul o Sowone are toe SAN 36 R gion de confiance et arc de Cauchy 63 Point de Cauchy approch 64 Forme des r gions de confiance avec les normes 2 73 Forme des r gions de confiance avec une norme matricielle 74 Normes uniform ment quivalentes la norme euclidienne 75 Profil de la fonction s u lorsque 20 107 R ponses temporelles des variables d tat pour le probl me de Eotka Volf rra eua s 116 Identification param trique M1QN3 119 Fonction obje
167. es jour SR1 et BFGS nous d finissons l ensemble des probl mes P constitu de nj 70 probl mes et l ensemble des solveurs 5 constitu des quatre solveurs impl ment s avec les diff rentes strat gies de mise jour pour le rayon de confiance R1 R2 et Pour chaque probl me p 2 et chaque solveur s S nous valuons le nombre d it rations Np s n cessaires pour r soudre le probl me p avec le solveur s Un rapport de performance Np s en 715 P min Nps SES est alors construit en comparant le nombre d it rations pour r soudre le probl me 7 4 EXPERIENCES NUMERIQUES 135 7 2 Noms et tailles des probl mes de CUTEr s lectionn s Il s agit des pro bl mes de petite taille lt 100 diff rentiables et pour lesquels les d riv es mi res sont disponibles Nom 3PK AKIVA ALLINITU BARD BEALE BIGGS6 BOX3 BRKMCC BROWNBS BROWNDEN CLIFF CUBE DECONVU DENSCHNA DENSCHNB DENSCHNC DENSCHND DENSCHNE n Nom D amp D D F NDS ON WV D D DENSCHNF DJTL ENGVAL2 EXPFIT GROWTHLS GULF HAIRY HATFLDD HATFLDE HEART6LS HEARTSLS HELIX HIELOW HIMMELBB HIMMELBF HIMMELBG HIMMELBH HUMPS gt 2 2 3 2 3 3 2 3 3 6 8 3 3 2 4 2 2 2 HYDC20LS JENSMP KOWOSB LOGHAIRY MARATOSB MEXHAT MEYER3 OSBORNEA OSBORNEB PALMERIC PALMERID PALMER2C PALMER3C PALMER4C PALMERSC PALMER6C PAL
168. es approximations locales ont t d velopp es sur la m me base La m thode originale de Svanberg 96 n utilisait que des approximations mono tones p 0 Avant lui Fleury et Braibant 36 avaient ouvert la voie vers ce type de m thodes en proposant ConLin Convex Linearization un cas particu lier d asymptotes mobiles utilisant p 0 19 0 et 9 Svanberg propose galement de faire coincider les d riv es secondes de l approximation locale 3 86 et de la fonction objectif si celle ci est disponible Cependant m est s parable et seule la diagonale du Hessien peut tre utilis e l approximation locale doit donc tre telle que dm 9 92 f x 38 DE 77 3 90 pour i 1 n Les param tres de l expression 3 86 s expriment alors comme suit EE Jo Jun gf 3 91 Co V k 43 2 er k QUY 9 l 099 f x die 09 19 Si FU ET 3 92 3 93 Ils sont g n ralement assortis d un gardien les emp chant de prendre une valeur n gative qui rendrait alors l approximation non convexe Bruyneel 9 propose quant lui d estimer les d riv es secondes par diff rences finies 3 81 en utilisant la valeur du gradient en un point connu 0 3 4 Conclusion chapitre traite du choix d une approximation locale ad quate en d couplant celui ci de la technique de globalisation adopt e Les approximations lin aires et 8 peut v rifier que si p 0 l appro
169. es approximations locales propos es convenaient particuli rement bien aux fonctions objectifs g n ralement utilis es Leur popula rit tient au fait que les approximations g n r es sont s parables ce qui simplifie consid rablement la r solution des sous probl mes tout en permettant d envisa ger des probl mes de tr s grande taille L approximation locale prend la forme g n rale fi OI s v9 pu 4 Y se 3 86 L LY Zei o les param tres et 49 sont calcul s en fonction du signe de la composante correspondante du gradient au point x S z TRS g Em N k _ k S F ti eme a 3 87 TS m M T N i k _ OEE c nint eP 3 88 On peut montrer que cette approximation locale n est convexe que si les para b mu metres p et sont positifs ce qui revient imposer aux deux asymptotes mobiles L et 9 la condition suivante L9 lt o lt u 3 89 3 4 CONCLUSION 57 et au param tre de non monotonicit p d tre positif On v rifie ais ment que l approximation locale est du premier ordre et Van 9 g Des r gles em piriques de mise a jour ont t propos es par Svanberg 96 97 pour les diff rents param tres uw 19 et p Bruyneel 9 propose quant lui d utiliser la valeur de la fonction objectif et du gradient un autre point connu pour mettre ces param tres jour D autr
170. es est n cessaire Dans la suite de l expos nous supposerons que la fonction y amp est deux fois contin ment d rivable Le lecteur cherchant des pr cisions propos des m thodes d velopp es dans cette section est invit consulter l ouvrage de Stoer et Bulirsch 95 par exemple 2 1 1 M thodes un point Les m thodes it ratives un point cherchent annuler la d riv e premi re utilisant les informations disponibles en un point Un processus it ratif de type Newton Raphson peut tre utilis afin d identifier un z ro de la d riv e de w amp Consid rons l approximation de Taylor limit e au premier ordre de cette d riv e autour d un point E 5 48706 6 0 2 10 Annulant la valeur de d riv e au point E qui deviendra l it r suivant on ob tient la formule d actualisation du probl me de recherche lin aire v 5 E ET 2 11 28 CHAPITRE 2 METHODES DE GLOBALISATION OPTIMISATION Si y est deux fois diff rentiable et si sa d riv e seconde y est continue au sens de Lipschitz dans un voisinage d une solution E on peut montrer que cette m thode pr sente un taux de convergence quadratique et que sa convergence est assur e vers E si le point de d part est suffisamment proche de E voir 80 par exemple Outre le fait qu il est difficile de s assurer que le point de d part est suffisamment proche de la solution amp
171. es l un de l autre et l algorithme converge lentement si le rayon de confiance est trop petit Mais d autre part l algorithme peut engendrer un grand nombre d it rations infructueuses si la r gion de confiance est trop vaste Ce sujet critique du point de vue de l efficacit de l algorithme a t relativement peu trait jusqu pr sent Diverses valeurs pour les param tres 7 2 ont t utilis es par diff rents auteurs e g Dennis et Mei 23 Gould ef al 45 mais la formule g n rale 7 1 est rarement mise en cause Hei 50 g n ralise 7 1 pour permettre une d pendance continue du rayon de confiance par rapport Byrd et al 12 sugg rent plusieurs subtilit s algorithmiques quand p 9 lt 0 i e quand le rayon 127 128 CHAPITRE 7 LA MISE JOUR DU RAYON CONFIANCE est trop grand ou quand l approximation locale est si mauvaise qu une mesure drastique doit tre prise voir la section 7 3 pour plus de d tails Dans ce chapitre nous introduisons une modification de 7 1 qui est d ap plication lorsque p est beaucoup plus grand que l unit et montrons que sur un sous ensemble des probl mes de la collection CUTEr voir Gould et al 47 cette modification apporte une am lioration aux performances de l algorithme Une g n ralisation de cette nouvelle strat gie de mise jour est galement d velopp e selon la m thode suivie par Hei 50 Les travaux expos s dans ce chapitr
172. es vecteurs r xl _ 3 41 29 0D 3 42 Le parall le avec la m thode de Newton pure et simple nous donne un processus it ratif 5920 3 43 S 9 est une approximation de l inverse de la matrice hessienne Bien entendu ce processus souffre des m mes d savantages que la m thode de Newton pure et simple Pour qu elle soit efficace il faut la coupler avec une tech nique de globalisation Avec une globalisation par recherche lin aire la direction de descente est tout naturellement s g 3 44 6Habituellement cet autre point est simplement l it r pr c dent x 1 si celui ci est diff rent de x9 48 3 APPROXIMATIONS LOCALES Dans ce cadre il s av re g n ralement plus avantageux de mettre a jour S k plut t que H et l quation s cante 3 40 devient donc r sy 3 45 Pour un certain cart r et un changement de gradient l quation s cante 3 40 resp 3 45 fournit n conditions qui n annihilent pas les n n 1 2 degr s de libert de la matrice sym trique H resp 59 Il existe donc une in finit de m thodes de type quasi Newton G n ralement l algorithme part d une estimation initiale 0 souvent la matrice identit d faut d autre chose et ef fectue une mise jour de celle ci au fur et mesure des it rations en lui ajoutant une correction La plus simple des mises jour ajoute une matrice
173. esful iterations et nous notons l ensemble de leurs indices par le sym bole 5 i e amp gt 0 gt 2 31 l oppos nous d finissons l ensemble des it rations infructueuses Le unsuc cessful iterations u k2 gt 0 p lt m 2 32 De la m me mani re nous posons y k gt 0 p gt m 2 33 l ensemble des it rations tr s r ussies very successful iterations Notons que 7 C S Cet algorithme de base laisse pour l instant quelques zones d ombre le choix de I approximation locale m de la norme la m thode employ e pour cal culer s ainsi que la signification exacte de la p riphrase r duisant suffisam ment l approximation locale et enfin la mise jour pratique du rayon de 2 3 POINT PROXIMAL 33 confiance On peut remarquer que l algorithme tel que d crit ci dessus com porte pas de crit re d arr t nous supposons donc qu une suite infinie d it r s x est g n r e 2 3 Globalisation par point proximal Nous devons galement mentionner qu il existe d autres techniques de glo balisation c t de la recherche lin aire et des r gions de confiance Parmi ces techniques celles dites du point proximal sont tr s proches dans leur esprit des r gions de confiance Les m thodes dites proximales sont d ja pr sentes dans la th se de Martinet 70 mais l algorithme du point proximal trouve ses pleins fon dements dans les travaux de Rock
174. est tout simplement V f x 0 1 6 Les points r pondant cette propri t sont appel s points stationnaires ou points critiques du premier ordre La condition n cessaire du second ordre se formule Vix semi d finie positive 1 7 Pour les probl mes contraints l tablissement d une condition n cessaire de mande de faire quelques hypoth ses sur la r gularit des contraintes Ces condi tions de r gularit sont g n ralement connues sous le nom de qualification des contraintes existe plusieurs hypoth ses de qualification des contraintes nous n aborderons que la plus simple et la plus connue voir par exemple Noce dal et Wright 80 la condition d ind pendance lin aire de qualification des lUn voisinage V x de x est un ensemble contenant un ouvert contenant x 20 CHAPITRE 1 POSITION DU PROBLEME contraintes Pour satisfaire cette condition il suffit que les gradients Wc x des contraintes actives au point x soient lin airement ind pendants Dans ce cas nous avons les c l bres conditions n cessaires du premier ordre de Karush Kuhn Tucker 59 VI Y Viet 0 1 8 JEEUI cj x O pourjc cj x O pour jEr Xj gt 0 pourjel 0 pourje EUI Les param tres sont les multiplicateurs de Lagrange du probl me r gle g n rale il n est pas possible de d terminer si un minimum local est le minimum global du probl me 1 3 Taux de convergence Les diff
175. et UH constitu es de vecteurs de base orthonorm s peuvent tre construites Ces ma trices respectivement de dimension n x dim W n x dim V et n x dimu 9 sont obtenues gr ce un algorithme 2 en utilisant la matrice 69 k de dimension n x 29 form e par les vecteurs g k _ G s a 9 22 Pour ce faire il convient d op rer une factorisation QR sur la matrice compos e par blocs W G de sorte que we o 000 R pl 9 23 pour lesquels i ZW i e 09 est une matrice carr e orthogonale de x n R une matrice triangulaire sup rieure de dimension n x 261 et P9 une matrice de permutation carr e de dimension dim W 9 z Cette expression tre d compos e par blocs G Lesen GO WG 9 24 o G et G sont des matrices de 29 colonnes Les l ments de la d compo sition QR s crivent quant eux i 0 0 a a ou 9 25 50 pk RIT es C d 9 26 p eru 9 27 176 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP La d composition QR compl te peut donc tre exprim e avec les l ments de d composition QR de G puisque GU GORE PA Notons que P est une matrice de permutation carr e de dimension z telle que la condition de d croissance diagonale 9 28 ent 2 9122 zem RO on soit satisfaite L entier positif L est d fini comme le plus petit des deux entiers positifs 29 et n Dans la suite de
176. eur proche de celle qui a servi l exp rience jumelle la m thode est dans ce cas dite robuste pour ce param tre soit vers une autre valeur et la m thode est alors dite non robuste 5 4 DIFFERENTIATION DE LA FONCTION OBJECTIF 91 5 4 Diff rentiation de la fonction objectif Comme nous l avons vu dans les chapitres pr c dents certaines m thodes d optimisation celles requ rant le moins d valuations de la fonction objectif exigent l valuation du gradient YF 5 18 de cette fonction par rapport aux variables de contr le ou de la matrice jacobienne H I x z La qualit de la convergence de ces m thodes d pend de la pr cision du calcul de ces d riv es Suivant les applications diff rentes m thodes de diff rentiation sont disponibles voir ce sujet 57 101 La plus simple mettre en ceuvre est la m thode des diff rences finies D autres proc d s de diff rentiation automatique existent n anmoins la diff rentiation directe et le mod le adjoint 86 5 19 5 41 M thode des diff rences finies C est la m thode la plus simple mettre en ceuvre puisqu il suffit de perturber chaque param tre x successivement positivement puis n gativement d une valeur d finir 6j de calculer dans chaque cas la valeur de la fonction objectif et d ap procher les d riv es souhait es par le quotient diff rentiel soit pour le gradient de la fonction objectif _ a
177. eurs homologues conditionnelles L approche utilisant une mise jour BFGS inconditionnelle de l approximation de la matrice hessienne s av re tre la plus performante aussi bien du point de vue de la robustesse que de la vitesse de convergence 11 3 Les it rations trop r ussies Le chapitre 7 tablit une nouvelle proposition de mise jour du rayon de la r gion confiance dans les algorithmes du m me nom Traditionnellement un rap port p fournit une mesure de la fid lit de l approximation locale par rapport la v ritable fonction objectif dans le voisinage de l it r courant Cette mesure est ensuite utilis e pour mettre jour le rayon de confiance d une it ration l autre Les r gles empiriques habituelles op rent une r duction du rayon de confiance apr s une it ration infructueuse et le maintiennent constant ou l accroissent apr s une it ration r ussie Notre travail tablit que la strat gie de mise jour du rayon de confiance est susceptible d avoir une forte influence sur les performances de l algorithme Ce sujet critique du point de vue de l efficacit de l algorithme avait t relati vement peu trait jusqu pr sent Dans l approche g n rale des r gions de confiance certaines it rations sont appel es les it ration tr s r ussies parce qu elles fournissent des diminutions im portantes de la fonction objectif L approche habituelle dans un tel cas est d largir la r gion de con
178. eurs propres de Vxf x9 En utilisant une tol rance 6 g n ralement la racine carr e de la pr cision machine nous obtenons une troncature de la d composition spectrale du Hessien Ver f x QI diag 4 097 3 34 qui est approch par H Q9 diag max 4 SU 097 3 35 Cette approximation du Hessien est d finie positive si 6 gt 0 et semi d finie posi tive si 0 gt 0 Cette technique peut cependant pr senter des probl mes num riques comme l illustrent Nocedal et Wright 80 par le probl me suivant Exemple 3 1 Consid rons V f x 1 3 2 7 et Vex f x diag 10 3 1 3 36 La norme de Frobenius de la matrice A se d finit comme Y Y CAE 3 30 j 1 La norme euclidienne de la matrice est gale la racine carr e de la plus grande des valeurs propres de la matrice 46 CHAPITRE 3 APPROXIMATIONS LOCALES qui n est clairement pas d finie positive et la direction de Newton 3 22 n est donc pas une direction de descente En utilisant 8 107 nous obtenons proximation du Hessien H diag 10 3 1078 3 37 qui est d finie positive et dont les courbures dans les directions propres 1 e ont t conserv es Avec une globalisation par recherche lin aire la direction de descente qui en r sulte est dq p V f x 1 3 2 71041773 2 108 2 x 108 Ce pas de progression est presque parall le et tr s grand Malgr
179. f fet impl mentation d un algorithme pour des probl mes d optimisation avec contraintes nous a amen utiliser des fonctions de m rite non diff rentiables et les propri t s correspondantes se sont donc av r es extr mement utiles Le propos et le ton de ce chapitre sont volontairement tr s g n raux nous permettant ainsi de laisser une certaine place la cr ativit dans l impl mentation concr te d un algorithme tout en pr servant des propri t s de convergence claires Le cadre est riche et son exploitation compl te pour la construction d algorithmes performants constitue un travail qui est loin d tre achev 80 CHAPITRE 4 CONVERGENCE DES REGIONS DE CONFIANCE Deuxi me partie Optimisation non contrainte 81 Chapitre 5 L identification des param tres d un modele dynamique Parmi les probl mes d optimisation sans contrainte certains occupent une place privil gi e de par leur forme particuli re et leur fr quence consulter par exemple l ouvrage de Schittkowski 90 Il s agit des probl mes d identification ou de calibration des param tres d un mod le Le pr sent chapitre voque la ques tion justifie son importance pose le cadre th orique et envisage une application pratique sur un mod le dynamique 5 1 Mod lisation Dans le langage courant un mod le d signe aussi bien un objet sur lequel il convient de conformer son comportement qu un abr g de toutes les qualit s
180. fiance En cons quence la convergence est atteinte en 94 it rations avec la fonction A De plus cette nouvelle strat gie de mise jour du rayon de confiance ne souffre pas de la m me d pendance critique par rapport au point de d part x que la r gle 7 17 7 5 2 Mise jour conditionnelle de la matrice hessienne Une autre approche largement utilis e pour viter les mises jour m diocres de l approximation de la matrice hessienne est tout simplement de n effectuer la mise jour que pour les it rations r ussies voir la discussion dans Byrd et al 12 Cette approche que nous nommerons mise jour conditionnelle est ais ment impl ment e Comme le montrent les r sultats de son application aux 70 probl mes tests utilis s pr c demment tableau 7 6 cette strat gie de mise jour conditionnelle est la fois robuste et efficace utilis e avec les fonctions R elle induit une diminution drastique du nombre d it rations par rapport la strat gie inconditionnelle correspondante De ce point de vue elle offre une alternative aux fonctions A Nous pouvons maintenant combiner les diff rentes strat gies de mise jour de l approximation de la matrice hessienne et du rayon de confiance Les r sultats d taill s de ces combinaisons utilisant l approche conditionnelle de la mise jour quasi Newton sont list s dans le tableau 7 6 et peuvent tre compar s aux r sultats des tableaux 7 4 et 7 5 Pour comparer
181. fiance La raison sous jacente cette augmentation est intuitive l approximation locale semble pr cise dans une grande r gion autour de l it r courant et l algorithme devrait d s lors tre autoris effectuer un pas plus grand 230 11 CONCLUSION ET PERSPECTIVES si n cessaire Le propre de notre travail est d introduire une nouvelle cat gorie d it rations Pensant que les it rations tr s r ussies galvaudent leur nom si la r duction obtenue pour la fonction objectif est bien trop importante nous introduisons le concept des it rations trop r ussies Dans ce cas le rayon de la r gion de confiance est maintenu quasi constant Bien entendu cette strat gie modifi e satisfait aux hy poth ses du chapitre 4 et les propri t s g n rales de convergence globale sont encore d application De mani re g n rale cette nouvelle technique est substantiellement plus per formante tant du point de vue de l efficacit que du point de vue de la robustesse Cette plus grande efficacit est clairement d montr e par les trac s des profils de performance sur un ensemble de test Cette strat gie est tr s intuitive et largement applicable est int ressant de noter que lorsque l algorithme est proche de la convergence la plupart des it rations sont tr s r ussies et le taux de convergence n est donc pas affect Notons galement que les exp riences num riques utilisent des approxima tions locales quadr
182. framework for constrained optimi zation global and local convergence Acta Mathematica Sinica English Series 24 5 771 788 2008 Jian J B Hu Q J Tang C M et Zheng H Y A sequential quadratically constrained quadratic programming method of feasible directions Applied Mathematics and Optimization 56 3 343 363 2007 Kabbadj S M thodes proximales entropiques Th se de doctorat Univer sit de Montpellier II 1994 Keller E L The general quadratic optimization problem Mathematical Programming 5 311 317 1973 Kleinermann J P dentification param trique et optimisation de mise forme par probl mes inverses Th se de doctorat en Sciences Appliqu es Universit de Li ge 2000 Kruk S et Wolkowicz 502 sequential quadratic constrained quadra programming Dans Y Yuan r dacteur Advances in Nonlinear Pro gramming pages 177 204 Kluwer Academic Publishers Dordrecht The Netherlands 1998 Kuhn H W et Tucker A W Nonlinear programming Dans J Neyman r dacteur Proceedings of the Second Berkeley Symposium on Mathematical Statistics and Probability pages 481 492 University of California Press Berkeley 1951 Lawson L M Hoffman E E et Spitz Y H Time series sampling and data assimilation in a simple marine ecosystem model Deap Sea Research 43 2 3 625 651 1996 Lawson L M Spitz Y H Hofmann E E et Long R B A data assimi lation te
183. g n ral d crit au chapitre 4 Il utilise des approximations quadratiques et prend en compte des contraintes de bornes Dans le cadre de ce travail un algorithme nomm Trust gt a t impl ment dans une routine FORTRAN Il s agit d un algorithme utilisant une globalisation par r gions de confiance et des approximations globales quadratiques Plusieurs versions sont d velopp es utilisant des approximations locales de type quasi Newton ainsi qu une version utilisant l approximation locale de Gauss Newton Ces diff rentes m thodes ont t utilis es avec succ s dans divers travaux d iden fication param trique 51 52 100 101 Trust a t con ue pour r soudre un probl me de la forme minimiser f x 6 1 S C XL lt x lt xy 6 2 dans laquelle f x est suppos e satisfaire aux hypoth ses 4 1 4 2 et 4 3 Les vec teurs et xy R sont des contraintes de bornes Bien qu absentes de la th orie d velopp e dans le chapitre pr c dent la possibilit d adjoindre des contraintes de bornes a t ajout e en raison de leur fr quence dans le domaine de l iden tification param trique pour lequel Trust a t d velopp au d part La routine impl ment e inclut galement des fonctionnalit s pour faciliter la mise chelle et l impression personnalis e Une application est ensuite pr sent e Il s agit d une identification param trique d un syst me dynamique simple le mod le de Lot
184. gative alors cette contrainte est candi date la d sactivation Parmi les contraintes candidates la d sactivation celle dont la valeur absolue est la plus grande est d sactiv e La d sactivation si multan e de plusieurs contraintes de bornes n est ici pas autoris e cette technique tr s simple permet de se pr munir d ventuels effets de zig zag qui ralentissent la convergence voir par exemple Panier 81 L espace W est donc modifi et le calcul des diff rentes directions de descente est 4 nouveau effectu Dans le cas o aucune contrainte n est candidate la d sactivation l algorithme stoppe et x est accept comme solution du probl me 9 4 LE MODE RAPIDE 195 L activation de nouvelles contraintes de bornes se fait en fin d it ration apr s la recherche lin aire Il suffit d identifier les composantes de x qui sont gales leur borne sup rieure ou inf rieure Pour viter de sortir du domaine admis sible l algorithme de recherche lin aire doit donc calculer au pr alable une borne maximale el qui est valu e prenant le correspondant au point la direc tion de recherche croise la premi re des contraintes de bornes qu elle rencontre la recherche lin aire sera voqu e plus en d tail dans la section 9 5 9 4 mode rapide L it ration de base d crite dans la section pr c dente ne permet pas d vi ter l effet Maratos d crit la section 8 3 pour les alg
185. gmenter l ordre de l approximation et de passer des approximations locales quadratiques de la forme 1 m a9 s f x 57 gl 2 sl Hs 3 17 Dans cette section nous consid rerons sauf indication contraire que ell VF x 3 18 L approximation est donc au moins du premier ordre 3 2 1 M thode de Newton L approximation locale la plus imm diate est obtenue par un d veloppement limit du second ordre de la fonction objectif EOT et la matrice H de approximation quadratique 3 17 est simplement le Hessien de la fonction objectif Elle donne naissance a la m thode de Newton Dans la m thode de Newton pure et simple le pas 59 est calcul chaque it ration pour minimiser 3 17 et on pose x 4 5 Notons que m ne poss de un minimum unique que si H 0 est d finie positive la minimisation chouant dans les autres cas Si H est d finie positive s est tel que Van x 5 0 Hs _ 0 3 20 et nous constatons que la direction s ainsi obtenue est une direction de descente car 809750 sT y F x s lt O 3 21 lorsque la matrice hessienne est d finie positive La m thode de Newton converge au second ordre ce qui la rend tr s attractive Elle pr sente cependant de p rilleux d savantages Tout d abord rien ne garantit que la matrice hessienne soit d finie positive pour toutes les it rations M me s il est possible de montrer sous de tr s l g res hy
186. hode des diff rences finies 5 4 2 Diff rentiation directe 5 4 3 M thode du mod le adjoint 5 4 4 Co t en ressources informatiques 5 4 5 Exemple l oscillateur harmonique 59 39 60 60 61 66 67 67 68 70 72 72 75 78 5 4 6 Probl mes connus 101 TABLE DES MATIERES 5 5 6 Trust 6 1 6 2 6 3 6 4 Concl sio oh ee ei ee ers Sous probl mes quadratiques 6 1 1 M thode de Mor etSorensen 6 1 2 Le hard case de Mor et Sorensen Aspects pratiques de l impl mentation 6 2 1 Mise jour du rayon de confiance 6 2 2 Calcul du rapport p onerat See uie a tue Gade acl G23 Mise chelle tege e 6 2 4 Contraintes de bornes 02 5 Crit re d amr ti Seo tbc Pere 6 2 6 Convergence de l algorithme Application mod le de Lotka Volterra 6 3 1 63 2 Calibragedumod l 6 3 3 Analyse statistique qu my bee SY ee ES Gorse nc er Rr a ee ea De at ete 7 La mise jour du rayon de confiance 7 1 7 2 7 3 7 4 7 5 7 6 Les it rations trop r us
187. ion locale reste born en tout point de la r gion de confiance i e il existe une constante Kymh gt 1 telle que Vm 9 0 lt x _1 Vxe 309 vk 4 8 4 2 2 2 Hypoth ses sur la r solution du probl me approch Il est maintenant n cessaire de sp cifier la deuxi me tape de l algorithme 2 1 les hypoth ses auxquelles doit r pondre le pas s il s agit de d finir ce qu est une r duction suffisante de l approximation locale Quelques concepts permettent de quantifier celle ci La strat gie la plus simple pour r duire l approximation locale m dans la r gion de confiance est d examiner le comportement de celle ci dans la direction 5 umh pour Upper bound on the Model s Hessian 62 CHAPITRE 4 CONVERGENCE DES REGIONS DE CONFIANCE de plus grande pente g 9 En cons quence nous d finissons l arc de Cauchy comme tant le segment partant dans cette direction de l it r x jusqu la fronti re de la r gion de confiance 9 voir figure 4 1 et le point de Cauchy comme le minimum de m sur cet arc Formellement l arc de Cauchy c l it ration k de l algorithme 2 1 est d fini par c9 xen rell rent 4 9 Notons que cet arc se r duit un point lorsque ell 0 Le point de Cauchy est quant a lui formellement d fini par x9 min m x 4 10 xech Ce point joue un r le central en th orie Cependant une minimisation exacte de sur l arc de Cauch
188. ions menant a optimum global connu et le nombre total d optimisations tent es 64 124 CHAPITRE 6 TRUST sup rieures a celles d une actualisation de type SR1 qui b n ficie pourtant de propri t s th oriques de convergence plus fortes voir tableau 6 2 Ce n est pas surprenant la mise jour BFGS est g n ralement consid r e dans la litt rature comme la meilleure mise a jour le co t de Trust GN n est pas un aussi d sastreux que celui que le tableau 6 5 laissait augurer ce qui justifie a posteriori l utilisation de plusieurs points de d part Malgr le nombre r duit d it rations cette version n est cependant jamais la meilleure aussit t que le co t num rique global est pris en compte Les deux versions inconditionnelles qui utilisent l information issue des it rations infructueuses sont plus efficaces que leurs homologues condition nelles L algorithme est plus efficace quand il apprend de ses erreurs Trust SR1 inconditionnelle est la m thode la plus robuste avec un taux de r ussite de l ordre de 86 pour un co t de l ordre de 168 02 Cm Cette ver sion est donc bien plus robuste que M1QN3 48 pour un co t l g rement sup rieur 151 76 C pour 1 La m thode la moins cofiteuse est Trust BFGS inconditionnelle avec un ordre de grandeur de 102 98 C pour une robustesse appr ciable de 7896 qui la place loin devant M1QN3 Le tableau 6 7 pr sente galement les r sultat
189. irection de descente 59 est non nulle une recherche lin aire est effectu e pour obtenir l it r suivant x k 1 base une nouvelle it ration qui servira de 194 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP 9 3 4 Calcul de la direction de descente en w 9 k u ou si dim U k 0 et si dim W k 0 nous calculons la direction de descente en W Dans le cas contraire l algorithme s ar te aucune direction de descente n ayant pu tre trouv e Si la directions 8 ou si dim k 0 est nulle si 5 est galement nulle k Pour calculer cette direction 5 il suffit d examiner attentivement les qua tions 9 83 et 9 85 Nous pouvons constater que le calcul de la direction de des cente en W de facon similaire au calcul de la direction s que des quatre produits n exige le calcul wg a Je Pu J 9 117 an mell dingy 9 Je Ze Ji 9 118 TG 9 119 GOT z 9 120 Ces diff rents calculs peuvent tre effectu s sans avoir construire explicitement la matrice O Si la direction de descente s est non nulle l algorithme value si cette direction de recherche n cessite une mise jour du caract re actif ou non des contraintes de bornes Si la contrainte de borne inf rieure resp sup rieure i est active ce qui implique que x9 xz resp x xu i et si la composante s est strictement positive resp strictement n
190. ise jour chaque it ration que celle ci soit r ussie ou non Une telle strat gie de mise jour trouve sa justification dans l espoir d am liorer la convergence en utilisant toute l information disponible aux points de test successifs Cependant cette approche d grade les performances de l al gorithme dans le cas de grands pas de progression qui causent une pollution de la matrice hessienne avec des mises jour de pi tre qualit qui sont difficiles compenser C est particuli rement vrai lorsque le rayon de confiance initial est bien trop grand pour le probl me envisag Gr ce leur nature conservative les fonctions A g n rent moins facilement de tels pas de progression trop grands et rendent d s lors moins probable la pollution de la matrice hessienne 7 5 1 La r gle empirique de Byrd al Des solutions empiriques ont t propos es pour emp cher ces mises jour quasi Newton impr cises dues de trop grands pas de progression Byrd et al 12 sugg rent de ne pas effectuer la mise jour pour les it rations o la variation de f est trop grande i e quand f x 5 _ gt 0 5 00 f x 741 Impl menter cette condition 7 17 avec les fonctions R n apporte aucune am lio ration dans le probl me de Rosenbrock la d croissance de la fonction objectif la premi re it ration est tellement importante que 7 17 n est jamais activ e Cette r gle empirique est tr s sensible la
191. ision par Murray et Overton 76 Toutefois ces auteurs envisagent la mini misation de fonctions du type 9 148 avec wo 0 et des fonctions g n rales Wi E contin ment diff rentiables tant donn le caract re polynomial des fonc tions y et la pr sence Wo une version simplifi e plus efficace et plus pr cise encore a t sp cialement d velopp e dans le cadre de ce travail 9 5 1 Intervalle de confiance Nous avons vu dans la section 2 1 que les m thodes les plus efficaces de mi nimisation unidimensionnelle font appel un intervalle de confiance 6 64 dans lequel se trouve le minimum que nous cherchons Dans le cas qui nous occupe l intervalle initial prend videmment comme borne de gauche 6 0 La borne de droite quant elle est valu e en d terminant la premi re contrainte de borne crois e par la trajectoire parabolique 9 146 Nous d finissons l ensemble des valeurs de 5 qui r alisent ces intersections JE 9 149 U amp Elle amp d bali 9 150 dont les l ments sont facilement identifi s par r solution des quations du second ordre correspondantes La borne de droite initiale 64 est le plus petit l ment positif de cet ensemble E 9 151 5 gt 0 Ceci fait en sorte que quelle que soit la valeur obtenue la fin de la minimisation unidimensionnelle l it r suivant soit bien admissible 9 5 2 Recherche des points anguleux La premi
192. ka Volterra Les perfor 103 104 CHAPITRE 6 TRUST mances de diff rentes versions de Trust sont analys es et compar es a la routine M1QN3 de Gilbert et Lemar chal 40 Le mode d emploi complet est pr sent en annexe A 6 1 Sous probl mes quadratiques L algorithme impl ment fait usage d approximations locales quadratiques voir section 3 2 i e de la forme m 0 f x 57g SI 6 3 49 Vf 6 4 Nous supposons que l utilisateur peut fournir les valeurs de la fonction objectif et de son gradient en un point donn et ventuellement de la matrice jacobienne si c est un probl me de moindres carr s La norme utilis e pour d finir la r gion de confiance est la norme euclidienne et n est pas fonction de l it ration La r gion al x ER 00 lt AQ 6 5 est donc une hyper sph re de rayon A Nous utiliserons plusieurs expressions diff rentes pour la mise a jour du Hes sien de l approximation locale qui constitueront autant de versions de l algo rithme Trust SR1 conditionnelle La mise jour de la matrice hessienne 9 se fait par une technique de type quasi Newton La mise jour sym trique de rang un 3 46 n est cependant effectu e que si l it ration est r ussie Dans ce cas le point 1 utilis dans 3 41 pour construire l approximation qua dratique est simplement l it r pr c dent x U Les d finitions de r et y respectivement 3 41 et
193. la courbure des deux 9 4 LE MODE RAPIDE 203 0 8 W 3 0 7 NS ay 0 6 0 1 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 FIG 9 4 Comportement des premi res it rations de l algorithme dans le plan 0 La figure du dessus pr sente le comportement sans mode rapide et celle du dessous le comportement avec d clenchement du mode rapide voir exemple 9 7 Sur la premi re les recherches unidimensionnelles entre les it r s sont lin aires Sur la seconde ces m mes recherches prennent la forme d une trajectoire parabolique en cas d activation du mode rapide 204 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP ar tes puisque cette op ration est impossible En x il n y a pas d ar te active z 0 0 et le mode rapide ne peut donc tre activ C est partir de l it r x 2 que les comportements diff rent En effet en ce point le nombre d ar tes actives est gal la dimension de l espace V 0 er le mode rapide peut d s lors tre activ La recherche unidimensionnelle suit alors une trajectoire parabolique et non plus lin aire Pour les deux it rations suivantes l ensemble des ar tes actives Z reste inchang Apr s cing it rations les direc tions de recherche U et en V sont nulles en r alit leur norme euclidienne est inf rieure 1075 L it r x9 est donc l optimum dans le plan x 1 En l absence de mode rapide ce r
194. la direction correspondant ce sous gradient k k k d Why _y ay ch A 9 85 Exemple 9 5 Calculons la direction de descente en W k pour le probl me 9 38 Vit r x 0 0 1 Comme pr c demment la contrainte de borne inf rieure sur la premi re composante est active Pour obtenir la direction de descente en w 9 il suffit de construire 1 2 aD 1 0 0 al 1 2 9 86 et la matrice b 0 0 Gy 100 0 100 0 0 0 9 87 2 4 La norme minimiser d un sous gradient quelconque s crit donc 0 1 0 0 t 0 5 0 0 t 9 88 sous les contraintes lt t lt 1 Le minimum est notamment obtenu pour 109 00 7 9 89 et la direction de descente correspondante est 1 1 2 sD _ 0 1 2 0 9 0 9 90 0 0 9 3 Description d une it ration de base L algorithme se base sur une approche relativement simple Pour un it r x les directions de descente en u V et w sont calcul es et explor es si celles ci s av rent non nulles Nous avons d j signal dans la section 9 1 1 que les contraintes de bornes taient prises en compte gr ce une strat gie de contraintes actives L initialisa de l ensemble des contraintes actives est simplement effectu e en inspectant l estimation de d part xU Si une des composantes de x 0 correspond une de ses bornes xz ou xy la contrainte est activ e ce qui signifie que cette composante est bloqu e jusqu nouvel ordre 188 CHAP
195. la forme dx _ X a XY di aj a2 dY axY ayy dt 6 3 APPLICATION MOD LE DE LOTKA VOLTERRA 115 TAB 6 3 Param tres de r f rence pour la g n ration des mesures par exp rience ju melle et estimation initiale des param tres du mod le qui servent de point de d part a l optimisation Rappelons que toutes les simulations sont effectu es avec At 0 05 T 100 Nmax 2001 et Nobs 40 Param tre Valeur initiale Valeur de r f rence X 0 1 05 1 Y 0 1 95 1 ai 0 5 0 4 0 3 0 2 0 301 0 2 aa 0 05 0 1 Dans ce mod le simple la croissance de la proie X est proportionnelle sa masse la pr dation est proportionnelle la masse de la proie et celle du pr dateur Y cette derni re d croissant par pr dation d gradation mort naturelle propor tionnellement son importance Les deux conditions initiales X 0 et Y 0 et les coefficients de proportionnalit a1 a2 et sont les param tres du mod le et forment le vecteur des variables de contr le x Le sch ma num rique adopt est tr s simple il s agit d une m thode d Euler avec valuation semi implicite des termes de croissance et de pr dation Xi X ME E 4 avec les conditions initiales X 0 et Yo Y 0 La r solution num rique du syst me est effectu e avec un pas de temps Af sur un intervalle de temps de longueur soit une discr tisation sur Nmax points
196. lcul du pas de progression Ceci signifie que le taux de convergence de l algorithme 2 1 est compl tement d termin par la m thode utilis e pour calculer le pas de progression 59 lorsque la contrainte de confinement dans la r gion de confiance est inactive i e lorsque 9 lk lt 9 La preuve de ce r sultat tr s important peut tre trouv e dans 20 4 3 2 Approximations locales non convexes Nous souhaitons maintenant explorer les possibilit s de convergence de la suite d it r s vers un point critique du second ordre lorsque le point limite ne r pond pas la condition de d finie positivit de V f Naturellement la matrice hessienne au point minimum doit tout de m me tre semi d finie positive In tuitivement la convergence ne s op re que si l algorithme est capable de d tecter et d viter un maximum ou un point de selle Une mani re d op rer est de tirer avantage des directions de courbure n gative quand elles existent 1011 existe deux cas de points critiques du second ordre dont la matrice hessienne n est que semi d finie positive lorsque celui ci est un minimum non isol ou un point d inflexion multidi mensionnel 4 3 CONVERGENCE GLOBALE DU SECOND ORDRE 69 Nous supposerons que le Hessien de l approximation locale au point courant H9 Yum x 4 26 a au moins une valeur propre strictement n gative tl Nous pouvons en cons quence d terminer une direction 9 telle que uT g lt Q
197. mable i e une mesure de l tat de tension interne d un solide en anglais stress A ne pas confondre avec les contraintes en optimisation en anglais constraints 148 CHAPITRE 7 LA MISE JOUR DU RAYON CONFIANCE jumelle est utilis e une solution de r f rence est g n r e avec le mod le num rique lui m me Une simulation num rique donne la courbe force d placement et des points pseudo exp rimentaux sont g n r s avec xref gret href lee 7 19 Ces param tres de r f rences sont ensuite perturb s pour g n rer un point de d part 0 L algorithme est utilis pour tenter de recouvrer la courbe de r f rence Les valeurs num riques sont list es dans le tableau 7 7 La fonction objectif me sure l cart entre les deux courbes au sens des moindres carr s 1 2 f x uts eL 7 20 ou u est le vecteur d placement des noeuds La matrice Jacobienne et le gradient sont calcul s grace une technique de diff rentiation semi analytique sp cifique voir Michaleris et al 72 TAB 7 7 Valeurs num riques en MPa pour le point de d part x et les param tres de r f rence i e le minimum global Les deux derni res colonnes donnent les valeurs et les variations caract ristiques utilis es pour la mise 4 chelle voir section 6 2 3 Noter que 700 MPa et n est pas une variable optimiser Param tre x x x bx E 220 000 200 000 200 000 60 000 h 270 300 300 90 Notr
198. me 3Tout code de calcul peut se d composer en une suite d op rateurs unaires et binaires 5 4 DIFFERENTIATION DE LA FONCTION OBJECTIF 93 de deux termes Cette forme peut aussi tre utilis e pour exploiter les possibili t s de surcharge des op rateurs FORTRAN et ainsi effectuer les d rivations en parall le du calcul Cette m thode permet la g n ration d un code qui calcule la d riv e de n im porte quelle quantit par rapport chaque variable ind pendante x Ceci nous permet de calculer les valeurs qui sont exig es par la plupart des m thodes d op timisation les composantes du gradient de la fonction objectif Vf 9 au point x La valeur de la matrice jacobienne J x est galement disponible sans co t de calcul suppl mentaire On remarque que le surcroit de calcul engendr par cette technique est de l ordre de 2 fois le co t du mod le direct En effet chaque op ration du code direct 5 24 entra ne l apparition de op rations 5 25 Si l op ration de base est unaire le nombre d op ration ainsi engendr est et le double si l op rateur est binaire car il faut y ajouter sommations La majorit des op rations tant binaires le co t de calcul est donc de l ordre de la m thode centr e des diff rences finies et deux fois sup rieur celui des m thodes d centr es mais pour un gain cons quent en pr cision 5 4 5 M thode du mod le adjoint La m thode du mod
199. ment de mani re ce qu ils soient reproductibles La distribution de la dimension n du probl me tait r partie entre 2 et 22 tandis que le nombre de contraintes m tait distribu e entre let 21 i e n 241 9 158 m 141 9 159 ou 1 et 1 sont des nombre entiers al atoires uniform ment r partis entre 0 et 20 Les tests ci apr s ne portent que sur des probl mes de petite taille car l al gorithme UVQCQP n a pas t con u pour prendre en charge des probl mes de grande taille pour une utilisation plus grande chelle il conviendrait probable ment d effectuer quelques adaptations pour r duire m moire utilis par les diff rentes matrices et de la sorte le nombre d op rations Les param tres du probl me 9 3 ont galement t g n r s al atoirement pour prendre des valeurs situ es entre 600 et 600 i e 600 lt a lt 600 9 160 600 lt ailj lt 600 9 161 600 lt lt 600 9 162 pour tout i 0 7 et pour tout j k 1 n La matrice hessienne A des fonctions est videmment construite de mani re ce que la sym trie Ai Adi 9 163 soit respect e Cette g n ration al atoire garantit toutefois pas la semi d finie positivit de la matrice Pour pallier ce probl me une diagonalisation de 208 CHAPITRE 9 DESCRIPTION DE ALGORITHME UVQCQP 100 T T T T 926 70r 60r 50r 30 20
200. ment effi caces y ont t d velopp es s inspirant de probl mes types treillis portiques forme topologie etc Cette famille de m thodes est connue dans le domaine sous le nom de m thodes d approximations convexes Elles sont pour la plupart dis ponibles dans le logiciel BOSS Quattro 87 3 3 1 Approximation conique L approximation conique propos e par Davidon 22 s inspire de l approxima tion quadratique 3 17 en utilisant une mise chelle colin aire en lieu et place de s i e 5 ESCH SS avec a e BnL approximation conique prend la forme T g k 1 T A k m x 5 f x _88 4 _ P 3 83 1 sTa 2 1 7 9 2 o g ER et AU R est une matrice sym trique Le gradient de cette approxi mation est EPT no 89 56 CHAPITRE 3 APPROXIMATIONS LOCALES dont on peut constater en prenant s 0 la coincidence avec le gradient de la fonction objectif au point x Le gradient s annule si le dernier facteur de 3 84 prend la valeur nulle i e Notons que la similitude entre les approximations coniques et quadratiques permet d utiliser ici certains outils d analyse des m thodes de type quasi Newton voir 22 30 pour plus de d tails 3 3 2 Asymptotes mobiles La m thode des asymptotes mobiles de Svanberg 96 en g n ralisant une m thode propos e par Fleury et Braibant 36 s est d velopp e dans le domaine de l optimisation des structures car l
201. mp f x bei oder E 2 o amp 5 20 o les e sont les vecteurs de la base canonique de R Cette m thode centr e n cessite 2N valuations de la fonction objectif pour le calcul du gradient en plus de l valuation de la valeur de la fonction augmentant d autant le temps de calcul d une it ration De la m me mani re k k k j x cj x 6i ei c x 82 5 21 Ox 26 j H permet d approcher la matrice jacobienne En toute rigueur l valuation de ci n cessite 2N N simulations du mod le optimiser Cependant les ordres de Nous supposons que les fonctions c x ne peuvent tre calcul es ind pendamment l une de l autre et que l valuation de l une d elle n cessite donc une simulation du mod le complet 92 CHAPITRE 5 IDENTIFICATION PARAMETRIQUE grandeurs des fonctions c j x tant g n ralement comparables les 6 j peuvent tre fix s une valeur ind pendante de ce qui n entraine plus que 2N valuations Il existe galement deux formulations similaires deux fois moins c uteuses en temps de calcul mais moins pr cises appel es respectivement diff rences finies avant et arriere afa f x Be Sg 08 5 22 9 f x 8 e 200 A Sie o 8 5 23 Dans les cas qui nous occupent quelle que soit la formulation employ e la m thode des diff rences finies s av re tr s co teuse De plu
202. n aire contraint 8 1 peut donc tre transform en un probl me non contraint bien que non diff rentiable Le th or me suivant nous permet de mesurer l importance de la condition 8 16 Th or me 8 3 Soient f x et cj x des fonctions deux fois contin ment d ri vables Supposons que x est un point critique du premier ordre du probl me 8 1 et que y sont les multiplicateurs de Lagrange correspondants Si o lt lly lle 8 17 alors x n est pas un minimum local de V x Nous constatons donc que pour des valeurs de plus grande que y la mi nimimisation de la fonction de m rite nous am ne tr s s rement minimiser le probl me non lin aire 8 1 qui peut donc tre remplac par minimiser Y x o 8 18 Toutefois le probl me de minimisation non contrainte de la fonction de p na 8 15 est plus difficile r soudre num riquement lorsque o croit En effet celui ci devient mal conditionn pour de grandes valeurs de voir figure 8 1 L id al est donc d adopter une valeur de l g rement sup rieure la borne y dont la valeur est malheureusement inconnue Certains algorithmes pr voient une adaptation du param tre o en cours de calcul afin de coller au mieux cette condi tion Exemple 8 1 Consid rons le probl me propos par Powell 84 minimiser f x 2 x x3 1 x1 S C c x 55 1 0 8 19 dont la solution est 1 0 avec vi 3 2 comme multiplicateur
203. n gradient Le symbole signifie que le nombre d it rations d passe 10 000 Une toile en exposant signifie que la convergence se fait vers un autre minimum local avec une valeur plus grande de la fonction objectif Nom R 726 3PK AKIVA ALLINITU BARD BEALE BIGGS6 BOX3 BRKMCC BROWNBS BROWNDEN CLIFF CUBE DECONVU DENSCHNA DENSCHNB DENSCHNC DENSCHND DENSCHNE DENSCHNF DJTL ENGVAL2 EXPFIT GROWTHLS GULF HAIRY HATFLDD HATFLDE HEART6LS HEARTSLS HELIX HIELOW HIMMELBB HIMMELBF suite la page suivante 7 5 INTERACTION AVEC LA MISE JOUR QUASI NEWTON 139 TAB 7 4 suite du tableau suite de la page pr c dente Nom HIMMEL 9 7 HIMMELBH 7 7 HUMPS 138 178 108 307 266 HYDC20LS 166 160 131 165 158 136 JENSMP 31 33 29 KOWOSB 2 31 22 LOGHAIRY 1267 912 MARATOSB 6 8 6 MEXHAT 17 19 17 MEYER3 24 40 32 OSBORNEA OSBORNEB 81 57 6 78 61 7 7 7 7 7 7 PALMERID 9 9 8 8 9 9 PALMER2C 7 7 7 7 7 7 PALMER3C 7 7 7 7 7 7 PALMER4C 7 7 7 7 7 7 PALMERSC 7 7 7 7 7 7 PALMER6C 9 Dls 8 9 oi PALMER7C 6 6 5 5 6 6 PALMER8C 7 7 7 7 7 7 PFITILS 651 516 255 209 PFIT2LS 155 48 40 PFIT3LS 408 502 406 PFIT4LS 622 755 590 ROSENBR 59 49 5308 12 12 SINEVAL 159 129 SISSER 9 9 SNAIL 191 173 STRATEC 75 58 TOINTGOR 49 41 TOINTPSP 49 3
204. n param trique 61 66 93 94 99 Les r sultats obtenus avec M1QNS sont pr sent s sur la figure 6 3 On voit que le minimum global est atteint apr s 79 it rations Toutefois les recherches 118 CHAPITRE 6 TRUST lin aires portent le nombre d valuations de la fonction objectif et de son gradient 88 auxquelles il convient d ajouter une simulation initiale du mod le Puisque seul le gradient est n cessaire l utilisation de cette m thode nous adoptons le mod le adjoint comme m thode de diff rentiation Le temps de calcul total de cette routine d optimisation est donc le suivant Cuians 89 Cm Ca 241 19 Cm au vu des rapports du tableau 6 4 Notons que le crit re d arr t utilis est identique celui impl ment par nos soins la valeur utilis e tant 1076 Les diff rentes variantes de l algorithme par r gions de confiance que nous avons d velopp es ont t appliqu es ce probl me type Les r sultats obtenus sont port s sur la figure 6 4 On constate que ces algorithmes se comportent rela tivement bien chacune des versions atteignant le minimum global en un nombre raisonnable d it rations On remarque galement que les m thodes employant l actualisation BFGS sont plus rapides que les m thodes SRI Si les premi res ne pr sentent pas l as surance de la convergence vers un point critique du second ordre elles sont n an moins plus rapides Ceci est certainement d a
205. ne sont plus satisfaites si 2 00 0 i e l ensemble z s av re tre vide 200 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP ou si 2 A i e l espace 419 est de dimension ou encore si dim 0 gt 20 i e une d pendance lin aire appara t entre les ar tes actives Dans tous ces cas le mode rapide est d sactiv et l algorithme reprend son it ra tion la premi re tape Le mode rapide est aussi d sactiv si son effet est nul c est dire si la correction du second ordre d 0 D autre part il peut arriver que la direction se ne soit pas une direction de descente En effet en raison des modifications effectu es par le mode rapide dans la mani re dont elle est calcul e rien ne peut garantir que celle ci soit bel et bien une direction de descente Dans ce cas le mode rapide est d sactiv et l it ration relanc e Pour viter que l algorithme ne s ent te maintenir une ar te active lorsqu une direction de descente importante se pr sente dans l espace 9 un gardien heu ristique a t impl ment Si is gt Bel et qu aucune d sactivation d ar te r guli re n est pr vue la direction de descente en V 0 est consid r e comme dominante le mode rapide est stopp et une recherche lin aire est effectu e dans la direction peut galement arriver que la direction s k k nulles sans pour autant que le point x soit un v ritable minimum da
206. nnables et des plages de variation pour les variables de contr le d amplitudes com parables En terme de r gions de confiance ceci se traduit fort simplement Une r gion de confiance sph rique dans l espace des correspond dans l espace des l utilisation d une norme matricielle 4 43 o M diag 4 46 5 Kin 4 5 PROBLEMES NON DIFFERENTIABLES 75 2tk 3 E Fic 4 5 Normes uniform ment quivalentes la norme euclidienne illustration avec la norme 4 47 pour diff rentes valeurs de k et pour A 1 i e une r gion de confiance ellipsoidale d autant plus tir e dans une direction que la variation caract ristique de la variable correspondante est faible La possibilit de changer de norme d une it ration l autre pour d finir la r gion de confiance 2 doit cependant tre utilis e prudemment C est l hypo th se 4 9 qui assure cette prudence elle d finit un rayon maximal et un rayon minimal en norme euclidienne pour la fronti re de la r gion de confiance ceux ci sont proportionnels au rayon de confiance l it ration courante La figure 4 5 illustre le concept pour la norme k 1 n lal prg Z bl mx b 4 47 qui est uniform ment quivalente la norme euclidienne avec Kj 3 4 5 Probl mes non diff rentiables Dans cette section nous envisageons le cas la fonction objectif f x est co
207. ns le chapitre 2 les grandes familles de m thodes de globalisation et dans le chapitre 3 diff rentes possibilit s d approximations locales pour un probl me d optimisation Le chapitre 4 pr sente le cadre th orique n cessaire la bonne compr hension des diff rents concepts li s a la convergence des m thodes par r gions de confiance Sur cette base nous nous sommes attel s a utiliser ce formalisme pour explorer en profondeur l utilisation d approximations locales quadratiques dans des bl mes contraints et non contraints Les choix que nous avons op r s ne sont bien entendu pas les seuls possibles d autres approximations locales combin es avec d autres formes de r gions de confiance m neront encore probablement de nouveaux algorithmes dont les pro pri t s seront clair es par le formalisme th orique du chapitre 4 Les m thodes d optimisation convexe d velopp es dans le domaine de l op timisation des structures e g Fleury et Brabant 36 Svanberg 96 97 Bruy neel 9 pourraient par exemple tre utilement exprim es sous le formalisme des r gions de confiance En effet les move limits g n ralement utilis es dans ce cadre ne sont finalement rien d autre qu une r gion de confiance Outre le b n fice th orique d assurer une convergence globale ce formalisme ouvre la porte l utilisation d approximations locales non convexes Mais les apports majeurs de ce travail c
208. ns le sous espace W 0 Avant de d sactiver une contrainte de borne I algorithme d sactive donc le mode rapide et reprend l it ration au d part pour v rifier qu il ne s agit pas l d un mauvais cas du mode rapide Enfin pour viter une interaction malheureuse entre la strat gie de contraintes actives pour les contraintes de bornes et le mode rapide ce dernier est d sactiv aussit t qu une nouvelle contrainte de borne est activ e et que la direction s soient 9 4 4 Activation sp ciale du mode rapide Quelques exp riences num riques ont montr que des ph nom nes semblables au zigzaging rencontr en optimisation contrainte pouvaient appara tre Ceux ci ralentissent consid rablement les performances de l algorithme En effet celui ci oscille d une ar te l autre parce que la direction s est non nulle sur chacune de ces ar tes alors que l optimum r el se situe leur intersection C est pour pallier ce probl me qu une activation sp ciale du mode rapide a t introduite L activation sp ciale a lieu si z Hl 0 et si une ar te est activ e suite une recherche unidimensionnelle Dans ce cas le mode rapide est imm diatement activ et cette ar te ne pourra tre d sactiv e au cours de cette it ration De la m me mani re on parle d une r activation sp ciale lorsqu une ar te inactive Aucune d sactivation d ar te r guli re n est pr vue si ja d fini par 9 145
209. nt P L Adaptive cubic overestimation methods for unconstrained optimization Part II worst case function evaluation complexity Mathematical Programming A to appear 15 Charles J Habraken A M et Lecomte J Modelling of elasto visco plastic behaviour of steels at high temperatures Dans J Hu tink et F P T Baaijens r dacteurs NUMIFORM 98 Simulation of Materials Proces sing Theory Methods and Applications pages 277 282 A A Balkema Enschede The Netherlands 22 25 June 1998 16 Chen G et Teboulle M Convergence analysis of proximal like minimi zation algorithm usint Bregman functions SIAM Journal on Optimization 3 3 538 543 1993 17 Cohen G Auxiliary problem principle and decomposition of optimization problems Journal of Optimization Theory Applications 32 3 277 305 1980 18 Cohen G Auxiliary problem principle extended to variational inequalities Journal of Optimization Theory Applications 59 2 325 334 1988 19 Conn A R Gould N I M et Toint P L Convergence of quasi Newton matrices generated by the symmetric rank one update Mathematical Pro gramming 50 2 177 195 1991 20 Conn A R Gould I M et Toint P L Trust Region Methods MPS SIAM Series on Optimization SIAM Philadelphia USA 2000 21 Davidon W C Variable metric method for minimization U S Atomic Energy Commission Research and Developement Report ANL 5990 Ar gonne National Labo
210. nt confirm notre intuition 9 3 DESCRIPTION D UNE ITERATION DE BASE 189 Exemple 9 6 Reprenons le probl me 9 38 l it r x 0 0 1 la contrainte de borne inf rieure sur la premi re composante est consid r e comme active Comme nous l avons vu aux exemples 9 3 9 4 et 9 5 les trois directions de des centes sont 0 0 1 2 sO 1 4 s 0 et s 0 9 91 0 0 0 La direction de descente V tant nulle une recherche lin aire est effectu e 0 MS Se dans la direction s Sila direction de descente U 0 avait galement t nulle 0 Au nous aurait du signe de la premi re composante de la direction 8 amen d sactiver la contrainte de borne 0 om 0 EN La recherche lin aire effectu e dans la direction d aboutit l it r 0 x 1 4 9 92 1 L ensemble 20 est vide puisque les deux fonctions et ont une valeur posi tive en xU La fonction approch e est d s lors eU x 1 x gt An das 2x3 ae 9 93 Puisque l espace 4 est de dimension nulle la direction correspondante est nulle et le calcul de la direction de descente en u donne 0 sD T o 9 94 5 4 La recherche lin aire dans cette direction aboutit l it r 0 x2 1 4 9 95 V15 4 qui est situ sur une seule des deux ar tes puisque 1 xP 0 et gt 2 lt 0 Les it rations suivantes se fe
211. nte 6 10 est nul Notons que ceci ne peut se produire que dans le cas o q s est convexe c est dire que le Hessien est semi d fini positif Nous voyons donc que le comportement sera diff rent suivant que l approximation locale est convexe ou non Dans ce dernier cas la solution est n cessairement sur la fronti re de la r gion de confiance celle ci est active et uy est positif ou ventuellement nul Par contre dans le cas o q s est convexe la solution peut aussi bien se situer l int rieur de la r gion de confiance que sur sa fronti re La solution sy peut tre caract ris e plus finement par le th or me suivant Th or me 6 1 Le vecteur sy est un minimum global du sous probl me 6 9 sou mis la contrainte 6 10 si et seulement si sy lt A et s il existe un multiplica teur de Lagrange scalaire u tel que H uml sM g 6 11 0 6 12 et H uml est sym trique semi d finie positive La preuve de ce th or me peut tre trouv e dans 74 80 20 Partant de ce th o r me Mor et Sorensen 74 ont d velopp un algorithme qui est r sum ci apr s Ces m mes auteurs l ont galement impl ment et mis disposition dans la rou tine GQT qui est utilis e dans ce travail 6 1 1 M thode de Mor et Sorensen Nocedal et Wright 80 d crivent sommairement I algorithme de la fa on sui vante Si la matrice est sym trique d finie positive et si le minimum non
212. ntes m thodes abord es dans ce travail La fonction objectif tablir mesure l cart entre le mod le num rique et les relev s d exp rience tandis que les variables optimiser sont les param tres calibrer L augmentation de la complexit des mod les math matiques n est toutefois pas sans cons quence sur l optimisation op rer pour l identification des para m tres car une plus grande complexit se traduit g n ralement par un temps de calcul plus important et une utilisation intensive des ressources informatiques Or les m thodes d optimisation sont it ratives et le nombre de simulations n cessaires au calibrage peut s av rer relativement important C est pourquoi tout au long de ce travail nous nous sommes attel s r duire le nombre d it rations n cessaires Il convenait donc d utiliser les meilleures m thodes d optimisation disponibles et celles ci font invariablement appel aux d riv es de la fonction objectif par rap port aux param tres calibrer Celles ci peuvent tre obtenues par le biais de diff rentes m thodes les diff rences finies la diff rentiation directe ou le mod le adjoint Chaque m thode a ses avantages et inconv nients qui sont synth tis s dans le tableau 5 1 11 2 Trust un algorithme fiable Dans le cadre de ce travail nous avons d velopp une routine FORTRAN nom m e Trust Celle ci est pr sent e et test e aux chapitre 6 et 7 s agit d un algo rithme utilisant
213. ntinue mais pas n cessairement diff rentiable en tout point de son domaine de d finition Le tableau est bross rapidement et ne pr sente que le strict n cessaire le lecteur int ress est invit se reporter l ouvrage de Conn Gould et Toint 20 dans lequel il trouvera de plus amples d tails 76 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE Pour un probleme non diff rentiable et non contraint nous avons la condition n cessaire optimalit suivante pour x 0 Of x 4 48 pour autant que f x soit localement continue au sens de Lipschitz Un point qui satisfait 4 48 est un point critique du premier ordre de f x Pour rappel quelques notations concernant les probl mes non diff rentiables ont t intro duites la section 3 1 Un cas particulier important est celui des fonctions non diff rentiables com pos es de la forme f x o x h t 6 x 4 50 o D C R R pour tout i 0 m sont des fonctions convexes contin ment d rivables et h C C R R une fonction convexe et continue au sens de Lipschitz Dans ce cas le sous diff rentiel se calcule ais ment vent Y yx y E 4 51 1 et la condition n cessaire du premier ordre 4 48 s crit Vo D yi Vei 0 4 52 pour x D et y oh i x 65 x De mani re assez surprenante voir 20 le sch ma d crit par l algorithme 2 1
214. nvexe Sans cette limitation point besoin de convexifier les contraintes au niveau de SQCQP et ceci constituerait un avantage ind niable dans la prise en compte des contraintes d galit Or la clef de vo te de la m thode savoir la d composition 4147 a initialement t d velopp pour des probl mes convexes Avant m me de pouvoir modifier 232 11 CONCLUSION ET PERSPECTIVES l algorithme il faudrait tendre la base th orique de la th orie sous jacente Cinquieme partie Annexes 233 Routines FORTRAN mode d emploi Les sous routines d optimisation proprement dites ont t impl ment es dans des modules FORTRAN9O Les routines d optimisation se nomment trust SRI c pour Trust SR1 conditionnelle trust_BFGS_c pour Trust BFGS conditionnelle trust SRI i pour Trust SR1 inconditionnelle trust BFGS i pour Trust BFGS inconditionnelle et trust GN pour Trust GN Pour les quatre premi res routines les s quences d appel sont identiques call trust_SRl_c simul n x f g delta deltamax epsg impres amp amp 10 mode succes niter lbnd freex valcar varcar hes et pour la derni re call trust_GN simulGN n x m c jacob delta deltamax epsg amp amp impres io mode succes niter lbnd ubnd freex valcar amp amp varcar hesGN A 1 Le simulateur Le premier argument de chaque routine est un simulate
215. ocales de c et c par des traits discontinus Cette fonction est repr sent e sur la figure 10 5 le pas de progression engen dr par cette repr sentation locale ram ne sans difficult l algorithme vers la contrainte d galit La figure 10 6 montre l it ration suivante 10 3 Performances sur un petit ensemble de CUTEr Pour valuer les potentialit s d un algorithme construit autour de la brique l mentaire UVQCQP nous avons s lectionn quelques probl mes de petite taille de l ensemble de probl mes de test CUTEr voir Bongartz et al 5 et Gould et al 47 Les trente six probl mes s lectionn s voir tableau 10 1 sont tous ceux r pondant aux crit res suivants il sont non lin aires ont une dimension n lt 30 un nombre de contraintes 1 lt 30 et les d riv es premi res et secondes sont disponibles Le nombre d it rations et la valeur choisie pour chaque probl me sont pr sent s dans le tableau 10 1 Les r sultats de trois autres algorithmes bien connus KNITRO LOQO et IPOPT sont des m thodes de type point int rieur sont ga lement port s dans ce tableau ceux ci proviennent des travaux de W chter et Bie Pour l algorithme SQCQP le nombre d it rations correspond au nombre d valuation de la fonction objectif et des contraintes 10 3 PERFORMANCES SUR UN PETIT ENSEMBLE DE CUTER 221 Fic 10 5 Illustration de l exemple 10 3 la figure montre l appro
216. ommencent au chapitre 5 11 1 Calibration de mod les math matiques L identification param trique est une tape cl dans le d veloppement d un mod le math matique Les mod les d velopp s quelles que soient les disciplines sont de plus en plus complexes Les param tres sont d s lors de plus en plus 227 228 11 CONCLUSION PERSPECTIVES nombreux et leur calibration de plus en plus difficile S il est parfois possible en physique d valuer la valeur d un param tre tel que la conductivit la masse volumique ou la chaleur massique sur base des pro pri t s microscopiques il n en est pas de m me pour les domaines de mod lisa tion du vivant des sciences conomiques ou des sciences humaines L tape de calibration du mod le est d s lors indispensable En fonction des caract ristiques de son probl me le mod lisateur trouvera dans le chapitre 5 un bon r sum des questions se poser apr s la mod lisation La question qui se pose alors naturellement est celle de l observabilit de ces param tres Les relev s exp rimentaux dont nous disposons sont ils suffisants pour d duire les valeurs des param tres de notre mod le L exp rience jumelle sert r pondre cette question L identification des param tres peut tre mise sous la forme d un probl me d optimisation g n ralement non contraint ou quasi non contraint n ayant que des contraintes de bornes et r solu par les diff re
217. on lin aires et non convexes L approche envisag e est celle des algorithmes s quentiels de program mation quadratique contraintes quadratiques ses avantages sont abord s rapi dement par l entremise de quelques exemples Quelques tests num riques ont t effectu s et sont encourageants Enfin la quatri me et derni re partie chapitre 11 tire les conclusions et d gage les perspectives futures 24 CHAPITRE 1 POSITION DU PROBLEME Chapitre 2 M thodes de globalisation en optimisation Le domaine de optimisation non contrainte a vu l mergence de nombreuses m thodes et algorithmes est vain de vouloir tous les pr senter aussi nous con tenterons nous dans les deux chapitres qui suivent d expliciter quelques caract ristiques principales des diff rentes familles d algorithmes Ce chapitre traite d abord des m thodes dites bas es sur le gradient il aborde ensuite succinctement la famille des m thodes dites m ta heuristiques Les m thodes bas es sur le gradient sont it ratives Elles d marrent en un point de d part x et g n rent une suite x01 qui est interrompue lorsque plus aucun progr s ne peut tre fait ou lorsqu une solution semble avoir t approch e avec une pr cision suffisante Pour d cider comment passer d un it r x au suivant ces m thodes se basent sur des informations locales sur f obtenues au point x et ventuellement aux points pr c dents elles construisen
218. onctions T R et M Notons que les fonctions T nous sont impos es par les mesures dont nous disposons ou dont nous voudrions analyser l observabilit ce qui signifie que le choix de R conditionne compl tement celui de M et inversement Il est int ressant de noter que la notion th orique d exp rience jumelle permet a elle seule de trouver une relation entre les fonctions de traitement des r sultats et de traitement des mesures qui doit tre v rifi e m me si aucune exp rience jumelle n est r ellement pratiqu e Une exp rience jumelle peut servir de base pour analyser l observabilit du syst me Elle permet de r pondre la question suivante Quelles mesures dois je effectuer sur le syst me afin d en d terminer les param tres num riques En effet il suffit pour cela d effectuer l exp rience jumelle avec un ensemble de mesures de notre choix et de constater quels sont les param tres qui sont recouvr s On peut se servir de cette information avant une campagne de mesure afin de distinguer celles qui sont n cessaires une bonne calibration du mod le choisi et celles qui sont redondantes voire inutiles Le concept d exp rience jumelle permet galement de tester la robustesse de la m thode de calibration par rapport des erreurs de mesure Il suffit de bruiter les mesures simul es et d interpr ter le recouvrement des param tres les diff rents param tres convergeront soit vers une val
219. ons une suite x0 qui du moins nous l esp rons convergera vers un minimum local x Un point de d part x 0 pour les param tres optimiser est arbitrairement choisi et la fonction objectif f x0 ainsi que les fonctions de contraintes sont valu es Pour chaque it r x ces m mes fonctions seront galement valu es Notre travail s inscrit dans le paradigme o le temps n cessaire pour valuer celles ci s av rent extr mement long par rapport aux cal culs n cessaires l algorithme lui m me Plus formellement cette hypoth se peut s exprimer comme suit Hypoth se 1 1 Le temps n cessaire au calcul de l it r 0 partir de la va leur de la fonction objectif f x des fonctions de contraintes c x9 et ou de leurs d riv es au point x est n gligeable par rapport au temps n cessaire l valuation de ces derni res Ceci signifie que notre priorit en terme de performance est la diminution du nombre total d it rations engendr es par l algorithme Ce paradigme pr sente l avantage que la mesure de performance ne d pend ni du probl me envisag ni de la puissance de calcul utilis e Cette hypoth se est r aliste et utile pensons par exemple aux mod les num riques complexes utilis s en m t orologie ou en a ronautique Comme toutes les hypoth ses celle ci ses limites en particulier lorsque nous avons affaire des probl mes de grande taille puisque le nombre d op rati
220. ons de calcul caus par l algorithme lui m me croit g n ralement expo nentiellement avec le nombre de param tres de la fonction optimiser La premi re partie du travail incluant le pr sent chapitre fait office d intro duction g n rale aux m thodes par r gions de confiance et l utilisation d ap proximations locales quadratiques Le chapitre 2 porte sur diff rentes techniques de globalisation et sur celle qui nous int ressera tout au long de ce travail la m thode dite des r gions de confiance En quelques mots elle consiste consid rer que les fonctions f x et c x peuvent tre remplac es par une approximation locale plus facile utiliser dans une certaine zone de confiance autour de l it r courant x La question du choix de l approximation locale la plus appropri e est abord e au chapitre 3 Plusieurs types d approximations locales sont d velop p es en d tail mais l essentiel de notre travail se concentre sur les approximations quadratiques Les approximations de Newton Newton modifi es quasi Newton sont abondamment utilis es dans la suite du travail Le chapitre 4 aborde avec de nombreux d tails les aspects th oriques de convergence globale des m thodes 22 CHAPITRE 1 POSITION DU PROBLEME par r gions de confiance Les hypoth ses n cessaires l tablissement des th o remes de convergence vers des points critiques du premier et du second ordre y sont expos es Nous y traitons galemen
221. ont peu connus et difficilement me surables 11 s agit alors de choisir les valeurs qui seront les plus ad quates Pour ce faire la m thode classique implique la r p tition d un tr s grand nombre de si mulations et la comparaison des r sultats obtenus avec les observations Lorsque le nombre de param tres est important cette proc dure est erratique et son issue d pend fortement de l exp rience et du talent du mod lisateur L objet de ce tra vail est de syst matiser cette recherche d un ensemble optimal de param tres pour un mod le donn Les techniques adopt es sont diverses La technique utilis e ici est celle de l optimisation il s agit de d finir une fonction objectif qui repr sente l cart entre les r sultats du mod le et les mesures et de minimiser celle ci dans l espace des param tres 5 1 3 Traitement des r sultats du mod le Il arrive souvent que les valeurs comparer ne soient pas les variables du mod le elles m mes mais une information tir e d une combinaison de celles ci qui sera confront e cette m me information d duite des observations si nous voulons un mod le qui donne une bonne approximation de la vitesse moyenne d un fluide dans une canalisation il n est pas n cessaire de comparer les vitesses mesur es en chaque point de la conduite et les vitesses calcul es en chaque point de la conduite d autant plus qu en g n ral les points de mesure et les noeuds du maillage ne sont pas rig
222. optimise que ce soit pour acc l rer une technique de fabrication pour minimiser le co t d une construction ou pour ne pas payer plus d imp t qu il n en faut Il doit cependant tenir compte des contraintes externes pour parvenir ses fins acc l rer une fabrication doit laisser inchang e la qualit du produit minimiser le co t d une construction ne doit pas pousser l inaction la construction la moins ch re tant celle qui n existe pas et le calcul de l imp t doit r pondre aux prescrits l gaux et fiscaux Il convient d abord de choisir sur base de quel s crit re s un objet peut tre consid r comme meilleur qu un autre La meilleure voiture est elle la moins ch re sur le march Auquel cas l preuve de s lection est relativement simple il suffit de comparer les prix des diff rents mod les Mais la meilleure peut aussi tre la plus s re et dans ce cas une s rie d exp riences est n cessaire Des di zaines d autres crit res sont possibles espace disponible vitesse consommation de carburant etc Mais la d finition de l optimum peut aussi r sulter d une com binaison de ces diff rents crit res le rapport qualit prix est la plus c l bre de ces combinaisons Les techniques d optimisation sont des proc d s syst matiques permettant d approcher voire de trouver la technique de fabrication la plus rapide le co t le plus bas ou l imp t le plus juste La technique d optimisation la plus simple es
223. orithmes SQP Pour s en convaincre il suffit de comparer le comportement de l algorithme UVQCQP des figures 9 3 et 8 4 illustrant l effet Maratos pour un algorithme de type SQP Let fet Maratos se pr sente lorsque la courbure des contraintes n est pas correctement prise en compte Pour cette raison en s inspirant des corrections du second ordre utilis es pour les algorithmes SQP un mode rapide a t d velopp 9 4 1 Premi re it ration en mode rapide Le mode rapide peut tre activ lorsque le nombre d ar tes actives z est positif tout en tant inf rieur la dimension de travail n9 Cependant dans un souci de simplicit le mode rapide n est pas activ lors de cas de d g n rescence des ar tes c est dire si le nombre d ar tes actives z est inf rieur la dimen sion de l espace V 9 Enfin l effet Maratos ne se ressent que lorsque la direction de recherche est tangente aux contraintes aux ar tes dans notre cas c est dire lorsque la recherche d une direction de descente se fait dans le sous espace a L ensemble de cette section prend donc comme hypoth se que la direction 59 0 et que 0 lt z 9 dimv lt A 9 121 Si le mode rapide est activ nous utilisons une d finition l g rement diff rente de la direction de descente en le principe de calcul reste le m me mais la k a est red finie selon matrice A AQ yet 404 25 yl of All 9 122 0 ie Z K en
224. oureusement identiques Un certain post traitement des r sultats et des mesures est donc g n ralement n cessaire L interpr tation des r sultats se fait par le biais de fonctions ou de valeurs discr tes que nous nommerons les valeurs de comparaison Cj PI 5 1 Celles ci sont donc obtenues apr s traitement des variables d tat silt eu 5 2 ou 7 est le vecteur des variables ind pendantes g n ralement le temps et l espace Les variables d tat proviennent de la r solution num rique ou analytique des quations du mod le Formellement cj R j 81 5N t Jua 5 3 En cas de r solution num rique les variables d tat se pr sentent sous la forme d un ensemble de valeurs discr tes dont le nombre est tr s nettement sup rieur au nombre de variables d tat lui 86 5 IDENTIFICATION PARAMETRIQUE Notons que chaque s et chaque c peut tre une fonction ou une variable discr te Nous nommerons les fonctions R les fonctions de traitement des r sultats 5 1 4 Traitement des mesures n est pas toujours ais de mesurer ce qui nous serait le plus utile certaines mesures sont parfois compl tement inaccessibles Beaucoup se font ainsi de ma ni re indirecte on mesure certaines quantit s dont on d duit les valeurs int res santes Soit un ensemble de mesures me k 1 Nm 5 4 Celles ci peuvent tre des fonctions ou des valeurs discr tes ce qui est nettement
225. oximation H 9 de la matrice hessienne la fin du processus d optimisation A 3 Exemple d utilisation Voici un exemple d utilisation de la routine t rust BFGS 1 Trust se pr sente sous la forme d un module FORTRAN95 nomm trust BFGS i routine de vient donc accessible depuis le programme principal gr ce l instruction use trust BFGS i m Il s agit du probl me de Rosenbrock logarithmique 7 14 A 3 1 Programme principal program main use simul m use trust BFGS i m d claration des variables initialisation des variables indic 2 call simul indic n x f g if indic le 0 stop open unit io file output txt call trust BFGS i simul n x f g delta deltamax epsg impres amp amp 10 mode succes niter lbnd ubnd freex valcar varcar hes close io end program main EXEMPLE D UTILISATION 241 A 3 2 Simulateur module simul m contains subroutine simul indic n x f g integer intent inout indic integer intent n real kind 8 dimension n intent in x real kind 8 intent inout f real kind 8 dimension n intent inout g integer i j if indiq eq 2 then f log 1 10000 x 2 x 1 2 2 1 x 1 2 g 1 40000 x 2 x 1 2 x 1 2 1 x 1 amp amp 1 10000 x 2 x 1 2 2 1 x 1 2 g 2 20000 2 1 2 amp amp 1 10000 2 x 1 2 2 1 1 2 end if
226. p nalit o La strat gie de d couplage et de convexification des contraintes est elle la plus efficace Comment estimer les multiplicateurs de Lagrange Etc Via quelques exemples nous avons tenter de faire comprendre les avantages que pourraient receler l utilisation de la routine UVQCQP Trois forces peuvent ainsi tre mises en vidence L ventuelle incompatibilit des contraintes quadratiques est g r e de fa on tr s simple et naturelle Il n est donc pas n cessaire d laborer de strat gie de relaxation des contraintes Les r gions de confiance de type 2 sont ais ment prises en compte tout comme les ventuelles contraintes de bornes La strat gie d activation et de d sactivation des contraintes de bornes est d ailleurs g r e au niveau des sous probl mes eux m mes gr ce l introduction de l espace W au chapitre 9 Les sous probl mes sont r solus de mani re exacte Les quelques exp riences num riques effectu es sur des probl mes de petites tailles issus de l ensemble de test CUTEr s av rent encourageants Les perfor mances de notre approche SQCQP semblent en effet pouvoir rivaliser avec des algorithmes bien connus dans la litt rature Quatrieme partie Conclusion et perspectives 225 11 Conclusion et perspectives Ce chapitre est destin a tirer les conclusions de ce travail et a dresser les nom breuses perspectives encore a explorer Nous avons pr sent da
227. point de d part 0 bien que l impl mentation pratique de l algorithme traite sans difficult cette ventualit 112 CHAPITRE 6 TRUST avec s lt AM Ce probl me reste bel et bien de la forme 6 3 mais avec une dimension inf rieure Il n y a donc aucun inconv nient utiliser la m thode de Mor et Sorensen Si d aventure le point x s est non admissible celui ci est projet sur les contraintes de bornes et le point de test est d s lors d fini composante par composante par Xi si x 509 gt Xi di x x 50 lt Xj 6 33 x s sinon 9 eo 12 R W EE ow Si x resp X xj et si a n tait pas le cas l it ration pr c dente la borne sup rieure resp inf rieure est activ e ce qui signifie que l ensemble g D e ite 6 34 Notons que plusieurs variables peuvent ventuellement tre activ es lors de la m me it ration 6 2 5 Crit re d arr t En th orie l algorithme proc de de la sorte jusqu ce que la norme du gra dient devienne nulle En pratique nous utilisons un seuil num rique d fini en fonction de la valeur initiale du gradient la r duction relative du gradient um _ lan 6 35 lle to avec elt aw 6 36 Soit une tol rance fix e a priori par l utilisateur l algorithme tente de d sactiver des contraintes de bornes si 0 lt e 6 37 et si la contrainte A de la r gion de confiance n est pas
228. point satisfait la condition n cessaire d optimalit du premier ordre Mf x 0 4 1 et de point critique du second ordre si outre la condition 4 1 x r pond a 59 60 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE la condition n cessaire d optimalit du second ordre Vix f x semi d finie positive 4 2 4 20 Convergence globale vers un point critique du premier ordre Un algorithme est dit globalement convergent si les it r s successifs convergent vers un minimum local de la fonction objectif quel que soit le point de d part x La convergence de l algorithme de base 2 1 peut tre tablie sous certaines hy poth ses quelques unes portent sur la structure du probl me lui m me et d autres sur l algorithme envisag 4 2 1 Hypoth ses sur le probl me Rappelons que nous cherchons une solution locale pour le probl me non contraint minimiser f x avec x 4 3 que nous supposons r pondre aux hypoth ses suivantes Hypoth se 4 1 La fonction objectif f IR R est deux fois continiiment d ri vable sur Hypoth se 4 2 Il existe une borne inf rieure Kip telle que f x gt Kipf Vx cR 4 4 Hypoth se 4 3 Le Hessien de la fonction objectif est born i e il existe une constante positive Ky th telle que laf Ol lt kum Vx R 4 5 Nous pouvons supposer sans perte de g n ralit que Km gt 1 1 lbf pour
229. position de R en deux sous espaces 41 dans lequel la fonction objectif est diff rentiable et V dans lequel elle ne l est pas C est pour cette raison que l algorithme porte le nom UVQCQP 9 1 Trois sous espaces orthogonaux La construction d une fonction de m rite avec une p nalit de type nous am ne consid rer un probl me d optimisation de la forme minimiser A 0 9 3 i l S C XL lt x xy 9 4 Les vecteurs x et xy IR sont des contraintes de bornes Les fonctions x sont quadratiques et convexes i e 1 5 T Aix 4 x aj a 9 5 avec 0 R aj R et A IR pour i 0 les matrices A sont semi d finies positives Dans ce chapitre l arr te i d signe l ensemble des points x tel que 0 La fonction est diff rentiable en dehors de ses arr tes elle est continue mais non diff rentiable sur ses arr tes 9 1 1 Le sous espace W m thode d velopp e est it rative La pr sence de contraintes de bornes sugg re l utilisation d une strat gie de contraintes actives ou de projection Si pour un i donn xz xu la variable x est fix e cette valeur d termin e Dans la suite du chapitre nous consid rerons que xz lt xy pour i 1 n Dans un souci de simplicit le param tre de p nalit apparaissant dans l expression g n rale 8 15 e
230. poth ses que la matrice hes sienne est d finie positive dans un voisinage d un minimum local encore faut il que l algorithme aboutisse dans ce voisinage D autre part quand bien m me la 3 2 APPROXIMATIONS QUADRATIQUES 43 matrice 9 s av rerait d finie positive chaque it ration la convergence glo bale ne serait pas garantie En effet si s est bel et bien une direction de des cente rien ne permet d affirmer que f x sI lt f x Diff rents exemples de comportements probl matiques peuvent tre trouv s dans la litt rature voir par exemple 821 Le diagnostic a poser sur cette m thode est simple aucune m thode de glo balisation n est utilis e A aucun moment l algorithme v rifie la d croissance des valeurs de la fonction objectif originelle f x aux it r s successifs Une pre mi re variante la m thode de Newton avec recherche lin aire effectue donc une recherche lin aire dans la direction 1 3 22 Cette direction n est toutefois une direction de descente que si H est d finie positive et la convergence globale de l algorithme ne peut donc tre tablie Dans la seconde variante la m thode de Newton avec r gions de confiance le pas de progression 59 n est pas calcul selon 3 20 La taille du pas de progres sion est limit par une r gion de confiance de rayon A et le pas de progression 5 9 est donc la solution du probl me arg min 5729 55 H
231. ptimization tome 1 Unconstrained optimization John Wiley amp Sons 1980 31 Fletcher Practical methods of optimization John Wiley amp Sons second dition 1987 32 Fletcher R Gould I M Leyffer S Toint P L et Wachter A Glo bal convergence of a trust region sqp filter algorithm for general nonlinear programming SIAM Journal on Optimization 13 3 635 659 2002 33 Hletcher R et Leyffer S Nonlinear programming without a penalty func tion Mathematical Programming Series A 91 2 239 269 2002 34 Hletcher R et Powell M J D A rapidly convergent descent method for minimization Computer Journal 6 163 168 1963 35 Fleury C Efficient approximation concepts using second order infor mation International Journal for Numerical Methods in Engineering 28 9 2041 2058 1989 36 Fleury C et Braibant V Structural optimisation a new dual method using mixed variables International Journal for Numerical Methods in Engineering 23 409 428 1986 248 BIBLIOGRAPHIE 37 Fukushima M Luo Z Q et Tseng P A sequential quadratically constrained quadratic programming method for differentiable convex mi nimization SIAM Journal on Optimization 13 4 1098 1119 2003 38 Giering R et Kaminski T Applying TAF to generate efficient derivative code of fortran 77 95 programs PAMM 2 1 54 57 2003 39 Gilbert J C et Lemar chal C Some numerical experimen
232. que l on poss de sur un objet particulier et il permet d prouver ces connaissances en vue de pr voir un comportement 5 1 1 Mod lisation math matique Dans le cadre des applications des math matiques on utilise couramment le mod le math matique pour d signer une quation ou un syst me d quations des tin repr senter le ph nom ne tudi on parle alors de mod lisation pour signifier mise en quations 91 On d crit le syst me r el au moyen de va riables d tat dont l volution est gouvern e par des quations d volution Le mod le se substitue en quelque sorte la r alit si bien que les conclusions sont le r sultat de l analyse de celui ci plut t que du syst me r el D apr s Nihoul 79 un mod le id al serait n cessairement quadridimension nel trois variables spatiales et le temps et comporterait une infinit de variables d tat Ce mod le cependant ne serait rien d autre que la nature elle m me l image de ce plan si pr cis qu il recouvre enti rement le lieu qu il d taille L en vergure d un mod le math matique est limit e notamment par les n cessit s de sa calibration il faut disposer de suffisamment de donn es pour imposer de bonnes conditions initiales et aux limites et pour d terminer les param tres nu m riques intervenant dans sa formulation C est ce dernier point qui constitue pr cis ment l objet de ce chapitre 5 1 2
233. r Le tableau 6 5 pr sente celui ci pour les diff rentes versions de Trust et pour M1QN3 On constate que quatre versions de Trust se glissent devant M1QNG et que Trust BFGS inconditionnelle est en fin de compte la m thode la moins co teuse La figure 6 5 illustre son comportement en cours de calcul on peut y voir l vo lution du rayon de confiance de la fonction objectif de la norme de son gradient et des variables 6 3 3 Analyse statistique Afin de fournir une analyse plus d taill e du comportement de Trust pour ce probl me il convient de tester la robustesse des diff rentes m thodes et d viter les hasards malencontreux qui pourraient mener des conclusions h tives Il est vident que par un agencement fortuit des op rations une m thode peut paraitre plus performante que d autres en raison du point de d part choisi pour l optimi sation Pour diminuer l influence du point de d part sur le calcul et de facto sur 6 3 APPLICATION MOD LE DE LOTKA VOLTERRA 121 1 1 0 5 10 15 20 25 30 35 40 45 50 It rations 12 1 1 1 1 1 1 0 5 10 15 20 25 30 35 40 45 50 It rations FIG 6 5 Identification param trique du mod le de Lotka Volterra par Trust BFGS inconditionnelle Figure du haut volution des param tres au cours des it rations Figure du bas volution de la fonction objectif de la norme de son gradient au cours des it
234. r le pour les mises jour du rayon de confiance utilisant les fonctions R2 et A Rappelons que celles ci sont identiques lorsque le rapport p est inf rieur l unit Cette figure peut tre utilis e pour illustrer l interaction entre la mise jour du rayon de confiance et celle de l approximation du Hessien Les trois premi res it rations sont identiques pour les deux algorithmes La troisi me it ration s av re tr s r ussie avec p 1 6 et le rayon est donc augment d un facteur 2 92 lorsque la fonction Ka est utilis e et seulement 1 01 pour A En cons quence deux points de test H tr s diff rents sont obtenus tous deux sont infructueux L it ration 5 avec R est dans la bonne direction comparer avec le point 5 de la figure A2 mais le rayon de confiance est trop grand et l it ration est nouveau infructueuse cette tape ci de l algorithme le Hessien a t pollu par deux points de tests plut t lointains menant ainsi l algorithme vers un point x 6 qui n est pas dans la direction du minimum global Avec Ag le point de test 4 est galement infructueux mais n est pas aussi loign du point x la mise jour du Hessien n en est que meilleure L it ration 5 qui en r sulte est r ussie et x se rapproche du minimum global La r gle empirique de Byrd et al 7 17 a galement t utilis e sur ce pro bl me illustratif La figure 7 7 gauche donne l historique des it rations en uti
235. r t nous proposons de mettre z ro les cour bures n gatives mais ce choix est discutable L approche UVQCQP privil gie des approximations locales quadratiques tant pour la fonction objectif que pour les contraintes Dans les probl mes r els il est cependant relativement rare de disposer des d riv es secondes de ces fonctions et les approximations locales doivent d s lors se construire sur base d informations glan es lors des it rations pr c dentes les plus connues de ces strat gies tant les mise jour de type quasi Newton Toutes les questions de mise jour condition nelle ou inconditionnelle que nous nous sommes pos es dans le chapitre 7 doivent donc galement tre repos es dans ce cadre Notons aussi que l algorithme UVQCQP fait un grand usage de matrices au moins une matrice hessienne de dimension n x pour chacune des m contraintes Ceci rend la m thode inutilisable pour des probl mes de grande taille et ou avec un grand nombre de contraintes l image de ce qui s est fait pour d autres m thodes il serait int ressant d laborer une version approch e de l algorithme ini tial capable de g rer ce genre de probl mes Nous pensons par exemple l utili sation d approximations quadratiques s parables qui ont d j montr leur effica cit dans ce type de probl mes Malgr ses performances satisfaisantes il reste une ombre au tableau de la m thode UVQCQP c est sa limitation au cas co
236. r l ex pression de la fonction de m rite en utilisant la contrainte non lin aire r elle le M k long de la direction sl W x 9 E s 6 246 sin 0 205 8 34 que wr dl 5 1 06 sin 6 gt 0 8 35 k Le pas susceptible de fournir une convergence rapide sera donc irr m dia blement rejet aussi bien par une recherche lin aire que par une approche par r gions de confiance Le minimum unidimensionnel dans la direction s est ob tenu pour la valeur Hy s 8 36 5 2 2 dont nous pouvons constater qu elle d croit avec la croissance param tre de p nalit G et que sa valeur est largement inf rieure l unit La figure 8 4 pr sente la fonction objectif et la fonction de m rite 6 4 166 8 METHODE 5 AVEC REGIONS DE CONFIANCE 0 6 0 4 r 0 2 0 6 0 8 1 1 2 X 1 4 FIG 8 4 Illustration de l effet Maratos pour le probl me 8 19 La figure de gauche repr sente la fonction objectif f x et la ligne discontinue repr sente la contrainte d galit 0 La figure de droite repr sente la fonction de m rite pour o 4 Nous pouvons constater que W x sY 4 gt W x 9 4 et que le minimum de Y selon la direction ai c est dire x 200500 conduit restreindre fortement la progression vers x 8 3 EFFET MARATOS CORRECTION DU SECOND ORDRE 167 Pour contrecarr
237. raison est le nombre d op rations n cessaires Celui est plus important pour la m thode de diff rentiation directe le gain d informa tion a donc un prix Pour formaliser la suite de la discussion nous d finirons Cm C et Ca respectivement le nombre d op rations n cessaires au calcul du mod le lui m me du code de diff rentiation directe et du mod le adjoint Comme estim pr c demment nous avons les ordres de grandeur suivants C O 2n Cy C OE Ce ne sont l que des ordres de grandeur un programmeur habile pourra faire passer le co t en de de celui pr dit Un troisi me crit re de performance est l utilisation de la m moire La m thode ajointe est la plus co teuse de ce point de vue elle n cessite le stockage de toutes les variables d tat du mod le direct ce qui peut s av rer consid rable N anmoins une technique dite du checkpointing permet de r duire l utilisa tion de m moire Cette technique consiste ne stocker qu un nombre r duit de valeurs et recalculer les autres en cours de simulation du mod le adjoint Au final le nombre d op rations est accru d une simulation enti re du mod le direct qui permet de r duire la consommation de m moire La m thode de diff rentia tion directe ne souffre quant elle pas de ce d sagr ment En effet les op rations du code de d rivation peuvent s effectuer de pair avec la simulation du mod le di rect les variables d
238. rations et du rayon de confiance 122 CHAPITRE 6 TRUST TAB 6 5 Co ts num riques des diff rentes versions de Trust et M1QN3 Le rayon de confiance initial est identique A 0 05 pour les sept versions Pour Trust GN la troisi me colonne indique le nombre d valuations de la matrice jacobienne G x ce qui explique son co t global important M thode d optimisation Trust SR1 cond Trust SR1 incond Trust BFGS cond Trust BFGS indond Trust GN M1QN3 Evaluations de f x 120 72 90 48 41 89 Evaluations de g x ou G x 76 72 63 48 37 89 Coit global 249 96 Cm 195 12Cm 197 73C 130 08C 447 26C 241 19 C les conclusions nous avons g n r un ensemble de 64 points de d part sur les quels les informations ont t moyenn es Ces points de d part sont les l ments de l ensemble de toutes les combinaisons possibles du choix des param tres x chacun pouvant prendre deux valeurs list es dans le tableau 6 6 soit un total de 2 64 l ments Dans les deux valeurs choisies pour chaque param tre une est inf rieure la valeur de r f rence et la seconde sup rieure L cart par rapport la valeur de r f rence est identique de mani re ne favoriser aucun point de d part Ce tableau contient galement les valeurs caract ristiques et les variations caract ristiques AT lorsqu une mise chelle est utilis e TAB 6 6 Ensemble de valeurs ayant s
239. ratories 1959 22 Davidon W C Conic approximations and collinear scalings for optimi zers SIAM Journal on Numerical Analysis 17 2 268 281 1980 BIBLIOGRAPHIE 247 23 Dennis J E et Mei H H W Two new unconstrained optimization al gorithms which use function and gradient values Journal of Optimization Theory and Applications 28 4 453 482 1979 24 Dolan E D et Mor J J Benchmarking optimization software with per formance profiles Mathematical Programming Series A 91 2 201 213 2002 25 Duysinx P Zhang W H Fleury C Nguyen V H et Haubruge S A new separable approximation scheme for topological problems and opti mization problems characterized by a large number of design variables Dans N Olhoff et G I N Rozvany r dacteurs First World Congress of Structural and Multidisciplinary Optimization pages 1 8 ISSMO Goslar Germany 1995 26 Eckstein J Nonlinear proximal point algorithm using bregman functions Mathematics of operations research 18 1 202 226 1993 27 Faure C An automatic differentiation platform Odyss e Future Gene ration Computer Systems 21 8 1391 1400 2005 28 Fletcher R A new approach to variable metric algorithms Computer Journal 13 317 322 1970 29 Fletcher R A General Quadratic Programming Algorithm Journal of the Institute of Mathematics and Its Applications 7 1 76 91 1971 30 Fletcher R Practical methods of o
240. rer la convergence globale l utilisation d une fonction de m rite a des effets non n gligeables sur la vitesse de convergence Il peut arri ver que le pas de progression 59 se voit rejet ou consid rablement diminu par le processus de globalisation Or un pas de progression sensiblement plus petit que s freine 1 algorithme la vitesse de convergence augur e par le th or me 8 1 n est en effet atteinte que pour le pas 59 solution de 8 9 ralentissement est appel l effet Maratos 69 L effet Maratos appara t lorsque la courbure des contraintes n est pas bien appr hend e par le sous probl me quadratique 8 9 et qu un pas unitaire est trop grand pour que la contrainte lin aris e cl GOT soit une approximation acceptable de la contrainte non lin aire 9 s Exemple 8 4 Nous allons illustrer l effet Maratos partir de l exemple 8 19 Effectuons une it ration de type SQP partant du point admissible x sin 8 32 avec gt 0 et utilisant la valeur optimale pour le multiplicateur de Lagrange y V 3 2 Tenant compte de l expression de la matrice hessienne du Lagran gien 8 23 et des gradients de la fonction objectif et de la contrainte 8 24 le sous probl me quadratique 8 9 correspondant est minimiser 5 82 52 Acos0 1 s 4sin0s2 s c 2 80 1 2sin0 s 0 8 33 k gt Sa solution est s sin cos sin Cependant on peut constater su
241. rgence la non convexit des contraintes et la pr sence de contraintes d galit ne s agit pas d un expos approfondi mais seulement d une bauche d utilisation des concepts introduits tout au long de ce travail Le lecteur int ress est invit consulter les travaux de Kruk et Wolko wicz 58 Fukushima er al 37 ou 53 54 L originalit de notre m thode r side dans l utilisation des r gions de confiance et de l algorithme UVQCQP pour la r solution des sous probl mes g n r s Nous envisageons donc le probl me d optimisation non lin aire minimiser f x s c 69 x 0 pourje cj x 0 pour je XL lt X XU 10 1 E et 7 sont respectivement les ensembles disjoints des indices des contraintes 213 214 CHAPITRE 10 VERS UNE METHODE SQCQP d galit et d in galit Les fonctions f et c sont suppos es deux fois contin ment d rivables Les vecteurs xz et xy sont des contraintes de bornes sur les variables x Pour caract riser ce probl me nous utilisons la fonction de m rite 8 15 f x 6 Y e x 6 Y max 0 c x 10 2 jet jel Les contraintes de bornes x lt x lt xy ne sont pas int gr es V Le probl me prend donc la forme d une minimisation quasi non contrainte d une fonction non diff rentiable Notons que V x est continue au sens de Lipschitz et r guli re sur IR hypoth se 4 14 10 1 Algorithme de base
242. ront tangentiellement l ar te imm diatement suivies par un retour vers celle ci voir figure 9 3 190 CHAPITRE 9 DESCRIPTION DE ALGORITHME UVQCQP 1 x Fa O 0 0 9 4 p 3 gt 0 8 A V 0 7 1 0 6 20 2 0 0 2 0 4 0 6 08 2 FIG 9 3 Illustration du comportement de l algorithme de base Repr sentation dans le plan 0 de la fonction 9 38 Les lignes pointill es indiquent les ar tes La recherche lin aire effectu e dans la direction s aboutit sur l it r x Puisque l espace V 1 est de dimension nulle la direction de descente en 411 aboutit sur l it r x situ sur une ar te L it ration suivante est tangentielle celle ci et est imm diatement suivie par une it ration jouant le r le d une correction pour ramener l algorithme vers la dite ar te Les it rations qui suivent convergeront vers le point 0 V2 2 9 96 v2 2 pour lequel 0 sq 0 et qui est donc l optimum dans le plan 0 La direction de descente W quant elle sera 1 2 0 9 97 0 Sa premi re composante est positive alors que la variable correspondante est mobilis e sur sa contrainte de borne inf rieure D s lors il convient de d sactiver cette contrainte de borne et de recommencer une it ration 9 3 1 Calcul pratique des directions de descente Le calcul des diff rentes directions de descente est condi
243. rte de g n ralit nous pouvons supposer Ay lt lt lt Nous savons que la contrainte 6 10 est active et nous obtenons d s lors une 108 CHAPITRE 6 TRUST quation unidimensionnelle pour la variable IIs u A 6 16 dont la solution est Si u gt les d nominateurs intervenant dans 6 15 sont strictement positifs et lim s u 0 6 17 ue De plus si vi g Z 0 nous avons 18 lim 5 6 18 u gt M et il existe d s lors une seule valeur uy 1 c pour laquelle 5 voir figure 6 1 Sachant cela l quation 6 16 peut tre r solue avec un algo rithme unidimensionnel classique de recherche de racine Toutefois cette quation s av re g n ralement mal conditionn e et on lui pr f re la forme quivalente 1 1 A Ge Une fois um calcul sy est directement obtenu partir de 6 11 o la matrice uyl est sym trique d finie positive 6 1 2 Le hard case de Mor et Sorensen Dans la discussion ci dessus nous avons occult le cas o vig 0 Notons que cette discussion reste n anmoins valable si la plus petite valeur propre est une valeur propre multiple i e 41 Az pour autant que vi g 0 pour au moins un des vecteurs propres relatifs 21 Dans les cas contraires la limite 6 17 prend une valeur finie 6 Si 6 lt A cela signifie qu aucune valeur de u n est telle que s u A C est c
244. s agit de modifier l g rement les condi tions d actualisation du rayon de confiance de sorte que celui ci augmente bel et bien mais pas d mesur ment lors d it rations tr s r ussies Hypoth se 4 13 Si p gt n et AV lt Ag alors AUD e yg ACD ya 4 37 pour des constantes donn es Y4 gt gt 1 et Amax gt 0 Par contre si p gt et gt Amax il convient de prendre Akt gt AU Notons que cette hypoth se sur l algorithme 2 1 est tr s simple et intuitivement logique la r gion de confiance devant s largir si l it ration est tr s r ussie a moins qu elle ne soit d j suffisamment grande La mise jour g n rale WAM All sip lt n AH A AQ Si p i nol 4 38 A9 Al si pl gt avec lt lt lt 1 et ls 4 39 satisfait l hypoth se 4 13 sans faire intervenir de Rega Spun point de vue num rique toutefois Amax existera bel et bien il est sage de ne pas laisser le rayon de confiance s accro tre de fa on immod r e 72 4 CONVERGENCE DES REGIONS CONFIANCE 4 3 4 Th or me de convergence globale Les derni res hypoth ses formul es ci avant permettent d tablir le th or me de convergence suivant Th or me 4 6 Si les hypoth ses 4 1 4 13 sont satisfaites et si x est un point limite de la suite d it r s Idi alors x est un point critique du second ordre r sultat de c
245. s commentaires g n raux peuvent n anmoins tre faits propos des m thodes DFP et BFGS Sous certaines conditions toutes deux ont des propri t s th oriques qui garantissent un taux de convergence superlin aire et une convergence glo bale lorsqu elles sont utilis es avec une m thode de recherche lin aire Th ori quement la convergence globale de la m thode DFP requiert une recherche li n aire exacte alors que les conditions de Wolfe 2 5 et 2 6 ou la condition forte 2 7 suffisent pour BFGS Cependant les deux m thodes peuvent chouer pour des fonctions non lin aires g n rales En particulier il appara t que l algorithme peut converger vers un point de selle car les conditions de convergence forcent l approximation du Hessien ou de son inverse tre d finie positive m me sur un point de selle Seule la convergence vers un point critique du premier ordre peut d s lors tre garantie voir section 4 1 3 2 4 Directions conjugu es La m thode des directions conjugu es est bas e sur des approximations qua dratiques Il s agit de construire des directions conjugu es par rapport une ma trice R sym trique d finie positive Deux directions non nulles et distinctes 3 2 APPROXIMATIONS QUADRATIQUES 51 d e sont conjugu es par rapport a lorsque d Ae Q 3 58 Vu le caract re d fini positif de la matrice A on peut montrer que k lt n directions conjug
246. s le choix des pertur bations 6 est un probl me abondamment trait en analyse num rique 67 et la pr cision obtenue est insuffisante cas de non lin arit s importantes est donc la plupart du temps tout fait inenvisageable de proc der de la sorte en raison du nombre important d it rations effectuer et du temps de calcul requis pour une simulation 5 4 2 Diff rentiation directe La diff rentiation automatique est un moyen de calculer les d riv es d une fonction par rapport un ensemble de variables ind pendantes La technique de diff rentiation directe fonctionne directement sur le code de calcul du mod le direct Certains logiciels permettent d effectuer cette op ration de fa on syst ma tique 86 Dans le cas qui nous occupe x1 xn sont les variables ind pendantes et nous nommerons y pour i 1 N les valeurs interm diaires successivement calcul es par le code de calcul Chaque ligne de code peut ainsi s crire de la sorte yi Fon EN Ela Vit 91 Vu Ny 5 24 Dans cette m thode directe pour chaque variable yj on peut calculer la valeur correspondante de la d riv e par rapport la variable x Pour chaque op ration 5 24 les d riv es sont calcul es par la r gle du OF lt yk Z a TE Sa 5 25 Notons que puisque les F sont g n ralement des op rateurs unaires ou binaires la somme de l quation 5 25 se r duit souvent un simple terme ou une som
247. s n 6 Co t CPU Ordre de grandeur Diff rentiation directe Ca Cm 10 98 o 2n M thode ET adjointe Ca Cm 1 0 2 fonction d observation 5 1 si une mesure a t effectu e l instant i 0 dans le cas contraire nous pouvons crire la fonction objectif Nmax Nmax 1 1 A f x 5 H X A 5 2 8 Y o les variables surmont es d un chapeau sont les r ponses de r f rence La diff rentiation de ce mod le d coule directement des principes nonc s pr c demment voir section 5 4 et ne demande pas de remarques compl men taires Les deux m thodes de diff rentiation directes et adjointes ont t impl ment es Comme pr vu la premi re nous donne acc s la matrice jacobienne et au gradient tandis que la seconde ne fournit que ce dernier Les co ts CPU des deux m thodes C4 et Ca ont t valu s en terme du co t du mod le direct Cm On peut constater sur le tableau 6 4 que ceux ci sont bien de l ordre de grandeur attendu 6 3 2 Calibrage du mod le Nous allons tester les diff rentes versions sur ce probl me d identification pa ram trique Pour pouvoir discuter leurs performances nous utiliserons comme point de comparaison une m thode de type BFGS m moire limit e avec une recherche lin aire approch e Il s agit de la routine M1QN3 de Gilbert et Lemar chal 39 40 qui a d j montr son efficacit dans le cadre de probl mes d identi ficatio
248. s appel es move limits dans le domaine de l optimisation des structures voir par exemple 9 16D un point de vue num rique la d finie positivit doit naturellement tre valu e une cer taine tol rance pr s 4 4 FORME DES REGIONS DE CONFIANCE 73 AN tF 4 0 5 S o x 1 1 gt 0 5 pz2 N 4 p 3 p 4 Ge E p J 1 5 1 1 1 5 1 0 5 0 0 5 1 1 5 FIG 4 3 Forme des r gions de confiance dans un espace deux dimensions avec les normes pour un m me rayon de confiance AM Les r gions de confiance prennent une forme ellipsoidale pour une norme ma tricielle Illu Vx Mx 4 43 ou M R est une matrice sym trique d finie positive Les axes principaux de l ellipsoide sont les directions correspondant aux vecteurs propres de la matrice M alors que l tendue de l ellipsoide dans cette direction est proportionnelle l inverse de la valeur propre correspondante voir figure 4 4 Il est assez fr quent que dans un probl me pratique les variables aient des ordres de grandeurs sensiblement diff rents Si l ordre de grandeur d une des va riables disons x pour fixer les id es est nettement sup rieur celui des autres variables le probl me risque d tre mal conditionn En effet lors du calcul du pas de progression 5 la contrainte de confinement au sein de la r gion de confiance s exprimerait comme Is I s AN 4 44 f
249. s o le calcul des d riv es est exig Nous nommerons ce dernier proc d diff rentiation directe avec resimulation Les diff rentes caract ristiques des m thodes sont r sum es dans le tableau 5 1 5 4 DIFFERENTIATION DE LA FONCTION OBJECTIF 99 5 4 5 Exemple l oscillateur harmonique Soit un oscillateur harmonique dont l cart y par rapport sa position de repos r pond l quation d lt x y 0 5 47 avec les conditions initiales el 20 5 48 dont la solution est y t A cos r 5 49 Si nous utilisons un sch ma Euler centr avec un pas h pour r soudre num riquement l quation diff rentielle nous obtenons les lignes de code suivantes dans l impl mentation du mod le direct y 0 A f 0 5 y 0 ytilde 0 x2 1 A 0 5 omega h 2 A f f40 5 y 1 ytilde 1 2 do i 2 N y 1 2 omega h 2 y 1 1 y 1 2 f f 0 5 y i ytilde i 2 enddo 5 4 5 1 Diff rentiation directe Si nous d signons par les pr fixe et omega les d riv es d une variable donn e respectivement par rapport A et nous obtenons en appliquant syst matiquement la relation 5 25 les lignes de code suivantes pour le calcul des d riv es A_y 0 1 omega y 0 0 A f y 0 ytilde 0 A y 0 omega f y 0 ytilde 0 omega y 0 A y 1 1 0 5 omega h 2 En langage FORTRAN le symbole indique une exponentiation 100
250. s obtenus avec une version mise chelle de Trust Les valeurs et variations caract ristiques utilis es sont celles du tableau 6 6 Comme on pouvait s y attendre les versions mises chelle sont g n ralement plus robustes et moins cofiteuses que leurs homologues non norma lis es Notons que Trust BFGS inconditionnelle est sans rivale tant du point de vue de la robustesse que du global lorsqu une mise chelle ad quate est effectu e 6 4 Conclusion Dans le cadre de ce travail l algorithme Trust a t impl ment dans une routine FORTRAN Il s agit d une m thode utilisant une globalisation par r gions de confiance et des approximations locales quadratiques Diff rentes versions de type quasi Newton sont disponibles ainsi qu une version Gauss Newton L impl mentation est d velopp e en d tail approximations locales r solution du probl me local crit res de convergence mise jour du rayon de confiance cal cul du rapport p mise chelle contraintes de bornes et crit re d arr t Le mode d emploi pratique de la sous routine crite en FORTRAN est donn en annexe Enfin l algorithme est utilis pour r soudre un probl me d identification pa ram trique d un syst me dynamique le mod le de Lotka Volterra Les quelques simulations montrent que la routine Trust est comp titive par rapport la rou tine M1QNS de Gilbert et Lemar chal 40 L approche utilisant une mise jour
251. sies Rayon de confiance sai e brede a ute EE Exp riences num riques 7 4 1 Fonction banane de Rosenbrock 7 4 2 Performances sur un ensemble de probl mes tests Interaction avec la mise jour quasi Newton 7 5 1 La r gle empirique de Byrd etal 7 5 2 Mise jour conditionnelle de la matrice hessienne 7 5 3 Illustration calibration d une loi lastoplastique EE Optimisation sous contraintes 8 M thode SQP avec r gions de confiance 8 1 8 2 8 3 8 4 Principe ane dev Semen ATR EE Fonction de m rite et globalisation Effet Maratos et correction du second ordre Conclusion 22 222 4 Bed Rr BO RA RA US 101 103 104 106 108 109 109 110 110 111 112 113 114 114 117 120 124 127 128 129 192 132 132 134 142 142 143 147 152 8 TABLE DES MATIERES 9 Description de l algorithme UVQCQP 171 9 1 Trois sous espaces orthogonaux 172 9 1 1 Le sous espace W e 172 9 1 2 Les sous espaces U ss e doo ent 173 9 2 Directions de descente 178 9 2 1 La direction de descente en UM 180 9 2 2 La direction de descente en V 184 92 3 La direction de descente en W 186 9
252. ssion Il reste la question du choix de la valeur de v Pour que la matrice 3 26 soit d finie positive il faut tout simplement que v soit sup rieur la plus petite valeur propre de Vix f 9 Pour viter le calcul explicite des valeurs propres g n ralement co teux alternative suivante est parfois utilis e v9 gt V f x lp 3 29 car la plus grande valeur propre en valeur absolue d une matrice est born e par 31 m thode de Levenberg Marquardt peut aussi tre interpr t e comme une m thode proxi male voir ce sujet la section 2 3 3 2 APPROXIMATIONS QUADRATIQUES 45 la norme de Frobenius de cette matrice La valeur de v g n r e par cette tech nique peut cependant s av rer inutilement grande biaisant ainsi fortement la di rection de Newton vers la direction de plus grande pente Les performances d un algorithme bas sur ce type d approximation peuvent d s lors en souffrir grave ment est possible de montrer que la modification 3 26 avec vil Amin est la modification E qui poss de la plus petite norme subordonn e la norme euclidienne et qui permette 0 d tre semi d finie positive En utilisant la norme de Frobenius pour E k nous obtenons la matrice de correction E 0 diag v 0007 3 31 avec pour i 1 n v 0 sik gt 0 3 32 yi gt sinon 3 33 o les et les colonnes de 0 9 sont respectivement les valeurs propres et les vect
253. st pos gal l unit 9 1 TROIS SOUS ESPACES ORTHOGONAUX 173 La strat gie exacte d activation et de d sactivation des contraintes de bornes sera voqu e en d tail ult rieurement A ce stade nous devons seulement tenir compte du fait qu une it ration donn e k certaines variables sont fix es leur valeur minimum xz d autres leur valeur maximum xy et les derni res sont libres Nous d finirons l ensemble w comme le sous espace de IR g n r par les vecteurs canoniques correspondant aux variables fix es Une matrice comprenant une base orthonorm e W de ce sous espace peut ais ment tre construite en utilisant les vecteurs canoniques ej 0 0 1 0 9 6 pour chaque variable x fix e 4 une de ses bornes La dimension du compl ment orthogonal W 02 est la dimension de travail i 2 n dimay 9 9 7 Un l ment donn x de R est ais ment d compos en x X x X W 0 et x e w ML Dans un souci de clart de l expos et sans perte de g n ralit nous suppose rons que les variables fix es sont les premi res et que les variables libres sont les suivantes En cons quence tout vecteur x R est s parable par bloc cire 9 8 et toute matrice de n lignes peut tre partitionn e de fa on semblable G 4 9 9 La matrice W de dimension n x dim w 9 constitu e d une base orthonorm e de w 9 s crit quant elle
254. sym trique de rang un SR1 On peut montrer que la seule mise jour SR1 pour l approximation du Hessien qui r ponde l quation s cante 3 40 est HED yO AEN WT k _ r7 k 1 Hyg HO GO H amp D5 87 0 3 46 et que la seule mise jour pour SR1 pour l approximation de l inverse du Hessien qui r ponde l quation s cante 3 45 est 50 96 0 4 r9 070 090 409 ME 3 47 g k 1 Tyk Un des d fauts majeurs de l actualisation SRI est que le d nominateur peut tre nul En fait m me si la fonction objectif est convexe et quadratique il peut arriver qu il n y ait aucune mise jour de rang un qui satisfasse l quation s cante Un autre d faut majeur est la non conservation de la d finie positivit des matrices g n r es c est pourquoi la m thode 5 n est que rarement utilis e avec une glo balisation par recherche lin aire Cependant le d veloppement de la globalisation par r gions de confiance qui est capable de traiter des matrices non d finie posi tive donne un second souffle cette m thode d actualisation Pour des fonctions lin aires tout fait g n rales la mise jour SR1 g n re d excellentes approxima tions du Hessien sous certaines conditions ceci fait l objet du th or me suivant 19 Th or me 3 1 Supposons f deux fois contin ment diff rentiable et le Hessien born et continu au sens de Lipschitz dans le voisinage d un point x R Soi
255. t x une suite d it r s telle que x Supposons galement que les carts 3 2 APPROXIMATIONS QUADRATIQUES 49 k k y x soient uniform ment lin airement ind pendants Alors les trices H9 g n r es par la formule d actualisation SRI satisfont lim V f 0 3 49 Des formules plus flexibles sont obtenues en effectuant des corrections de rang deux i e pouvant tre crites sous la forme HV H puu vw 3 50 avec u v R Davidon 21 et Fletcher et Powell 34 ont propos la loi d actua lisation suivante k k k T k 0T E NR Dip UR EE H zu TE eal qui est connue sous l acronyme DFP En inversant cette matrice nous obtenons une formule de mise a jour pour l approximation de l inverse de la matrice hes sienne r9 4 0 0 9 SKN yl 7 k 1 Sprp 5 i PAT rK SUD y 3 52 k Sin te e s 4 n On peut montrer que HD est la matrice sym trique satisfaisant l quation s cante 3 40 la plus proche de H 5 1 au sens d une certaine norme pond r e de Frobenius i e la solution du probl me sr min wi wel 3 53 sc H HT Hr 50 la matrice de pond ration W peut tre n importe quelle matrice satisfaisant la relation Wy k 1 r L inverse de la matrice hessienne moyenne de la fonction objectif entre RUD et x 1 1 W V FED eer
256. t il tend se solidifier dans un tat d nergie minimum C est le m me principe qui gouverne le recuit simul au d but presque tous les mouvements i e n importe quelle point dans le voisinage de l it r courant x sont accep t s comme it r suivant Ceci permet d explorer l espace des solutions Ensuite graduellement la temp rature diminue et avec elle la tol rance de l algorithme Et finalement seuls les mouvements entra nant une d croissance de la fonction objectif sont accept s Synth tiquement l algorithme le plus commun fonctionne comme suit La m thode est it rative l it ration k la solution courante est x et la valeur de la fonction objectif f x Un point lt est alors choisi al atoirement dans le voisinage de x si f lt f x le mouvement est accept x 9 et on passe l it ration suivante Dans le cas contraire le mouvement a une certaine probabilit P lt k d tre accept et une probabilit 1 d tre rejet auquel cas dE x et on passe l it ration suivante La probabilit P x Le concept d identification param trique est d velopp au chapitre 5 36 CHAPITRE 2 M THODES DE GLOBALISATION OPTIMISATION 1 aT 2 Af FIG 2 1 Lois de refroidissement de la m ta heuristique du recuit simul La figure du dessus repr sente l volution 2 36 de la temp rature au
257. t les indices des fonctions x respectivement positives nulles et n gatives En pratique cette r partition est videmment effectu e une certaine tol rance pr s L algorithme repose sur une exploration successive des sous espaces 7 9 a et w en calculant les trois directions de descente 5 di et sD Mais pourquoi dans cet ordre En s inspirant des strat gies de contraintes actives il nous est apparu plus s r de n autoriser la d sactivation d une ar te que dans le cas l algorithme avait atteint un point stationnaire dans l espace des ar tes ac k w donc effectu en dernier Restent les sous espaces U M et All Le sous espace u 9 est tangent aux ar tes actives alors que le sous espace V 9 leur est ortho k tives Le calcul des qui sert la mise jour de l ensemble des ar tes actives est gonal Pour un it r x donn dans le cas o deux directions de descente s et sy sont non nulles faut il privil gier un d placement tangent ou orthogonal aux ar tes actives La piste qui a t choisie a t la seconde En effet il nous est ap paru moins efficace de se d placer tangentiellement a une ar te qu il conviendra sans doute de quitter par la suite puisqu une direction de descente orthogonale a celle ci existe Bien entendu le fait que 59 0 n est une garantie que l ensemble des ar tes actives l optimum a t identifi mais quelques tests nu m riques o
258. t rieur de l ensemble 29 et d em p cher la convergence C est pourquoi la fin de chaque it ration en mode rapide sauf si cette it ration fait suite une r activation sp ciale voir section 9 4 4 les v ritables pseudo multiplicateurs de Lagrange au sens des moindres carr s sont valu s par r solution directe du probl me 9 126 au lieu d utiliser l approxi mation 9 128 Si le plus petit de ces pseudo multiplicateurs est n gatif l ar te correspondante argmin 2 simin 2 lt 0 b ind fini sinon est retir e de l ensemble 2 1 avant d effectuer les valuations 9 142 9 143 et 9 142 Il a seulement deux modifications apporter par rapport l it ration d crite dans la section pr c dente Tout d abord la direction en V est calcul e mais n est plus utilis e tant que le mode rapide n a pas t d sactiv L algorithme 9 1 passe donc de l tape 1 l tape 3 Ensuite l valuation 9 133 des c utilis s pour le calcul de la correction du second ordre doit tre modifi e Puisque 0 x n est plus n cessairement nul si i 24 9 Cc 29 il convient d utiliser l expres sion plus g n rale 9 132 9 4 3 D sactivation du mode rapide Naturellement le mode rapide doit pouvoir tre d sactiv Plusieurs cas de fi gure peuvent se pr senter Le mode rapide est videmment d sactiv si les condi tions 9 121 qui lui servent d hypoth se
259. t sans conteste celle de l essai erreur Il suffit de faire varier quelques param tres et de conserver le candidat d s que celui ci tout en respectant les contraintes du probl me s av re meilleur que le mod le le plus performant actuellement dispo nible Avec un peu d habitude d intuition ou de chance une am lioration peut tre obtenue Mais s agit il vraiment d un optimum Les techniques plus sophistiqu es dont celles que pr sentent ce travail ont recours une formulation math matique 17 18 CHAPITRE 1 POSITION DU PROBLEME 1 1 Formulation math matique La formulation math matique d un probl me d optimisation doit en identifier l objectif les variables et les contraintes Cette formulation est la plus importante et souvent la plus difficile des tapes De cette formulation le pr sent travail ne parle pas nous partirons d une formulation math matique g n rale La premi re tape consiste identifier les variables d un probl me Les va riables sont les l ments sur lesquels nous avons la possibilit d agir directement pour en modifier les valeurs Les variables sont g n ralement amalgam es dans un vecteur x suivante consiste d finir la fonction objectif f x La fonction objec tif mesure la quantit minimiser ou maximiser Sauf mention contraire dans le reste de ce travail nous nous concentrerons sur les probl mes de minimisation de f x un probl me
260. t de la forme des r gions de confiance et des crit res de convergence pour des probl mes non diff rentiables Le premier de ces probl mes fait l objet du chapitre 5 il aborde la question de l identification param trique ou la calibration d un mod le dynamique par rap port des mesures exp rimentales Cette identification peut tre exprim e sous la forme d un probl me d optimisation non contraint et l observabilit des para m tres identifier peut tre discut e au moyen d une exp rience jumelle Mais c est surtout la question de la diff rentiation de la fonction objectif et donc du mod le sous jacent qui est discut e en d tail son co t en ressources informa tiques est en effet un facteur cl pour mener bien la calibration Le chapitre 6 d veloppe en d tail l algorithme Trust et ses diff rentes variantes pour l optimisation non contrainte Il s agit l d une impl mentation particuli re de la m thode des r gions de confiance Elle utilise des approximations locales quadratiques de type quasi Newton Nous abordons dans ce chapitre la ques tion du choix de la m thode de diff rentiation de la fonction objectif et son in fluence sur la vitesse de convergence de l algorithme d optimisation servant la calibration Un exemple loquent sur un simple mod le proie pr dateur de Lotka Volterra est ensuite pr sent et discut C est un des apports majeurs de ce travail fait p
261. t lui m me d compos en deux sous espaces U et V L espace u x est le plus grand sous espace de W dans lequel la fonction est diff ren au voisinage de x L algorithme propos calcule trois directions de descente dans chacun des sous espaces et les utilise dans un ordre pr cis pour effectuer des recherches lin aires L algorithme UVQCQP tient compte des d veloppements utilis s pour acc l rer les m thodes SQP Le mode rapide utilise notamment la technique de la correction du second ordre et s inspire galement des strat gies de contraintes ac tives Une m thode de minimisation unidimensionnelle adapt e la structure du probl me galement t d velopp e Chapitre 10 Vers une m thode SQCQP Sequential Quadratically Constrained Quadratic Programming Ce chapitre pr sente les grandes lignes de l utilisation de l algorithme UV d velopp dans le chapitre pr c dent pour impl menter une m thode s quentielle de programmation quadratique contraintes quadratiques SQCQP Contrairement aux m thodes de type SQP abord es dans le chapitre 8 les m thodes SQCQP r solvent a chaque it ration un sous probl me impliquant une fonction objectif quadratique et des contraintes quadratiques Dans ce chapitre nous abordons succinctement les probl mes principaux ren contr s dans les m thodes de type SQCQP la faisabilit du sous probl me la convergence globale le taux de conve
262. t suffisantes pour en d duire les param tres optimaux du mod le Elle nous donne aussi acc s une analyse de l influence du bruit sur l assimilation des donn es La r alisation d une exp rience jumelle consiste trouver une fonction qui g n rera des valeurs de mesures fictives partir des variables d tat du mo d le qui auront t g n r es avec un ensemble de param tres de r f rence laquelle on ajoute une fonction simulant des erreurs de mesures Tisi SN t Bk k 1 Nm 5 15 90 CHAPITRE 5 IDENTIFICATION PARAMETRIQUE Nous appellerons 7 les fonctions jumelles et les fonctions de bruit Nous devons ensuite utiliser ces mesures avec la proc dure d assimilation de donn es La proc dure id ale est videmment celle qui nous rend pour les para m tres optimaux ceux qui ont servi la g n ration des mesures fictives savoir f qs Th or me 5 1 En supposant qu il n y a pas d erreur de mesure Bj 0 len semble de param tres optimaux x sera l ensemble de param tres de r f rence x si et seulement si la fonction objectif F pr sente un minimum global au point x x Au vu de la d finition d une distance fF la valeur de F ce minimum est 0 et elle est atteinte si et seulement si ESO 5 16 Ceci entraine au vu des d finitions 5 3 et 5 6 que Mj Dh sy SN 0 TN ln SN fl 51 5 5 17 pour j 1 m Cette relation lie les f
263. t une approximation locale m plus ou moins sophistiqu e de la fonction objectif plus facile traiter que la fonction objectif elle m me qui est utilis e pour r soudre un pro bl me local et trouver un nouvel it r x k 1 pour lequel la valeur de la fonction objectif sera moindre D une fa on ou d une autre ces algorithmes doivent revenir r guli rement la v ritable fonction objectif f x et ne peuvent ind finiment trai ter avec l ersatz qu est m x au risque de se fourvoyer dangereusement Cette tape qui consiste repasser du probl me local vers le probl me global est ap pel e globalisation Deux m thodes de globalisation sont abord es en d tail dans les section suivantes l approche par recherche lin aire et celle par r gions de confiance Une troisi me m thode de globalisation dite du point proximal sera rapidement voqu e dans un souci de compl tude de l expos Le choix de ces approximations locales est trait au chapitre 3 25 26 CHAPITRE 2 M THODES DE GLOBALISATION OPTIMISATION 2 1 Globalisation par recherche lin aire Dans par recherche lin aire une direction de descente d est construite et une recherche est effectu e le long de cette direction en partant de x9 pour trouver un nouvel it r dont la valeur de la fonction objectif est plus petite La direction d est une direction de descente s il existe C gt 0 tel que f x ed lt f x ve lt 2
264. ta 3 54 0 7Soit une suite de vecteurs finis p CR 0 Les vecteurs p sont uniform ment lin airement ind pendants s il existe une constante y gt 0 et des indices fix s ko gt 0 m gt n tels que pour chaque gt Ko et T 5G max LM gt 3 48 j k 1 izli p pour tout R z 40 50 3 APPROXIMATIONS LOCALES satisfait par exemple a cette relation La mise a jour DFP bien que relativement efficace a rapidement t d pas s e par une autre formule de rang deux d velopp e ind pendamment par Broy den 8 Fletcher 28 Goldfarb 43 et Shanno 92 qui ont remplac l approxi mation du Hessien H par son inverse S dans la logique de construction du probl me 3 53 i e arg min w s s amp will 3 55 sc 5 87 Sy La formule de mise jour ainsi obtenue est d sign e par l acronyme BFGS k K T k k T 2a up PY 1 _ 7 T Pur SBFGS zx 5 ee Sr Bea 3 56 dont nous pouvons prendre l inverse pour obtenir une mise jour pour la matrice hessienne elle m me OYAT HED HD NT y k E PAT gr k 1 pl 3 57 Hs HN De nombreux auteurs s accordent pour dire qu il s agit de la meilleure formule pour les probl mes de minimisation non contrainte Des analyses d taill es des propri t s de la m thode BFGS et plus largement des m thodes de type quasi Newton peuvent tre trouv es dans 31 80 Quelque
265. tat n cessaires au calcul des d riv es sont donc disponibles en cours de calcul Enfin un quatri me angle de comparaison apparait si une simulation du mo d le direct n implique pas toujours une valuation des d riv es Il peut arriver et ce sera le cas dans les d veloppements qui suivent qu il soit int ressant de d coupler les deux codes de calcul Qu entendons nous par d couplage des deux Celui ci sera souvent assimil par abus de langage au temps de calcul Ce qui signifie pour un mod le discr tis sur le temps et l espace le stockage de toutes les valeurs des variables d tat pour tous les pas de temps et pour toutes les mailles 98 CHAPITRE 5 IDENTIFICATION PARAMETRIQUE TAB 5 1 Tableau comparatif des diff rentes m thodes de diff rentiation M thode Pr cision Information Temps de Utilisation disponible calcul m moire Diff directe Pr cision Jacobienne 2nC on de base machine et gradient Diff directe Pr cision Jacobienne MEE 2 Importante Oui a m moire machine et gradient Diff directe Pr cision Jacobienne S Faible ui avec resimulation et gradient DOn mie lm Mod le Pr cision Gradient ae 2C Importante Oui adjoint machine uniquement Mod le adjoint Pr cision Gradient 1 4 3C Moyenne Oui checkpointed machine uniquement Diff rences finies Jacobienne nC ui centr es o 8 et gradient pen faible
266. tats obtenus doivent tre nuanc s car les crit res d arr t des diff rents algorithmes sont diff rents et la comparaison ne peut donc tre envisag e qu en terme d ordre de grandeur La figure 10 7 pr sente les profils de performance correspondant au r sultats du tableau 10 1 Les premiers r sultats semblent prometteurs plus de 60 des probl mes sont r solus plus rapidement par et il faut attendre 50 avant de voir la courbe IPOPT repasser momentan ment au dessus deux reprises fine seul l algorithme LOQO peut se pr valoir d tre plus robuste que SQCQP Globalement 11 appara t clairement sur le figure 10 7 que notre bauche d algo rithme SQCQP tient la comparaison et domine les autres m thodes pour peu que le param tre soit initialis correctement Or celui ci a t calibr de ma ni re ad hoc et les r sultats sont donc quelque biais s Il est clair que l estimation initiale de G et sa mise jour au cours du calcul seront des facteurs cl s de la mise au point d un algorithme complet 224 CHAPITRE 10 VERS UNE METHODE SQCQP 10 4 Conclusion L objet de ce chapitre est de pr senter le potentiel de la brique l mentaire UVQCQP d crite au chapitre 9 Un algorithme sommaire est donc pr sent Celui ci n a qu une vocation exploratoire de nombreuses questions restent en suspens avant de pouvoir utiliser un algorithme de ce type Comment calibrer le param tre de
267. tenant compte des d finitions 9 68 et 9 82 des matrices G et G Ss w celles ci appa raissent lorsqu on effectue le produit par blocs w AT Lim w QT ww v T we GO 0 c 9 103 y T 0 0 D autre part ce produit peut galement s crire og wl o groen RW fama Gs 9 104 192 CHAPITRE 9 DESCRIPTION DE L ALGORITHME UVQCQP k Ww x G et que c y peut tre En comparant 9 103 et 9 104 il apparait que G extraite directement de R puisque k RE 9 105 Nous pouvons constater que les quations 9 70 et 9 72 demandent pour le calcul de la direction de descente en V que le calcul des quatre produits vig GU a y 940 et GOGO Le premier d entre eux peut se d velop per de la mani re suivante k vHg y v 4 y u T 0 2 ate RO 9 106 et le deuxi me en tenant compte de 9 101 s crit k a r apr 0 ay ROT QT eil GWT glk 9 107 Le produit va quant a lui peut tre d velopp comme suit o vi Jo VK al 949 9 108 v Le bloc inf rieur peut tre calcul en effectuant une multiplication par 2 9 k k 90940 GI q 069 4 9 109 0 0 0 Le dernier produit GUT gU est ais ment obtenu en galant la matrice 9 103 multipli e par sa transpos e et la matrice 9 104 galement multipli e par sa transpos e Tim ay GU Tim ay 6
268. thode de Levenberg Marquardt est tr s proche de la m thode de Gauss Newton et constitue une stabilisation de celle ci Le Hessien de l approximation locale est simplement augment d un terme diagonal k HO GO GOT 4407 3 78 soit dans le cas d un cart mesur au sens des moindres carr s 3 67 k kb eT k GHGOT 440 7 3 79 Plus le param tre AQ est grand plus la variation des variables est att nu e le terme diagonal ajout est une sorte de p nalisation des d placements La mise jour de ce param tre est g n ralement r alis e par une proc dure simple de test de d croissance Lors de chaque it ration on calcule une nouvelle valeur des va riables de contr le x o la valeur de la fonction objectif est ensuite valu e Si celle ci est inf rieure la valeur correspondant l it r courant l it ration est accept e et on passe la suivante Dans le cas contraire on recommence lit ration en augmentant la valeur du param tre jusqu obtenir une it ration acceptable 3 2 6 Approximations quadratiques s parables Pour des probl mes de grandes tailles divers auteurs ont propos des ap proximations locales simplifi es pour tre s parables ce qui permet d viter les probl mes li s au stockage de la matrice hessienne ou de son approximation Fleury 35 puis Zhang et Fleury 103 proposent de ne retenir que les termes diagonaux du Hessien
269. tionn par la d com position QR 9 29 Or cette d composition un peu particuli re d pend de la d 4En pratique la suite d it r s devra videmment tre interrompue lorsque les normes eucli diennes seront major es par une certaine tol rance d finie a priori 9 3 DESCRIPTION D UNE ITERATION DE BASE 191 composition QR de la matrice G OM RH 9 98 o R est conforme la condition 9 28 Cette d composition permet galement de d terminer le rang de RO qui est la dimension de l espace V 0 Pour rappel la dimension de l espace 41 9 est facilement obtenue par dim u 9 n dim w dim 59 dim V 9 9 99 Dans le calcul des diff rentes directions de descente toutes les multiplications par WI v et W des sections pr c dentes sont exprimables en terme de multi plications par QU Ceci nous permet d effectuer toutes les multiplications n ces saires en utilisant la d composition de Householder de la matrice orthogonale 2 9 sans avoir construire explicitement les matrices 0 ot voir 62 Par exemple les d finitions 9 49 9 65 et 9 79 de 49 0 et 49 peuvent dy Ww s crire 49 o 4 L d 7 100 k icp k ay qui peut s exprimer par blocs k _ lo 0 D a 0 7 4 9 101 ice k S k k k a y 9 40 9 102 9 3 2 Calcul de la direction de descente V Si dim v 9 0 nous calculons la direction de descente en V k En
270. tive la valeur propre la plus petite est sup rieure une certaine tol rance positive pour qu il ne soit plus n cessaire d effectuer une correction pour toutes les it rations subs quentes Les derni res it rations sont de pures it rations de Newton et le taux de convergence est d s lors identique Dans les cas Vf x est singuli re ou presque singu il est possible que le taux de convergence soit diminu et que la convergence devienne lin aire L id e la plus simple pour E est certainement de trouver un scalaire v gt 0 tel que la matrice HU v f x 9 vr 3 26 soit d finie positive Ceci revient imposer la direction de Newton un biais croissant avec le param tre v vers la direction de plus grande pente En effet on constate que si v est extr mement petit la direction de descente obtenue est proche de la direction de Newton puisque HO Vf x 3 27 Dans le cas contraire si v est extr mement grand le Hessien devient n gli geable dans l expression de H 0 et la direction de descente tend vers un multiple de la direction de plus grande pente Ope 2 2 LE 0 3 28 La correction 3 26 est la base de la m thode de Levenberg Marquardt Cette facon de proc der peut galement tre interpr t e comme une version affaiblie d une r gion de confiance l approximation quadratique de Taylor 3 19 se voit ajouter un terme v s7 s qui p nalise l utilisation de grands pas de progre
271. traintes de bornes actives W d une part et son compl ment orthogonal qui est lui m me d compos en deux sous espaces u et V L espace U x est le plus grand sous espace dans lequel la fonction est 11 4 DE L UTILISATION D UNE APPROCHE SQCQP 231 diff rentiable au voisinage de x Si la sous routine UVQCQP s av re plut t performante il reste construire un algorithme global qui l utilisera au maximum de ses possibilit s Le chapitre 10 en brosse une esquisse mais celle ci bien qu encourageante est insuffisante De nombreuses questions restent en suspens et constituent autant de perspectives int ressantes Nous pouvons citer par exemple La calibration du param tre de p nalit o qu il faut choisir suffisamment grand pour assurer que le minimum de la fonction de p nalit corresponde bien la solution du probl me mais qu il faut se garder de surdimensionner pour ne pas alt rer les performances de l algorithme Il est probable que la r ponse cette question cruciale passe par une adaptation du param tre au fur et mesure des it rations La gestion des contraintes d galit peut certainement tre am lior e Il n est pas certain que la d composition en deux in galit s oppos es soit l approche la plus performante nous pourrions par exemple envisager l utilisation de variables d cart La convexification de la fonction objectif ou des contraintes est gale ment une source d int
272. trajectoire parabolique autorise un pas de progression amp plus grand m me pour des valeurs de o plus importantes Exemple 8 5 La figure 8 5 pr sente la correction du second ordre et la trajec toire parabolique correspondante pour le probl me 8 19 autour du point x pour lequel nous avions constat un effet Maratos avec le pas sD solution du probl me 8 33 Sur cet exemple la d composition QR de la matrice G est 2 cos 8 cos0 sin0 2 251 x sinO cos 0 9 51 la correction du second ordre t cos0 sin8 3sin 8 1 2 cos0 me sing 0 i 0 n x 9 sine 5522 170 8 METHODE SQP AVEC REGIONS CONFIANCE et l expression de la fonction unidimensionnelle le long de la trajectoire parabo lique correspondante 06 0 W x E sh E 4 2 2 6 sin 6 5 sin O cos20 Z sin 0 amp 8 53 8 4 Conclusion Nous avons pu voir dans ce chapitre que les m thodes de type SQP outre leur simplicit pr sentent des propri t s de convergence remarquables malgr le fait qu il faut habituellement m langer le Hessien de la fonction objectif et la courbure des contraintes dans la formulation du sous probl me quadratique Nous avons galement d velopp et analys les propri t s d une fonction de m rite de type dans ce type d algorithmes et son articulation avec des r gions de confiance Enfin nous avons expos les
273. ts with variable storage quasi newton algorithms Mathematical Programming 45 407 435 1989 40 Gilbert J C et Lemar chal C The modules NION3 Version 2 0c INRIA B P 105 78153 Le Chesnay Cedex France June 1995 41 Gill P E Murray W et Saunders M A SNOPT an SQP algorithm for large scale constrained optimization STAM Review 47 1 99 131 2005 42 Gill P H et Murray W Numerically stable methods for quadratic pro gramming Mathematical Programming 14 349 372 1978 43 Goldfarb D A family of variable metric methods derived by variational means Mathematics of Computation 24 23 26 1970 44 Gould N Lucidi S Roma M et Toint P L Solving the trust region subproblem using the Lanczos method SIAM Journal on Optimization 9 2 504 525 1999 45 Gould N I M Orban D Sartenaer A et Toint P L Sensitivity of trust region algorithms to their parameters Rapport technique 04 07 Op timization Online Digest August 2004 46 Gould N I M Orban D Sartenaer A et Toint P L Sensitivity of trust region algorithms to their parameters Quarterly Journal of the Belgian French and Italian Operations Research Societies 3 3 227 241 2005 47 Gould N I M Orban D et Toint P L CUTEr and SifDec a Constrai ned and Unconstrained Testing Environment revisited Transactions of the American Mathematical Society on Mathematical Software
274. u es deux deux sont lin airement ind pendantes La m thode du gradient conjugu est un cas particulier de directions conju gu es les directions sont obtenues par orthogonalisation des vecteurs gradients Elle fut d abord d velopp e pour r soudre le syst me lin aire Ax b 3 59 o b R C est l quivalence de ce probl me avec la minimisation de la fonction objectif quadratique et convexe 1 f x 5 Ax bixte 3 60 c R qui permet de l utiliser comme m thode optimisation part enti re La m thode des gradients conjugu s proc de par it rations Pour fixer les id es nous voquerons sa formulation avec une globalisation par recherche lin aire La premi re direction de descente utilis e est celle de plus grande pente 3 2 dO g 3 61 Les directions suivantes d sont calcul es partir des composantes du gradient ell qui sont conjugu es aux directions pr c dents 4 0 d U La direction 4 est construite comme une combinaison du gradient 2 9 et des directions an t rieures 5 1 j 49 09 Y 409 dO 3 62 i 0 les coefficients y sont calcul s de fa on assurer la relation d orthogona lit 3 58 MT A q y9 5 5 3 63 d T A d k Les coefficients de la combinaison lin aire sont tous nuls l exception de Y que nous renommons BERD La direction de descente s crit donc d g t Be 1 3 64 Une
275. u elles n cessitent l valuation de d riv es secondes Cet inconv nient peut s av rer tr s g nant en pratique La question cruciale de l estimation des courbures s est donc rapidement pos e afin de pouvoir construire 3 2 APPROXIMATIONS QUADRATIQUES 47 des approximations du Hessien chaque it ration Les m thodes de type quasi Newton sont de celles l elles construisent des approximations successives HW de la matrice hessienne a partir du comportement de la fonction objectif et de son gradient au cours des it rations Pour ne pas recalculer H M chaque it ration les m thodes de type quasi Newton la mettent jour d une fa on simple en prenant en compte les informa tions sur la courbure acquises depuis l it ration pr c dente Supposons l tape k d un processus it ratif nous venons de g n rer un nouvel it r x et souhaitons construire une approximation locale quadratique m de la forme 3 17 Quelles conditions devons nous imposer 9 Une condition raisonnable est d imposer l galit des gradients de l approximation Yim x 5 80 H Vs 3 38 au point x et en un autre point X pour lequel le gradient 25 1 est connu La premi re condition est automatiquement satisfaite il suffit de prendre s 0 dans 3 38 pour s en convaincre Nous obtenons de la seconde condition Vn ED ell HM GED 3 26 1 3 39 qui donne l quation s cante y g 0 0 3 40 en d finissant l
276. u fait que la m thode BFGS donne plus facilement des matrices d finies positives que SRI Nous attirons l atten tion du lecteur sur le fait que contrairement son utilisation usuelle la m thode BEGS ne garantit ici nullement que toutes les approximations quadratiques seront convexes La propri t bien connue d h r dit de la d finie positivit n est en ef fet valable que dans le cas o les conditions de Wolfe 2 5 et 2 6 sont respect es ce qui n est pas n cessairement le cas Une autre constatation peut tre faite au vu de ces r sultats les m thodes tenant compte d informations issues des it rations infructueuses les versions inconditionnelles s av rent plus rapides On peut r sumer l enseignement de cette constatation par la maxime on progresse en tirant des le ons de ses er reurs Cette approche est analys e en d tail au chapitre 7 Un dernier commentaire sur la m thode Trust GN celle ci para t tre la plus performante puisqu elle parvient trouver le minimum global en 40 it rations soit 8 de moins que sa dauphine Trust BFGS inconditionnelle C est sans compter sur le fait que Trust GN demande l valuation de la matrice jacobienne Il est donc indispensable d utiliser la m thode de diff rentiation directe qui est plus co teuse que la m thode adjointe utilis e dans les autres tests Le tableau 5 1 nous enseigne en effet que pour la m thode de diff rentiation directe
277. ue ces variables sont calcul es dans un ordre bien pr cis Consid rons que la fonction objectif est la derni re variable calcul e dans le mod le num rique direct f x yu Fn X1 1 5 40 Le code num rique est une succession quations de type 5 24 la m thode des multiplicateurs de Lagrange nous sugg re de construire le Lagrangien pour chaque tape du calcul c est a dire pour chaque ligne de code Toute ligne de code du mod le g n rera une ou plusieurs lignes de code dans le programme de r solution des quations adjointes gt Soit les lignes du code direct Y G X Z F X Y o Y est une variable interm diaire L ordre alphab tique indique l ordre dans le quel les op rations ont t effectu es X d abord puis Y puis Z Les contributions au Lagrangien de ces lignes de code seront yq VENA ZEP XX es 5 41 Des variables adjointes doivent d s lors tre introduits pour chaque variable ap paraissant aux membres de droite des lignes du code direct La stationnarit du Lagrangien s crit sous la forme OL dF hy Wer Si nous consid rons que chaque ligne de code tre d compos e en une suite op rateurs unaires ou binaires il en r sultera respectivement une ou deux op rations dans le code adjoint 0 5 42 96 CHAPITRE 5 IDENTIFICATION PARAMETRIQUE ce qui nous permet de calculer la variable adjointe dF 5 43
278. une globalisation par r gions de confiance et des approximations globales quadratiques pour la fonction objectif Plusieurs variantes sont tudi es et compar es L algorithme se base sur le 11 3 LES ITERATIONS TROP REUSSIES 229 sch ma g n ral d crit au chapitre 4 utilise des approximations quadratiques pour la fonction objectif et prend en compte des contraintes de bornes Plusieurs versions ont t d velopp es utilisant des approximations locales de type quasi Newton ainsi qu une version utilisant l approximation locale de Gauss Newton La routine d velopp e inclut galement des fonctionnalit s pour faciliter la mise chelle et l impression personnalis e Une identification param trique est sommairement d velopp e Il s agit d un syst me dynamique simple titre de d exemple le mod le de Lotka Volterra Les performances de diff rentes versions de Trust sont analys es et compar es la routine M1QN3 de Gilbert et Lemar chal 40 Afin de fournir une analyse plus d taill e du comportement de Trust pour ce probl me une analyse de la robustesse des diff rentes m thodes a t effectu e en variant les points de d part La globalisation par r gions de confiance appa ra t dans ce cas test plus efficace que l approche par recherche lin aire De plus les deux versions dites inconditionnelles gt qui utilisent l information 1ssue des it rations infructueuses sont plus efficaces que l
279. une part de source d ins piration pour le d veloppement d autres algorithmes d optimisation et d autre part de points de comparaison Le pr sent chapitre fait volontairement l impasse sur les approximations locales n cessaires au calcul respectivement de la direc tion de recherche et du pas de progression au sein de la r gion de confiance Le chapitre suivant est enti rement consacr ces questions Chapitre 3 Approximations locales en optimisation math matique Ce chapitre traite du choix d une approximation locale ad quate pour le cal cul d une direction de descente dans le cas d une globalisation par recherche lin aire ou d un pas de progression dans le cas d un algorithme avec r gions de confiance Les approximations locales d velopp es dans ce chapitre peuvent tre utilis es pour approcher la fonction objectif mais aussi dans le cas de probl mes contraints les contraintes Les diff rentes combinaisons entre les techniques de globalisation et les approximations locales pour la fonction objectif et pour les contraintes constituent autant de m thodes diff rentes d velopp es dans la litt ra ture 3 1 Approximations locales lin aires 3 1 4 M thode de la plus grande pente L approximation locale la plus simple est sans conteste l approximation li n aire m x f x ST 900 3 1 2 9 est le gradient MI 9 de la fonction objectif au point x ou ventuel lement une estimation de c
280. ur une routine FORTRAN fournie par l utilisateur et qui servira calculer les valeurs de la fonc objectif du gradient ou de la matrice jacobienne Elle se pr sente comme suit simul indic n x f g ou simulGN indic n m x c cref jacob pour la version Gauss Newton Les significations des diff rents arguments de ces routines sont num r es ci dessous 225 236 ANNEXE A ROUTINES FORTRAN MODE D EMPLOI A 1 1 Indicateur integer intent inout indic La variable indic est un entier qui tablit la communication entre le simulateur et la routine d optimisation en entr e l utilisateur doit faire en sorte que la routine simul resp simulGN fasse aucune op ration hormis des impressions si indic 1 calcule f et g resp c et jacob si indic 2 en sortie l utilisateur doit faire en sorte que la routine simul resp simulGN renvoie pour indic une valeur strictement positive si le simulateur n a rencontr aucun pro bl me particulier une valeur nulle si le simulateur demande l arr t de l optimisation par exemple parce que la fonction objectif a atteint une valeur cible une valeur n gative si le simulateur est incapable de calculer les valeurs ou de faire les op rations qui lui sont demand es A 1 2 Les entr es integer intent in n real kind 8 dimension n intent in x integer intent in m real kind 8 dimension m intent in
281. urer que la suite d it r s converge vers un minimum global de f ce r sultat est en effet totalement illusoire en l absence d hypoth se suppl mentaire sur la fonction objectif 4 3 Convergence globale vers un point critique du second ordre Il va de soi que le mieux que nous puissions esp rer si nous ne requ rons de notre approximation locale que la coincidence avec la fonction objectif et son gra dient est que notre algorithme converge vers un point critique du premier ordre Si une convergence plus forte est requise nous devrons videmment exploiter l in formation du second ordre 4 31 Approximations locales asymptotiquement convexes La premi re tape est de d terminer sous quelles conditions nous pouvons as surer que non seulement la suite 597 converge vers z ro mais aussi que la suite x converge Ceci d pend des termes du second ordre de I approximation 10 cale On peut montrer que si les approximations locales m sont convexes tout au long d une sous suite d it rations convergeant vers un point critique isol du premier ordre qui peut ventuellement tre un point de selle alors il y a convergence vers ce point de la suite compl te m me si la convexit de mation locale ne refl te pas la v ritable courbure de la fonction objectif En cons quence nous ne devons pas seulement nous assurer que l algorithme converge vers un minimum isol de la fonction objectif mais encore que
282. v e directionnelle 3 4 f x existe pour tout x et d IR et si celle ci correspond la d riv e directionnelle g n ralis e de f en x et dans la direction d qui se d finit par la limite Ttd lim sup LO Hd 0 t 0 yox t 4 54 78 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE 4 17 Les d riv es directionnelles de l approximation locale et de la fonction objectif coincident pour toute direction non nulle d quand s 0 i e mix p 0 fa x 4 56 pour tout d 0 R et pour tout x p R x P L hypoth se suivante est essentiellement technique Elle permet de d gager des propri t s de convergence int ressantes Hypoth se 4 18 L ensemble des param tres P est ferm et born De mani re analogue au raisonnement utilis pour introduire l hypoth se 4 8 il nous faut sp cifier des conditions auxquelles doit r pondre le pas 59 pour effec tuer une r duction suffisante de l approximation locale gt Un point de Cauchy peut tre d fini de fa on similaire au cas diff rentiable am ne poser I hypo th se suivante sur le pas de progression 59 Hypoth se 4 19 Le pas de progression 59 est tel que pour tout x donn m x p 0 m x p s gt Knacllg min 8 4 457 lorsque 9 4 lt Le vecteur g est le sous gradient 3 8 de norme mini mum et la constante Kmac 0 1 Les deux constantes strictement positives
283. valeur initiale de la fonction objectif f x Telle qu utilis e par Byrd et al 12 7 17 transforme la premi re it ration en une recherche lin aire arri re le long de la direction de plus grande pente En effet d marrant avec une matrice identit comme estimation initiale de la matrice hessienne les points de tests g n r s subs quemment restent le long de la direction de plus grande pente tant qu aucune mise jour de la matrice k n est effectu e Si nous utilisons f x lieu et place de f x dans 7 17 dans le cadre du probl me de Rosenbrock la mise jour de la matrice hessienne n est pas ef fectu e de la deuxi me it ration jusqu la huiti me et la convergence est obtenue 7 5 INTERACTION AVEC LA MISE JOUR QUASI NEWTON 143 apr s 345 it rations avec l algorithme Trust BFGS R contre 506 sans utiliser la r gle 7 17 cf tableau 7 1 Bien que la vitesse de convergence soit consid ra blement am lior e les effets positifs disparaissent apr s la huiti me it ration les diminutions de la fonction objectif f x f x sont trop grandes pour encore activer 7 17 avant l arr t de l algorithme L introduction des fonctions A a essentiellement le m me objectif que la r gle empirique 7 17 mais y parvient de fa on plus efficace Pour le probl me de Ro senbrock la condition 7 17 n est jamais activ e lorsque des fonctions A sont uti lis es pour mettre jour le rayon de con
284. vant a AM sip lt n k in lt ok amp 1 _ sim lt p lt m mA sin xp lt 13 922 0 sip gt 13 avec 0 lt m lt lt 1 lt 13 6 23 et a lt 1 lt 03 lt 05 6 24 Cette mise jour entre bien dans le cadre g n ral 2 30 et dans celui l g rement plus restrictif tabli par 4 38 Pour s en convaincre il suffit de prendre y Q4 03 et Y4 02 Les valeurs effectivement utilis es lors des exp riences num riques sont sauf mention contraire celles port es au tableau 6 1 La question de la mise jour du rayon de confiance est trait e de mani re plus approfondie au chapitre 7 10 CHAPITRE 6 TRUST TAB 6 1 Valeur num rique des param tres de la strat gie de mise jour du rayon de confiance utilis es dans les exp riences num riques Param tre Valeur Param tre Valeur 6 2 2 Calcul du rapport p D apr s Conn et al 20 une des phases les plus dangereuses dans une m thode par r gions de confiance s av re de fa on plut t surprenante tre celle o la suite d it r s s appr te atteindre le point critique vers lequel elle converge Dans ce cas le num rateur et le d nominateur du rapport 2 29 6 25 seront petits et le calcul peut souffrir des effets de l arithm tique en virgule flot tante En pratique pour une valeur gt 0 de l ordre de dix fois la pr cision machine nous calculons 8f fe cmax 1
285. vent naturellement tre appliqu es m me si les it rations trop r ussies gt sont introduites Cependant dans un but de clart de l expos celles ci n ont pas t impl ment es dans les exp riences num riques qui suivent 7 44 Exp riences num riques Les id es introduites dans les section 7 1 et 7 2 sont d abord illustr es sur une variante de la tr s classique fonction dite banane gt de Rosenbrock puis sur quelques probl mes de l ensemble de probl mes test CUTEr 5 Les algo rithmes utilis s sont les versions inconditionnelles de Trust BFGS et Trust SR1 voir section 6 1 pour plus de d tails 7 4 1 Fonction banane de Rosenbrock Un premier test des id es d velopp es dans les sections pr c dentes peut tre effectu sur un probl me bien connu la minimisation de la fonction de Rosen brock voir Fletcher 31 ou plus exactement sur une variante logarithmique de 7 4 EXPERIENCES NUMERIQUES 133 v Newton R x Newton R Newton A mm Newton A SRI R 0 100 200 300 400 0 terati FIG 7 2 volution de la fonction objectif au cours des it rations Le point de d part est x1 x2 1 0 et le rayon de confiance initial AU 1 Le crit re d arr t est 00 lt 5 x 1075 Notons que ce sont les versions inconditionnelles de Trust SR1 et Trust BFGS qui sont utilis es celle ci f x1 x2 In 1 10000 x2 x7
286. verse de la matrice de covariance des erreurs sur les ob servations 60 77 94 sl F c 51 16 5 2 2 2 Norme pond r e d ordre L cart entre deux vecteurs peut galement tre mesur e au moyen des normes pond r es d ordre p 1 F c b 5 12 est un ensemble de coefficients de pond ration positifs De la m me mani re si c t et r sont des fonctions de la variable ind pen dante 1 7 est une fonctionnelle ride Uu w t lelt nl 5 13 o w t est une fonction de pond ration positive 5 2 3 Analyse de optimum En plus de fournir une quasi solution au probl me inverse de l identification param trique le processus d optimisation peut galement fournir d autres infor mations tout aussi int ressantes Par exemple certaines m thodes d optimisation 5 3 EXPERIENCE JUMELLE 89 travaillent avec des approximations successives de la matrice hessienne de plus en plus pr cises la fin du calcul l inspection de celle ci fournit une analyse d erreur et de sensibilit des param tres ce qui nous dispense du fastidieux travail qui consiste a perturber chacun des param tres ind pendamment et d en analyser les effets sur les r sultats 71 En effet lorsque les erreurs dans les observations sont suppos es tre norma lement distribu es des intervalles d incertitude peuvent tre obtenus en analysant la matrice hessienne Le d velopp
287. xemple 2 2 REGIONS DE CONFIANCE 31 les trois points 6 51 lt vs En T 5 ion 2 25 2 2 Globalisation par r gions de confiance Les m thodes d optimisation par r gions de confiance se basent sur une id e simple chaque it ration l approximation locale m x est consid r e comme fiable dans un domaine de validit d termin une r gion de confiance dont la taille est adapt e au fur et mesure des it rations Moyennant quelques hypo th ses la convergence globale de cette approche vers un minimum local peut tre rigoureusement tablie voir Conn Gould et Toint 20 chaque it ration l algorithme d finit une approximation locale m x dont le but est d approcher la fonction objectif dans une r gion de confiance g fx ER 9 lt AQ 2 26 A est le rayon de confiance et est une norme d pendant ventuel lement de l it ration Un pas de progression dl est alors calcul en r solvant le probl me minimiser mV x s s c lt AU ou tout le moins en assurant une r duction suffisante de l approximation locale tout en satisfaisant la contrainte La fonction objectif f 9 est calcul e au point de test 20 di 500 2 23 et compar e la valeur pr dite par I approximation locale m 0 Si une r duc tion suffisante de la fonction objectif est obtenue le point test est accept comme it r suivant et le rayon de
288. ximation lo cale 10 23 construite pour le point x 1 2 1 2 avec 6 2 Au titre de point de rep re la contrainte c x y est repr sent e en trait pais discontinu Le minimum de ce probl me ram ne bien l algorithme vers la contrainte d galit du probl me original 0 5 0 1 0 5 Fic 10 6 Illustration de l exemple 10 3 la figure montre l approximation lo cale 10 23 construite pour le point x avec 2 Au titre de point de rep re la contrainte c x y est repr sent e en trait pais discontinu 222 CHAPITRE 10 VERS UNE METHODE SQCQP TAB 10 1 Ensemble des 36 probl mes de test CUTEr s lectionn s Pour chaque probl me sont donn les nombres d valuations de fonction des algorithmes KNI et SQCQP Le tableau donne aussi la valeur de utilis e dans la fonction de m rite 10 2 La pr sence d un ast risques signifient que l algorithme a converg vers un point non admissible et deux ast risque signifie que le maximum autoris d it rations a t atteint avant la convergence Nom n z KNITRO LOQO IPOPT SQCQP BTII 5 1 2 8 12 9 11 2 6 5 2 0 12 13 18 9 5 CRESC4 6 0 8 55 483 23175 11 105 DIPIGRI 7 0 4 9 26 22 7 10 HS100 7 0 4 9 26 21 7 10 HSI00LNP 7 2 0 9 12 21 7 1 2 HS100MOD 7 O 4 14 28 29 7 1 2 HS101 7 0 5 683 3680 130 87 104 HS102 7 0 5 3001 155 25 39 104 HS103 7 0 5 3002 91 34 43 104 HS104 8 0 5 16
289. ximation locale s parable m devient monotone en toutes ses variables d o le nom de param tre de non monotonicit 58 3 APPROXIMATIONS LOCALES quadratiques et leurs nombreuses variantes sont parmi les plus r pandues elles sont intuitives simples et permettent d s lors une analyse rigoureuse De nom breux ouvrages traitent de ces m thodes en d tail En fonction des probl mes envisag s d autres approximations locales ont t d velopp es et s av rent par ticuli rement efficaces dans un domaine d termin Ainsi les strat gies d asymp totes mobiles se sont av r es tr s utiles dans le domaine de l optimisation des structures De tr s nombreuses m thodes envisag es dans la litt rature sont finalement une combinaison particuli re entre les techniques de globalisation et les approxi mations locales tant pour la fonction objectif que pour d ventuelles contraintes Bien des m thodes adoptent d ailleurs des approximations locales diff rentes pour la fonction objectif et pour les contraintes voire m me pour diff rents types de contraintes bornes lin aires non lin aires d galit ou d in galit Le passage en revue complet des diff rentes combinaisons et de leurs propri t s sort du cadre de ce travail le lecteur int ress est invit consulter les diff rents ouvrages r f renc s tout au long de ce chapitre Les diff rentes m thodes que nous d veloppe rons dans les ch
290. y c peut s av rer difficile c est pourquoi on introduit le point de Cauchy approch obtenu en r duisant l approximation locale par retour arri re backtracking jusqu une certaine d croissance souhait e a priori Soient les points AQ ET MEET 17 Ku BOR 4 11 din amp x o j N et Kj JO 1 est une constante donn e Soit je le plus petit naturel tel que la condition m x j lt m x9 Kubs x j xO T glk 4 12 soit v rifi e pour une constante donn e 10 1 2 Le point de Cauchy ap proch x l it ration k de l algorithme 2 1 est x 4 13 Remarquons que le point de Cauchy approch r pond a un crit re similaire a la condition d Armijo 2 5 pour les recherches lin aires voir figure 4 2 bck pour BaCKtraking 5 ubs pour Upper Bound on the Slope 4 2 CONVERGENCE GLOBALE DU PREMIER ORDRE 63 Fic 4 1 R gion de confiance et arc de Cauchy La fronti re de la r gion de confiance est repr sent e par la ligne discontinue et de Cauchy par la ligne continue paisse Les fines courbes continues sont les lignes d gales valeurs de ap proximation locale 64 CHAPITRE 4 CONVERGENCE DES REGIONS CONFIANCE 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 11 FIG 4 2 Point de Cauchy approch L approximation locale le long de la direc tion

Download Pdf Manuals

Related Search

Related Contents

Errata Sheet    Technika LED22-248 User's Manual  maintenance manual  Installieren der Avid Xpress DV-Software  TDK ST600  User Manual  manuel - installation - utilisation    

Copyright © All rights reserved. Failed to retrieve file