Home

Etude et illustration de méthodes itératives d - Infoscience

image

Contents

1. k a f z VF z IVG a Vvis e o er 1 2 0 27 0 2392 92 0 196 0 216 52 92 0 196 0 0 09 10 31 9 31 2 10 31 9 31 275 93 45 22 21 23 49 95 45 22 21 23 0 2 1 12 4 99 3 1 12 4 99 22 49 11 02 23 48 25 93 11 02 23 48 0 09 2 11 2 88 4 2 11 2 88 7 87 5 42 2 54 5 98 5 42 2 54 0 2 1 01 2 36 5 4 01 2 36 11 51 1 32 2 81 3 11 1 32 2 81 0 09 1 13 2 1 6 113 21 11 94 0 65 0 3 0 72 0 65 0 3 0 2 1 0 2 04 7 1 0 2 04 11 99 0 16 0 34 0 37 0 16 0 34 0 09 1 02 2 01 8 1 02 2 01 12 0 08 0 04 0 09 0 08 0 04 0 2 1 0 2 01 9 1 0 2 01 12 0 02 0 04 0 04 0 02 0 04 0 09 1 0 2 0 10 1 0 2 0 12 0 01 0 0 0 01 0 01 0 0 0 2 1 0 2 0 if 10 2 0 12 0 0 0 0 0 01 s TAB 3 2 ex cution de la m thode du gradient pour le probl me P depuis 2 27 La m thode a eu besoin de presque deux fois plus d it rations que lors de la premi re ex cu 18 tion soit 5 de plus pour trouver une approximation du minimum 1 2 d une pr cision quiva lente alors que la distance entre le point initial et le minimum tait sensiblement la m me Nous l expliquons par le fait que les z ne sont plus aussi proches des intersections de l ellipse avec ses axes ce qui implique qu chaque it ration
2. Comme conditions d arr t des m thodes de p nalit s en effet celles ci s arr tent lorsque les valeurs de la fonction objectif en deux points g n r s cons cutivement x et xt arrondies cette valeur sont gales Afin de d terminer si une contrainte est active en un point Cette valeur vaut 4 par d faut Nous aurions pu utiliser cette politique en d autres occa sions par exemple comme condition d arr t d algorithmes de minimisation sans contraintes Cependant il para t dans de tels cas plus appropri de permettre l utilisateur de sp cifier ces conditions de mani re explicite ainsi que d ventuellement choisir entre plusieurs conditions d arr t Ce menu contient une autre option appel e Interrompre l ex cution Elle permet de sp cifier une valeur enti re indiquant quand l utilisateur souhaite tre interrog pour ventuellement forcer la fin d une ex cution si celle ci se r v le trop longue A chaque fois que le nombre d it rations atteint un multiple de cet valeur l application demande si l ex cution doit ou non tre poursuivie Cette valeur est 200 par d faut 5 3 Sp cifications des fonctions et autres donn es d entr e d un algorithme Fonctions On s int resse ici la mani re de d finir les fonctions qu il s agisse de la fonction objectif ou des contraintes Pour tout probl me les variables doivent tre index es entre 1 et la dimension de celui ci c e
3. gt HiV gilx gt XVhi x 0 iel i 1 Ho Hi 2 0 Wie I Remarque les scalaires u et sont appel s multiplicateurs de Lagrange et la fonction d finie ci dessus est parfois appel e fonction de Lagrange La condition d optimalit de Kuhn Tucker Un inconv nient pos par la condition de Fritz John est le suivant si uo est gal z ro alors la condition ne comporte aucune information relative au gradient de la fonction objectif ce qui signifie qu elle ne fournit pas d information relative notre probl me Dans un tel cas elle assure simplement qu il existe une combinaison lin aire non triviale et non n gative si les contraintes sont toutes sous forme d in galit s des gradients des contraintes actives qui est gale au vecteur nul dans ce cas elle ne nous est pas utile en pratique pour d terminer si un vecteur est optimal Le cas o pip est strictement sup rieur z ro est donc plus int ressant Dans cette optique des conditions ont t d velopp es ind pendamment par Kuhn et Tucker en 1951 qui sont pr cis ment les conditions de Fritz John ceci pr s qu une hypoth se y a t ajout e impliquant que uo ne puisse pas tre gal z ro Diff rentes hypoth ses peuvent tre pos es sur les contraintes afin de garantir que uo gt 0 de telles hypoth ses sont appel es qualification des contraintes Dans le th or me nonc ci dessous l on impose que les gradients des contrai
4. 1 08 2 02 0 97 2 01 12 contraction 20 0 97 2 01 1 05 2 07 1 08 2 02 1 05 2 03 11 99 contraction 21 0 97 2 01 1 05 2 07 1 05 2 03 0 97 1 97 12 reflexion 22 0 97 2 01 0 97 1 97 1 05 2 03 1 01 2 01 12 contraction 23 0 97 2 01 0 97 1 97 1 01 2 01 1 0 1 98 12 contraction 24 L 0 1 98 0 97 1 97 1 01 2 01 0 99 1 98 12 contraction 25 L 0 1 98 0 99 1 98 1 01 2 01 1 0 2 01 12 reflexion 26 1 0 2 01 0 99 1 98 1 01 2 01 0 99 2 0 12 contraction 27 1 0 2 01 0 99 2 0 1 01 2 01 1 0 1 99 12 reflexion 28 L 0 1 99 0 99 2 0 1 01 2 01 1 0 2 0 12 contraction 29 1 0 1 99 0 99 2 0 1 0 2 0 1 0 2 0 12 contraction 30 1 0 2 0 0 99 2 0 1 0 2 0 1 0 2 0 12 contraction TAB 3 6 ex cution de la m thode du simplexe pour P probl me de minimisation monodimentionnelle comme c est le cas de la m thode du gradient ni l valuation de l inverse d une matrice comme l exige la m thode de Newton seules quelques op rations arithm tiques l mentaires et des comparaisons de valeurs sont n cessaires chaque it ration En cons quence et apr s avoir r solu d autres probl mes quadratiques nous en concluons que chacun des algorithmes d crits pr c demment peut tre utilis pour r soudre ce type de probl me c
5. 12 13 Ce bouton valide les param tres initiaux une fois ceux ci entr s Ce bouton d clenche l ex cution d un algorithme en entier Ce bouton permet d ex cuter un algorithme en pas pas Ce bouton permet de choisir le nombre d it rations que l on souhaite ex cuter ce nombre sera donn dans le champs situ ses c t s Cette zone contient le tableau qui affiche les valeurs importantes lors d une ex cution Cette zone est la zone d affichage graphique permettant d illustrer une ex cution Ces champs affichent la solution optimale obtenue la fin d une ex cution 44 17 Cette zone affiche les r sultats des tests des conditions d optimalit 18 Ce bouton permet de quitter l application 19 Cette barre permet de changer la zone que l on souhaite observer avec l affichage graphique Le menu Probl me Il sert choisir parmi les probl mes d optimisation non lin aire avec ou sans contraintes Remarque L application incluant des routines pour la r solution de programmes lin aire car comme nous l avons dit au chapitre 4 certains algorithmes d optimisation non lin aire exigent la r solution de ce type de sous probl mes la possibilit de r soudre directement des programmes lin aires est galement offerte Le menu Algorithme L algorithme de r solution d pend bien entendu du type de probl me choisi Si celui ci est un probl me d optimisation non lin aire sans con
6. dire que l in galit stricte Vg x d lt 0 est n cessaire pour garantir la g n ration d une direction admissible alors que l in galit stricte V f x d lt 0 doit tre satisfaite pour qu elle soit de descente Pour trouver un vecteur d satisfaisant ces deux in galit s strictes une possibilit est de minimiser le maximum de la valeur V f x d et des valeurs Vg x d pour i J En d notant ce minimum par z et en introduisant les restrictions interdisant au probl me d tre non born nous obtenons le probl me suivant minimiser z sous contraintes Vf x d z lt 0 Voila d z lt 0 Vie Tl wal Wie 1 n d gt 1 Wie 1 n Si la valeur optimale de z est strictement inf rieure z ro alors d est manifestement une direction de descente admissible Si elle vaut z ro x satisfait la condition de Fritz John comme l tablit le th or me 4 1 4 Th or me 4 1 4 Consid rons le probl me de minimisation de f x sous contraintes g lt 0 pour i 1 m Soient z une solution admissible et I gi x 0 Alors x satisfait la condition de Fritz John si et seulement si la valeur optimale de la fonction objectif du programme lin aire pr c dent est gale z ro Convergence de la m thode En g n ral la convergence de la m thode de Zoutendijk n est pas garantie Un contre exemple attribu Wolfe a montr qu elle pouvait ne pas converger vers un point satisfais
7. 0 0 0 1 0 0 0 1 Remarque cette m me syntaxe est utilis e lors de l affichage de vecteurs et de matrices par l application Cas n cessitant des donn es d entr es sous forme de vecteurs ou de matrices Dans le cas n dimensions la syntaxe du vecteur exprimant le point de d part lors de l ex cution de toute m thode sauf de la m thode de Kelley Dans le cas n dimensions lors de l ex cution des m thodes des directions ou du gradient conjugu pour exprimer la matrice Q et le vecteur b qui contribuent d finir la fonction objectif Dans les cas 2 et n dimensions lors de l ex cution de la m thode des directions conjugu es pour exprimer les vecteurs lin airement ind pendants requis par la m thode Quelle que soit la dimension lors de l execution de la m thode de Nelder et Mead o le simplexe initial est exprim sous forme d une matrice n 1 x n Conditions d arr t Pour les algorithmes sans contraintes il est g n ralement possible de s lectionner plusieurs conditions d arr t Un menu d roulant appara t alors au dessus des champs destin s au point initial non visible sur la figure et permet de s lectionner la condition voulue Polytope initial L ex cution de la m thode de Kelley requiert la sp cification d un polytope initial voir chapitre 4 Il sera d fini dans le champ pr vu cet effet de mani re tout fait analogue aux cont
8. 0 02 0 01 0 01 0 13 2 13 1 07 34 2 13 1 07 0 0 01 0 01 0 01 i z z TAB 3 7 ex cution de la m thode du gradient pour P gt k a f VF V f a CAD dk ere 1 0 0 4 0 80 48 0 32 0 50 0 4 0 4 0 8 0 0 02 0 01 0 01 0 13 0 67 3 67 0 67 0 33 2 0 67 0 33 3 16 9 48 0 0 23 33 4 0 4 0 8 0 0 05 0 02 0 02 0 14 0 44 0 22 1 11 0 56 3 L11 0 56 0 62 2 81 0 0 11 48 4 0 4 0 8 0 0 11 0 05 0 05 0 15 0 3 0 15 1 41 0 7 4 1 41 0 7 0 12 0 83 0 0 6 21 4 0 4 0 8 0 0 24 0 12 0 12 0 18 0 2 0 1 1 6 0 8 5 2 6 0 8 0 02 0 25 0 0 3 87 4 0 4 0 8 0 0 53 0 27 0 27 0 26 0 13 0 07 1 74 0 87 6 1 74 0 87 0 0 07 0 0 2 83 4 0 4 0 8 0 2 0 6 0 6 0 43 0 09 0 04 1 82 0 91 7 1 82 0 91 0 0 02 0 0 2 37 4 0 4 0 8 0 2 7 1 35 1 35 0 8 0 06 0 03 1 88 0 94 8 1 88 0 94 0 0 01 0 0 2 16 4 0 4 0 8 0 z z 2 TAB 3 8 ex cution de la m thode de Newton pour Pz La m thode du gradient a eu besoin de 34 it rations pour trouver une approximation du mi nimum alors que la m thode de Newton n en a n cessit que 8 Autre diff rence rema
9. 27 Zmar Alors un nouveau point new amen remplacer Zmar dans le simplexe est calcul en fonction des co ts de zres et des points du simplexe autres que maz En fonction de cela new pourra tre d termin selon trois phases diff rentes d crites ci dessous 1 Si f min gt f ref l expansion est effectu e Le point Zerp est calcul Terp 2Tref EE et Znew est d fini comme suit va Fesp sen lt f Tref E Tref sinon 2 Si max iz f a gt f Eref Z f Emin la r flection est effectu e Znew est simplement d fini comme tant gal ref 3 Si f tres gt max iz J 2 la contraction est effectu e Znew est calcul comme suit x Emar 7 si Emaz f amp ref new 5 Xref sinon Dans les trois cas le nouveau simplexe est form en rempla ant Tmax Par Znew Il n existe pas de r sultat connu quant 4 la convergence de cette m thode 17 3 5 Etude comparative des m thodes d optimisation sans contraintes Dans cette section nous allons t cher de r soudre des probl mes de mani re r elle gr ce l application d velopp e et comparer les r sultats obtenus pour les diff rentes m thodes Soit le probl me quadratique P minimiser f x 4x 4x2 12 42129 On r sout ce probl me par la m thode du gradient Le point de d part est x1 20 15 et la condition d arr t V f x lt 0 01 Le r sultat est donn dans le
10. 3 1 1 Description de la m thode 3 1 2 Convergence de la m thode La m thode de Newton 3 2 1 Convergence de la m thode de Newton Les m thodes utilisant des directions conjugu es 3 3 1 Description de la m thode 3 3 2 Convergence des m thodes de directions conjugu es La m thode du simplexe Etude comparative des m thodes d optimisation sans contraintes 4 M thodes it ratives d optimisation avec contraintes 4 1 4 2 4 3 4 4 4 5 4 6 Les m thodes de directions admissibles 4 1 1 La m thode de Frank et Wolfe 4 1 2 La m thode de Zoutendijk Les m thodes de plans s cants 4 2 1 La m thode de Kelley Les m thodes de p nalit int rieure ou m thodes de barri re Les m thodes de p nalit ext rieure Comment trouver un point initial admissible Etude comparative des m thodes d optimisation avec contraintes 11 12 12 13 14 14 14 14 16 16 18 5 7 Manuel d utilisation de l application 5 1 D marrage de l application 5 2 Choix du probl me et de l algorithme
11. Neyman Uneversity of California Press 1951 F A Lootsma Numerical Methods for Non linear Optimization Academic Press 1971 F A Lootsma Hessian matrices of penalty functions for solving constrained optimization problems Philips Res Rept vol 24 p 322 331 1969 F A Lootsma Boundary properties of penalty function for constrained minimization Philips Res Rept Supp vol 3 1971 F A Lootsma Numerical Methods for Non linear Optimization Academic Press 1971 O L Mangasarian R R Meyer S M Robinson Nonlinear programming volume 1 2 3 Academic Press 1972 1975 1978 G P McCormick A second order method for the linearly constrained programming problem dans 15 vol 1 p 207 243 Academic Press 1970 Michel Minoux Programmation math matique th orie et algorithmes Dunod 1989 J A Nelder R Mead A simplex method for function minimization Computer J vol 7 p 308 313 1965 G L Nemhauser A H G Rinnooy Kan M J Todd Optimization volume 1 North Holland 1989 David A Wismer R Chattergy Introduction to nonlinear optimization a problem solving approach North Holland 1978 56 21 R Wolfe On the convergence of gradient methods under constraints Research Rept IBM Zurich Laboratory 1966 22 G Zoutendijk Methods of feasible directions Elsevier 1960 23 G Zoutendijk Mathematical Programming Methods North Holland 1976 57
12. dente montre que ce n est pas le cas bien entendu on ne peut n anmoins pas g n raliser avant d avoir r p t ce type d exp riences de nombreuses reprises et avec diff rents probl mes L avantage que la minimsation monodimen tionnelle donne a la m thode du gradient est domin par le fardeau que constitue le zigzag avec cette derni re suite une quarantaine d it rations la composante x a diminu et est de l ordre de 104 cependant la composante x2 est toujours stable et de l ordre de 10 ce qui montre que la m thode s est mise zigzaguer tr s t t expliquant la mauvaise performance Pour la m thode de Newton le point trouv l it ration 40 est 6784 83 3392 41 Ainsi d s les premi res it ration la m thode de Newton a progress consid rablement plus vite que la m thode du gradient On soulignera cependant deux choses tout d abord le comportement de la m thode du gradient est fortement influenc par le point initial lui m me on ne parle pas ici de sa distance au minimum Il est possible que ex cut e depuis un autre point tout aussi loign le nombre d it rations n cessit par la m thode du gradient e t t bien moindre il est par exemple int ressant de constater que d marrer la m thode en 5 1010 1 10 ram ne le nombre d it rations n cessaire 22 999 De plus il se peut que cette fonction soit particuli rement bien approchable par une fonction
13. ration r alis e 1 C20 0 15 0 10 0 8 0 0 0 10 0 10 0 3 0 280 reflexion 2 10 0 3 0 10 0 8 0 0 0 10 0 2 5 7 25 220 75 contraction 3 10 0 3 0 2 5 7 25 0 0 10 0 4 38 5 81 40 23 contraction 4 4 38 5 81 2 5 7 25 0 0 10 0 1 88 3 06 8 14 reflexion 5 4 38 5 81 2 5 7 25 1 88 3 06 0 31 5 84 59 56 contraction 6 4 38 5 81 0 31 5 84 1 88 3 06 1 72 5 14 20 49 contraction 7 4 38 5 81 1 72 5 14 1 88 3 06 0 78 2 39 4 08 reflexion 8 0 78 2 39 1 72 5 14 1 88 3 06 0 62 0 31 1 02 reflexion 9 0 78 2 39 0 62 0 31 1 88 3 06 1 33 1 34 8 93 contraction 10 1 33 1 34 0 62 0 31 1 88 3 06 0 49 1 26 10 26 contraction 11 1 33 1 34 0 49 1 26 1 88 3 06 1 39 2 18 11 54 contraction 12 1 33 1 34 0 49 1 26 1 39 2 18 0 55 2 1 10 98 reflexion 13 0 55 2 1 0 49 1 26 1 39 2 18 0 73 1 7 11 67 contraction 14 0 55 2 1 0 73 1 7 1 39 2 18 0 81 2 02 11 83 contraction 15 0 81 2 02 0 73 1 7 1 39 2 18 1 08 2 02 11 98 contraction 16 0 81 2 02 0 73 1 7 1 08 2 02 0 84 1 86 11 91 contraction 17 0 81 2 02 0 84 1 86 1 08 2 02 0 88 1 98 11 95 contraction 18 0 88 1 98 0 84 1 86 1 08 2 02 1 05 2 07 11 98 contraction 19 0 88 1 98 1 05 2 07
14. 9 2 Cela peut para tre surprenant au premier abord et l explication en est la suivante lorsque e est suffisamment grand la fonction f x eB x devient convexe en d pit de la concavit de f x En effet lorsque est grand le terme convexe eB x domine le terme f x et augmente plus rapidement que f x ne diminue lorsque la fronti re du domaine est approch e A nsi la m thode directe de Newton converge vers le minimum global de f x eB x Le th or me 4 3 1 s applique de sorte que la m thode de barri re converge vers le minimum global de f sur X Apr s que l ex cution ait d marr avec un e suffisamment grand ce param tre est pro gressivement r duit et ainsi le terme f x reprend petit petit le dessus sur le terme eB x f x eB x n est donc pas convexe et il se pourrait tr s bien que la m thode de Newton converge vers le maximum global 4 2 1 9 Cependant encore faudrait il qu elle soit d marr e proximit suffisante de ce point La m thode de barri re utilise toujours le point obtenu l it ration pr c dente comme point de d part de la prochaine ex cution de la m thode de New ton Or ce point sera trop proche du minimum recherch et trop loin de ce maximum d aux it rations pr c dentes qui ont permis de s en rapprocher Lorsque est faible et que f x eB x tend vers f x la m thode de Newton est lanc e depuis un point proche du minimum recherch et donc elle est attir
15. Apr s les avoir utilis es en pratique nous comparerons leur performances Enfin des strat gies destin es fournir aux algorithmes un point initial admissible en partant d un point quelconque de R seront discut es Remarque toute contrainte sous forme d galit peut tre exprim e de mani re quivalente par deux in galit s h x 0 peut tre exprim sous la forme hj x lt 0 h x lt 0 Au travers des sections suivantes nous admettrons donc que X n est d fini que part une collection de m in galit g x lt 0 puisque cela n induit aucune perte de g n ralit Nous agirons de la sorte pour toutes les m thodes sauf la m thode de barri re et la m thode de Zoutendijk pour les contraintes non lin aires qui nous verrons pourquoi ne sont pas en mesure de traiter de contraintes sous forme d galit s 26 4 1 Les m thodes de directions admissibles Cette classe de m thodes r sout un probl me de minimisation non lin aire en se d pla ant d un point de X vers un autre de ses points au co t inf rieur Elles fonctionnent selon le principe suivant tant donn un l ment x de X une direction d est g n r e telle que pour un a gt 0 et suffisamment petit les propri t s suivantes sont assur es 1 z afd appartient toujours X 2 f x a d est inf rieur f x Une fois d d termin e a s obtient par minimisation monodimentionnelle pour que le d placem
16. de l application sont une classe utilis e pour l affichage toutes les m thodes pour la gestion des entr es et sorties y sont regroup es Le contr leur est galement impl ment sous forme d une classe unique Par contre une collection de classes ont t impl ment es pour le mod le chaque algorithme d optimisation se voyant consacrer sa propre classe Ce choix a t effectu car ces algorithmes reposent parfois sur des principes trop diff rents les uns des autres qui plus est chaque algorithme est applicables sous des conditions qui lui sont propres C est pourquoi il semblait plus ais de s parer clairement les impl mentations de chaque algorithme plut t que de les regrouper ou encore de d finir une classe g n rique dont chacune des m thodes serait d finie en tant que sous classe On peut noter la pr sence sur la figure 6 1 du parser dont le r le est de prendre en entr e les fonctions telles que l utilisateur la d finit sous forme d une cha ne de caract res et de retourner les fonctions mod lis es sous une forme interpr table par les algorithmes ou l affichage Il est impl ment sous forme de plusieurs classes chacune tant consacr e aux diff rents types de cha nes de caract res interpr ter Bien entendu ces l ments principaux s ajoutent un certain nombre de classes annexes impl mentant les fonctionnalit s additionnelles n cessaires l application On trouvera ci dessous
17. diff rence notable tant que la m thode de p nalit ext rieure ne n cessite aucunement un point initial int rieur X 4 5 Comment trouver un point initial admissible La plupart des m thodes que nous venons de d crire doivent d marrer d un point admissible la m thode de barri re est m me plus exigeante car elle doit partir depuis un point admissible int rieur Pour certains probl mes il se peut qu un tel point ne soit pas imm diatement dis ponible et ne soit pas facile trouver notamment si les contraintes ne sont pas lin aires Il est important de pouvoir disposer de strat gies permettant de trouver un tel point partir d un point quelconque Consid rons les m thodes de directions admissibles qui doivent partir d un point satisfaisant les contraintes non n cessairement int rieur et d crivons une m thode pour trouver un tel point 33 Soit le probl me de minimisation de f x sous contraintes g x lt 0 avec i 1 m Nous choisissons un point z quelconque On d finit J l ensemble des contraintes satisfaites en Z I i 9 Z lt 0 Nous avons donc g x gt 0 Vi I Penchons nous sur le probl me suivant minimiser gt Vi igI sous contraintes g x lt 0 Vel gi z w lt 0 WET yi 0 Vig I Il est possible de montrer qu une solution admissible du probl me original existe si et seule ment si la valeur objective optimale du probl me ci dessus est gale z ro Soit y un
18. du m me point avec des param tres suffisamment lev s 40 et B 0 7 pour Py converge vers 0 0 qui est la solution optimale globale Il est int ressant de noter la trajectoire des it rations visible sur la figure 4 3 Celle ci longe d abord la fronti re de la contrainte 22 10 a7 lt 500 Ceci peut s expliquer de la mani re suivante le point x obtenu apr s la premi re minimisation se trouve pratiquement sur la fronti re de cette derni re contrainte la p nalit associ e est donc quasiment nulle La m thode cherche la mani re la plus directe de minimiser f x P x c est pourquoi elle tente de minimiser la p nalit associ e la contrainte lin aire voisine x1 2 lt 3 avant de se d placer plus directement vers la r gion admissible En recommengant la m thode depuis d autres point initiaux tels que 40 40 300 200 ou encore 3000 2500 la s quence de points obtenus est semblable la pr c dente ce qui tend montrer que la m thode n est pas sensible au point initial On utilise pr sent la m thode de Zoutendijk pour le cas des contraintes non lin aires Si cette m thode est lanc e depuis le point initial admissible 15 15 on observe qu elle est attir e par le minimum local 13 5 16 5 Lanc e depuis 20 20 elle termine au minimum local 19 22 Lanc e depuis 10 5 elle converge vers le minimum global 0 0 On remarque que cette m thode est galemen
19. ensemble de toutes les directions admissibles de X en x A d d 0etrx ade X Va 0 amaz pour un certain maz gt 0 Il serait avantageux de trouver un moyen de la convertir en une condition plus pratiquement utilisable mettant en jeu des quations ou des in quations La strat gie suivante peut tre utilis e cette fin des sous ensembles de disons G et H peuvent tre d finis en fonction respectivement des gradients des g actives en x et des h i Il d coule ensuite du fait que A N D j soit une condition n cessaire d optimalit le fait que GNHND f le soit galement La condition d optimalit de Fritz John La condition donn e ci dessus peut tre galement exprim e par les relations tablies au th or me suivant attribu Fritz John 1948 Th or me 2 3 1 condition n cessaire de Fritz John Soient un ensemble X C R avec X une fonction f R R et un vecteur x X Nous admettons que X est d fini par une collection de m in galit s g x lt 0 et de r galit s h x 0 avec gi R gt R Vi 1 2 m et hi R gt R Vi 1 2 r Supposons de plus que f les g et les h sont continuellement diff rentiables pour tout i Soit I l ensemble des contraintes sous forme d in galit s actives en x I il gi x 0 Si x est un minimum local alors il existe des scalaires Lo 41 Um et A1 Ar non tous gaux z ro tels que HoV f x
20. fa on analogue la m thode de barri re nous introduisons un param tre u qui permet d amplifier ou de diminuer sa valeur et chaque it ration le sous probl me r soudre l aide d une m thode de minimisation directe sera de la forme suivante minimiser f x uP x avec x R Lorsque u est grand une plus grande importance est attach e l admissibilit au sens du probl me contraint original ce qui sugg re que la m thode doit commencer avec un p qui n ait pas une valeur trop lev e afin d viter une terminaison pr matur e en un point certes admissible mais qui pourrait se trouver loin de l optimum puis augmenter celui ci progressivement pour s approcher de l ensemble admissible du probl me original Ainsi la s quence y utilis e devra tre telle que 0 lt u lt u tt avec y oo lorsque k gt oo Un param tre additionnel 6 gt 1 est utilis pour g n rer p Buk A chaque it ration la m thode obtient donc x de la mani re suivante x arg min f x p P a xER Le comportement de la m thode de p nalit ext rieure est tr s similaire celui de la m thode de barri re En particulier des r sultats th oriques quivalents peuvent tre tabli et assurer sa convergence Les consid rations plus pratiques principalement lorsque u cro t sont galement similaires celles donn es pour la m thodes de barri re voir les sections 4 3 et 4 6 la seule
21. la direction du gradient est relativement loign e de celle menant au minimum conduisant une convergence plus lente Pouss l extr me ce ph nom ne conduit des ex cutions au cours desquelles la direction du gradient est pratiquement orthogonale celle menant au minimum produisant le fameux ph nom ne de zigzag et conduisant une convergence de la m thode consid rablement lente Cela peut tre typiquement observ lorsque les courbes de niveau sont allong es la m thode du gradient se r v le alors particuli rement peu efficace Nous pouvons galement observer la forte d pendance du comportement de la m thode du gradient son point de d part En effet une cons quence du raisonnement pr c dent est que pour un probl me donn il est possible qu elle converge vite depuis un point initial et extr mement lentement depuis un autre point Nous ex cutons maintenant les algorithmes de Newton des directions conjugu e du gradient conjugu et du simplexe pour r soudre ce probl me Le r sultats obtenu pour la m thode de New ton est la condition d arr t est la m me que pr c demment c est dire V f x lt 0 01 k af FE Vf eC V7 F d ee 20 0 15 0 3520 220 0 188 0 8 0 4 0 4 0 8 0 0 17 0 08 0 08 0 17 21 0 13 0 1 0 2 0 2 10 20 12 0 0 0 0 8 0 4 0 4 0 8 0 TAB 3 3 ex
22. la somme est non nul de sorte que cette m thode impl ment e se r v le ainsi plus rapide que la m thode d crite pr c demment qui applique la proc dure de Gram Schmidt des vecteur lin airement ind pendants quelconques 3 3 2 Convergence des m thodes de directions conjugu es Comme nous le mentionnions pr alablement le th or me suivant peut tre d montr Th or me 3 3 1 Soit x le point obtenu la ni it ration d une m thode de directions conjugu es sous les hypoth ses d crites la section 3 3 1 en partant de x quelconque Alors x est un minimum global de f sur R La m thode converge donc de mani re finie pour peu que les hypoth ses pr c dentes soient respect es Il convient de mentionner qu il est galement possible d employer les m thodes de directions conjugu es pour r soudre des probl mes non quadratiques Cependant il faut pour cela recourir des strat gies permettant de surmonter la perte de conjugaison des directions g n r es due la pr sence de termes non quadratiques dans la fonction objectif Toutefois de telles impl mentations n ayant pas t r alis es dans le cadre de ce projet la description de telles m thodes est au dela du cadre de ce document 3 4 La m thode du simplexe C est un euph misme que de dire que la m thode du simplexe ne pas confondre avec la m thode du simplexe pour la programmation lin aire galement appel e m
23. les autres valeurs initiales n cessaires Ce dernier est pr sent en mesure d initialiser le bon algorithme avec les valeurs initiales correctes 6 En fonction des v nement provoqu s par l utilisateur l interface transmet au contr leur le nombre d it rations effectuer Celui ci appelle de mani re ad quate les m thodes de la classe impl mentant l algorithme 7 Une fois les it rations requises ex cut es l algorithme transmet les r sultats au contr leur qui met la vue jour Ces deux derni res tapes 6 et 7 peuvent tre r p t es un nombre quelconque de fois 8 Finalement lorsqu une condition d arr t est satisfaite la fin d une it ration l algorithme teste les conditions d optimalit et transmet tous les r sultats au contr leur qui met jour la vue 53 Il est noter que pour peu qu une ex cution compl te de la m thode n ait pas t ordonn e celle ci peut tre interrompue tout moment si l utilisateur choisi de d marrer une nouvelle ex cution o change l un des l ments tels que cette derni re le probl me ou la dimension Le contr leur passe alors dans l tat correspondant et les donn es relatives l ex cution pr c dente sont supprim es 6 3 Repr sentation des fonctions La repr sentation des fonctions que n cessite une telle application doit tre en mesure de r pondre de nombreuses requ tes Bien entendu nous devons tre capables d
24. m thode puisse tre appli qu e comme c est le cas par exemple pour la m thode de Kelley qui requiert des contraintes convexes Les m thodes de directions admissibles Les m thodes de directions admissibles qui ont t impl ment es celles de Frank et Wolfe et de Zoutendijk se basent sur le gradient de la fonction objectif pour d terminer une direction de mouvement on ne peut donc pas attendre de ces m thodes qu elle convergent vers des minima globaux elle seront attir e par tout type de minimum local ou global Obsevons que la m thode de Frank et Wolfe puisse dans certain cas galement tomber dans le cas d une convergente tr s lente en zigzag En effet le point Z determin chaque it ration afin de produire une direction est typiquement un point extr me du polytope form par les contraintes suppos es lin aires rappelons le Il est donc possible que la direction d obtenue soit presque orthogonale la direction menant au minimum voir la figure 4 5 Nous allons maintenant r soudre des probl mes l aide des diverses m thodes et critiquer les r sultats obtenus Soit P minimiser a 4 2 a2 1 9 sous contraintes 1 2 lt 3 z z2 lt 11 2 1 2 lt 16 1 T2 lt z2 lt 5 1 2 gt 0 Nous allons r soudre ce probl me par diff rentes m thodes depuis plusieurs points initiaux Le tableau 4 1 montre les points vers lesquels ch
25. ment si la valeur optimale de la fonction objectif du programme lin aire pr c dent est gale Zero Ainsi la m thode de Zoutendijk se termine si la valeur optimale de la fonction objectif de ce programme lin aire est nulle car elle se trouve alors en un point x qui satisfait les conditions de Kuhn Tucker Cas des contraintes non lin aires Si au point courant x une contrainte non lin aire g est active le probl me de recherche d une direction pr sent au paragraphe pr c dent peut aboutir au choix d une direction non admissible En effet un vecteur d satisfaisant Vg x d 0 est tangent la courbe g x 0 En raison de la non lin arit de g il se peut que tout d placement dans cette direction conduise en 28 un point non admissible Cette approche doit donc tre modifi e pour pouvoir prendre en compte ce type de contraintes Nous non ons ci dessous un th or me qui permettra de surmonter cette difficult Th or me 4 1 3 Consid rons le probl me de minimisation de f x sous contraintes g lt 0 pour i 1 m Soient z une solution admissible et J l ensemble des contraintes actives en ak I i g i x 0 Supposons de plus que f et les g sont continues et continuellement diff rentiables Si V f x d lt 0 et Vgi a d lt 0 Vi J alors d est une direction de descente admissible de f en x Ce r sultat ne fait que confirmer ce quoi nous nous attendions c est
26. ne sorte pas de cet ensemble et si cela est tout de m me le cas recommencer avec un e ou un plus grand Dans le cas contraire si e est trop grand l algorithme de minimisation directe ne pourra s approcher suffisamment des bords du domaine conduisant une convergence globale lente Ces param tres doivent donc tre soigneusement choisis d apr s le probl me et le point initial Remarque en dehors de x les points obtenus l it ration pr c dente sont chaque it ration utilis s comme points de d part de l algorithme de minimisation directe cela est valable pour les deux types de m thodes de p nalit 4 4 Les m thodes de p nalit ext rieure Au contraire de celles que nous venons de d crire les m thodes de p nalit ext rieures cherchent approcher le minimum depuis l ext rieur de X Au co t f x est ajout une fonction de p nalit ext rieure P x dont la valeur est gale z ro si x est admissible et sup rieure 32 z ro s il ne l est pas L ajout de cette fonction a pour seul but de p naliser le co t en cas de violation d une ou de plusieurs contraintes Dans ce projet la fonction de p nalit quadratique est utilis e c est dire que P x est d finie ainsi P x gi x wi gi x i BR ou fo si g x lt 0 ui lgi x tos ae gt 0 La fonction u gi x sert ignorer la p nalit si la contrainte correspondante est satisfaite De
27. point ce quoi nous nous attendions car f est convexe Son comportement n est pas proprement parler un zigzag mais consiste rejoindre un point o la contrainte unique est active et voyage 39 ensuite par petits d placements succissifs le long de la fronti re sans traverser celle ci cela est visible sur la figure 4 4 Fic 4 4 illustration des premi res it rations de la m thode de Zoutendijk pour P en partant de 1 1 On r sout maintenant ce probl me par la m thode de Kelley avec les hyperplans initiaux z gt 0 z lt 8 z2 gt 2 et z2 lt 6 La m thode termine avec le point 7 46 2 0 apr s 19 it rations Les m thodes de p nalit s ext rieure et int rieure convergent elles aussi vers le m me point quelque soit le point initial celui ci devant tout de m me se trouver respectivement l ext rieur et l int rieur du domaine On notera tous de m me que les m thodes de p nalit sont moins bien adapt es ce type de probl me que les m thodes de Zoutendijk et de Kelley car elle sont plus gourmandes en temps de calcul plus lentes offrent des approximations moins pr cises et n cessitent le processus ennuyeux de recommencer la m thode plusieurs fois Nous consid rons maintenant P 40 minimiser r 2x2 T1 T2 sous contrainte 7 2 29 8 lt 0 341 22 9 lt 0 T1 gt 3 r2 gt 4 On remarque que f est une fonction hyperbolique non conve
28. pour le r soudre 5 3 Sp cifications des fonctions et autres donn es d entr e d un algorithme 5 4 Ex cution d un algorithme Manuel du programmeur de l application 6 1 Architecture g n rale 6 2 Fonctionnement de l application 6 3 Repr sentation des fonctions 6 4 El ments au sujet de l affichage graphique Conclusion 43 43 43 46 48 51 51 52 54 54 55 Chapitre 1 Introduction Les probl mes d optimisation sont incontournables et sont rencontr s dans tous les domaines des sciences de l ing nieur cause entre autres de la concurrence qui n a eu de cesse de se d velopper entre les diff rents acteurs du march les chercheurs ne purent pas se contenter bien longtemps de solutions uniquement vou es satisfaire les contraintes Pour ces raisons le d veloppement des mod les th oriques et des techniques traitant des probl mes d optimisation a connu une acc l ration spectaculaire particuli rement apr s la deuxi me guerre mondiale Durant cette p riode les ing nieurs se sont trouv s face des probl mes la taille et la complexit croissante ce qui fut une motivation pour la recherche de m thodes de r solu tion fiables et syst matiques La plupart d entre elles reposent sur un socle solide de r sultats th oriques tablissant les conditions pour leur convergence vers la solution op
29. qu elle a t impl ment e au cours de projet il s agit pr cis ment du cas particulier ou d V f x c est pourquoi dor navant dans le pr sent document l appellation m thode du gradient sera utilis e uniquement en r f rence ce cas pr cis o d est choisie ainsi et o a est d termin suivant la politique dite de minimisation voir ci dessous C est une propri t int ressante de la direction V f x qui nous conduit ce choix parmi toutes les direction d R normalis es il s agit de celle qui minimise la d riv e directionnelle V f x d de f en zf comme nous allons le voir dans la proposition ci apr s Ainsi la direction que nous choisissons parmi toutes les directions d R telles que d 1 est celle qui minimise la variation de f dans la direction d lorsque a tend vers Z TO Le probl me de recherche de cette direction consiste trouver la direction d qui mini mise V f x d sous contrainte d 1 La proposition ci dessous stipule que la direction d V f x V f x est la solution optimale de ce probl me Proposition 3 1 1 Soient f R R continuellement diff rentiable et x R Supposons que V f x 0 Alors le probl me consistant minimiser f x d sous contrainte d 1 a pour solution optimale d V f x V f x 12 La direction de descente choisie sera donc chaque it ration d V f a V f x Les points sont ainsi successi
30. quadratique Ex cutons maintenant l algorithme de Nelder et Mead pour r soudre ce probl me en partant d un simplexe arbitraire non loin du minimum le simplexe initial est form par 0 4 3 2 et 4 7 et la condition d arr t est V f x lt 0 01 18 it rations sont n cessaires et l algorithme se termine en 2 11 1 05 Si l on remplace la valeur de la condition d arr t par 0 001 29 it rations sont n cessaire et l algorithme se termine en 2 1 Si cet algorithme donne en g n ral de bons r sultats il faut cependant viter de choisir un simplexe initial dont les points seraient trop loign s 25 Chapitre 4 M thodes it ratives d optimisation avec contraintes Nous consid rons ici le probl me minimiser f x sous contrainte x X o X est d fini par une collection d in galit s g x lt 0 et d galit s h x 0 c est dire A 2 o o lt 0 Let aveci 1 m et j 1 r Nous d crivons les principales m thodes it rative impl ment es pour ce probl me II s agira des classes de m thodes suivantes 1 Les m thodes de directions admissibles 2 Les m thodes de plans s cants 3 Les m thodes de p nalit int rieure 4 Les m thodes de p nalit ext rieure Les champs d application de ces m thodes soit les hypoth ses sous lesquelles elles s ap pliquent seront notamment mentionn s et elles seront analys es du point de vue de leur conver gence
31. tableau 3 1 les valeurs ont t arrondies deux d cimales pour une lecture plus confortable k cM F z V f z VEED 4 vs o ee 1 20 0 15 0 3520 220 0 188 0 289 39 220 0 188 0 0 08 1 59 0 73 2 1 59 0 73 16 39 9 81 11 48 15 1 9 81 11 48 0 25 0 83 2 1 3 0 83 2 1 iw 1 77 1 51 2 33 1 77 1 51 0 08 0 98 1 98 4 0 98 1 98 12 0 08 0 09 0 12 0 08 0 09 0 25 1 0 2 0 5 10 20 12 0 01 0 01 0 02 0 01 0 01 0 08 1 0 2 0 6 1 0 2 0 12 0 0 0 0 0 z TAB 3 1 ex cution de la m thode du gradient pour le probl me P depuis 20 15 Un premier constat est que la m thode du gradient n a pas eu besoin de beaucoup d it ra tions pour trouver la solution optimale de ce probl me en partant de ce point initial Cela est d en partie au fait que celui ci se trouve judicieusement plac les lignes de co t gal de f sont des ellipses centr es autour du minimum et chaque it ration x se trouve proche d un point d intersection de l ellipse avec l un de ses axes il s ensuit que depuis de tels points la direction menant au minimum est proche de la direction donn e par le gradient permettant la m thode de progresser rapidement Si nous r solvons le m me probl me en partant du point 2 27 nous obtenons
32. tait faiblement modifi De nombreux auteur ont montr que le nombre de conditionnement de cette matrice augmente proportionnellement l inverse de de sorte que la matrice est de plus en plus mal conditionn e mesure que approche 0 Elle tend alors vers la singularit ce qui contribue a d grader la performance de la m thode de Newton employ e pour la minimisation directe Ainsi on s aper oit qu en vue d une utilisation pratique les m thodes de barri re ne sont pas exemptes de d fauts N anmoins elles pr sentent aussi des avantages certains sur les m thodes de directions admissibles Elles se r v lent tout d abord particuli rement efficaces lorsque les contraintes sont non lin aires En effet si les contraintes lin aire peuvent tre prises en charge avec succ s par de nombreux algorithmes dont les m thodes de directions admissibles il en est autrement des contraintes non lin aires nous avons vu qu elles avaient plus de difficult les traiter Au contraire de ces derni res qui traitent les contraintes non lin aires explicitement les m thodes de p nalit vitent la t che compliqu e et co teuse consistant se d placer le long de la fronti re de l ensemble admissible en prenant garde ne pas la franchir ou en effectuant des mouvements correctifs apr s en tre sorti De plus aucune hypoth se particuli re ni sur la fonction objectif ni sur les contraintes n est n cessaire pour que la
33. valuer celles ci ainsi que de calculer leurs d riv es I est galement souhaitable de pouvoir par exemple v rifier si une fonction est lin aire si oui d terminer les coefficients des diff rentes variables v rifier qu une fonction contienne des variables ou encore nous assurer qu elle soit conforme certaines restrictions assurant le fonctionnement correct d un algorithme Une l gante solution r pondant ces exigences consiste en la repr sentation des fonctions sous forme d arbre binaires o les feuilles sont constitu es des valeurs constantes et variables et o les noeuds internes sont les op rateurs Du point de vue de la programmation il faut que la structure de ces arbres soit telle que tout arbre se compose d un noeud d un sous arbre gauche et d un sous arbre droit et non pas par exemple d un ensemble de noeuds Gr ce cette repr sentation la r cursivit peut tre utilis e afin d effectuer ais ment et efficacement toutes les op rations n cessaires sur les fonctions valuation calcul des d riv es premi re et seconde tests d terminant si la fonction est lin aire si elle est conforme aux restrictions etc Pour int grer les op rateurs unaires un arbre il suffit de laisser dans ce cas l un de ses deux sous arbres vides Ceux ci sont construits par le parser directement d apr s les fonctions tap es au clavier par l utilisateur 6 4 El ments au sujet de l affichage g
34. Ecole Polytechnique F d rale de Lausanne Facult Sciences de Base Chaire de Recherche Op rationnelle Sud Est Projet de master 2005 2006 Etude et illustration de m thodes it ratives d optimisation non lin aire Travail pr sent par Thierno Diallo section d informatique Enseignant responsable Professeur Dominique de Werra Assistant responsable Benjamin Leroy Beaulieu Lausanne avril 2006 mac COLE POLY TECHNIQU FEDERALE DELAU SANNE Chaire de Recherche Op rationnelle Sud Est EPFL FSB IMA ROSE COLE POLYTECHNIQUE 1015 Lausanne FEDERALE DE LAUSANNE Hiver 05 06 Travail pratique de Master Sujet ETUDE ET ILLUSTRATIONS DE M THODES IT RATIVES D OPTIMISATION NON LIN AIRE Candidat Thierno Diallo section d informatique Responsable Benjamin Leroy Beaulieu Introduction En raison de leurs applications nombreuses on a besoin de logiciels de plus en plus performants pour r soudre des probl mes d optimisation non lin aire de grande taille Des techniques vari es ont t propos es pour s attaquer des probl mes com portant des fonctions objectifs et des contraintes essentiellement non lin aires But du projet Il s agira d tudier un certain nombre de m thodes classiques bas es notamment sur les gradients des fonctions optimiser ces techniques seront analys es du point de vue de leur convergence et le candidat aura pour t che de les mettre en oeuvre en les p
35. acune des m thodes converg en fonction du point initial La m thode de barri re a t ex cut e avec les param tres e 10 et 3 0 8 Les m thodes ont converg vers divers minima locaux notons que tous ces points satisfont la condition n ces saire de Kuhn Tucker d apr s leur point de d part La solution optimale globale de ce probl me 39 pt initial pt final Frank et Wolfe pt final Zoutendijk pt final barri re 1 0 1 0 0 0 1 0 0 0 1 0 0 0 3 0 3 0 4 0 2 0 5 0 2 0 5 0 0 0 3 0 5 0 2 0 9 0 2 0 9 0 2 0 4 2 5 0 4 0 2 0 0 0 3 0 0 0 3 0 4 2 5 0 6 0 4 0 6 0 5 0 6 0 5 0 9 0 2 0 TAB 4 1 points finaux des diff rentes m thodes pour P1 9 2 n a t atteinte qu une fois par chaque m thode Cela n est pas surprenant car les g sont convexes et f concave Ainsi ces trois m thodes que ce soient les m thodes de directions ad missibles qui sont guid es par le gradient ou la m thode de barri re qui utilise la m thode de Newton pour la minimisation directe sont attir es par les minima locaux situ s dans le voisinage de leur points de d part Observons plus particuli rement le comportement de la m thode de barri re pour laquelle nous recommencons l exp rience avec e 50 3 vaut toujours 0 8 avec les m me points ini tiaux On constate que cette fois ci elle a converg chaque reprise vers
36. aire Signalons que si f et les g sont convexe f x eB x l est galement car elle est la somme de fonctions convexes Tout point stationnaire d une telle fonction tant un minimum global voir la section 2 2 le th or me 4 3 1 s applique et nous avons la garantie que la m thode de barri re convergera vers le minimum global du probl me contraint original et ce m me si l algorithme de minimisation directe utilis n est vou qu approcher des minima locaux Bien entendu le comportement de la m thode d pend fortement du choix du param tre e initial et du facteur disons satisfaisant 0 lt 8 lt 1 utilis pour d croitre e chaque it ration par la formule e BeF Il n existe a pas de r gle universelle permettant d obtenir un bon choix de e et de 3 Cela d pend fortement du probl me r soudre ainsi que du point initial x celui ci se trouve t il ou non proximit de la fronti re du domaine L utilisateur d une m thode de barri re sera souvent condamn ex cuter la m thode plusieurs fois avec diff rentes valeurs de ces param tres jusqu obtenir une convergence satisfaisante Les faits suivants peuvent n anmoins tre relev s si e est trop petit et plus forte raison si x est proche des bords du domaine le terme de barri re peut se r v ler trop faible ne parvenant pas emp cher une sortie de X il faut donc prendre garde durant l ex cution et v rifier que l on
37. aison pour laquelle cette condition est appel e condition n cessaire du premier ordre Remarque si f est convexe la condition n cessaire du premier ordre est galement suffisante pour que soit un minimum global Dans le cas o f est deux fois continuellement diff rentiable une autre condition n cessaire est donn e par le th or me 2 2 2 Elle est appel e condition n cessaire du second ordre car elle fait intervenir la matrice hessienne de f que nous noterons V f dont les l ments sont ses secondes d riv es partielles Th or me 2 2 2 condition n cessaire du second ordre Soient f R R deux fois continuellement diff rentiable et x R Si x est un minimum local de f alors Vf x 0 et V f x est semi d finie postitive 2 2 2 Conditions suffisantes Les conditions donn es pr c demment sont n cessaires si f n est pas convexe c est dire qu elle doivent tre satisfaites pour tout minimum local cependant tout vecteur v rifiant ces conditions n est pas n cessairement un minimum local Le th or me 2 2 3 tablit une condi tion suffisante pour qu un vecteur soit un minimum local si f est deux fois continuellement diff rentiable Th or me 2 2 3 condition suffisante du second ordre Soient f R R deux fois continuellement diff rentiable et x R Si Vf x 0 et V f x est d finie positive alors x est un minimum local de f 2 3 Cas avec contra
38. ant les conditions de Kuhn Tucker Observons qu avec l emploi de cette m thode nous ne pouvons pas traiter de contraintes non lin aires qui soient sous forme d galit s car il ne serait pas possible de g n rer une direction de d placement qui n am ne sortir du domaine Cette difficult peut tre surmont e en in troduisant des mouvement correctifs destin s revenir dans la r gion admissible mais de telles strat gies n ont pas t impl ment es dans ce projet nous ne les d taillerons donc pas ici 4 2 Les m thodes de plans s cants Les m thodes de plans s cants sont applicables si X est ferm si les contraintes qui le d finissent sont convexes X l est donc galement et si f est convexe Si f est lin aire le principe de ces m thodes est d enfermer l ensemble des solutions admissibles dans un polytope 29 P form d au moins n 1 hyperplans c est le nombre minimal d hyperplans que doit comporter le polytope initial au d but de l ex cution P d finit alors un nouvel ensemble de solutions admissibles et le probl me consistant minimiser f sur P est un programme lin aire Si sa solution optimale appartient X l ex cution est termin e car cette solution est galement celle du probl me original Sinon un nouvel hyperplan est introduit r duisant P un nouveau polytope Celui ci doit r pondre deux exigences il ne doit tout d abord liminer aucune solution admissible
39. co teux en terme de calculs On peut remarquer que la m thode s arr te galement lorsque Vf x 0 car il s ensuit que z t x Si en plus V f x est d finie positive alors la condition suffisante donn e au th or me 2 2 3 est satisfaite impliquant que soit un minimum local Notons que la m thode de Newton converge en une seule it ration si f est quadratique 3 2 1 Convergence de la m thode de Newton La m thode de Newton d crite ci dessus pr sente plusieurs inconv nients 1 L inverse de la matrice hessienne V f x peut ne pas exister auquel cas la m thode choue Cela intervient typiquement lorsque la m thode atteint une r gion o f est lin aire ses secondes d riv es partielles valent z ro 2 La m thode de Newton n est pas une m thode de descente il est possible que f x 1 soit sup rieur f x 3 Elle est attir e aussi bien par les minima que par les maxima locaux cette propri t est li e la pr c dente En effet la m thode chaque it ration recherche uniquement un point tel que le gradient de l approximation quadratique soit gal au vecteur nul que ce soit point soint un maximum un minimum ou un point stationnaire La m thode ne converge donc pas en g n ral notamment si elle est d marr e loin d un minimum local pour les premi re et troisi me raisons Cependant elle converge sous certaines restrictions si elle est ex cut e partir d un point
40. ct ristiques per mettent de les distinguer comportent ils des contraintes Les fonction en jeu sont elles li n aires Sont elles quadratiques Sont elles convexes Les domaines de d finition des fonctions sont ils continus ou discrets Tous ces probl mes poss dent des structures diff rentes et ne peuvent tre trait s de la m me fa on Le pr sent projet a pour vocation de se focaliser sur les probl mes d optimisation continue et non lin aire Ceux ci sont habituellement d finis par un ensemble X appel ensemble de solutions admissibles et une fonction objectif f X R qui associe chacun des l ments de X un nombre r el ou un co t nous d signerons d ailleurs par fois galement cette fonction par l appellation fonction de co t au sujet de X la d nomination d ensemble admissible ou encore de domaine admissible sera utilis e tant t dans un souci d abr viation Nous consid rons le cas o X est un sous ensemble de R Ses l ments sont donc des vecteurs de nombres r els n dimensions de la forme 1 2 n avec x E R Vi 1 2 n Le probl me consiste trouver l l ment de X dont le co t est minimal ou maximal mais cela ne change rien a la difficult ou aux types de m thodes employ es Cela peut tre formul de mani re plus concise comme suit minimiser f x sous contrainte x X X est g n ralement d fini par une collection de contraintes exprim es sous
41. cution de la m thode de Newton pour P depuis 20 15 o les matrices hessienne et son inverse sont donn es ligne par ligne La m thode converge de mani re finie en une seule it ration comme nous pouvions nous y attendre et ceci ind pen damment du point initial L ex cution des m thodes de directions conjugu es et du gradient conjugu donnent respec tivement les r sultats suivants k xF f a Vector used by G S Q conjugate direction af gett 1 20 0 15 0 3520 1 0 0 0 1 0 0 0 27 5 7 5 15 0 2 7 5 15 0 495 0 0 1 0 0 5 1 0 13 1 0 2 0 TAB 3 4 ex cution de la m thode des directions conjugu es pour P depuis 20 15 k xP f x Gradient vector used by G S Q conjugate direction ak ghtl 1 20 0 15 0 3520 220 0 188 0 220 0 188 0 0 08 1 59 0 73 2 1 59 0 73 16 39 9 81 11 48 10 41 10 97 0 25 1 0 2 0 TAB 3 5 ex cution de la m thode du gradient conjugu pour P depuis 20 15 19 Fic 3 1 illustration de la convergence finie en deux it ration de la m thode des directions conjugu es pour le probl me P1 en partant depuis 20 15 o lors de la premi re de ces deux ex cution les directions Q conjugu es ont t g n r es en appliquant la proc dure de Gram Schmidt aux vecteurs lin airement ind pendants 1 0 et 0 1 On p
42. d algorithmes de minimisation directe comme par exemple ceux d crits au chapitre 3 une fonction B x et un e convenablement choisis assurant que cette minimisation ne puisse nous mener des points situ s hors de Xz La suite du processus consiste r duire progressivement afin de diminuer la p nalit et autoriser les algorithmes de minimisation directe se rapprocher peu peu de la fronti re de X Les fonctions de barri re les plus r pandues sont les suivantes La logarithmique B x n g x i 1 L inverse 1 B x x 2 gi x Il est important de noter que si tous les g sont convexes ces deux fonctions de barri re le sont galement Remarquons qu une n cessit pour pouvoir appliquer une telle m thode est de disposer d un point initial situ l int rieur de X La m thode de barri re est d finie en introduisant la s quence de param tres e k 0 1 avec 0 lt ETI lt et e 0 lorsque k oo Une it ration de celle ci consiste 4 d terminer af arg min f x e B x xzEX Le fait que B x ne soit d fini que dans l int rieur Xy et tende vers l infini au fur et mesure que l on se rapproche des bords de X assure que m me avec un algorithme de minimisation 31 directe le point obtenu chaque it ration appartienne lui aussi Xz Le fait que e tende vers z ro implique que le terme f x e B x tende vers f x lorsque k tend ve
43. d faut suivant le type de probl me est l optimisation sans contraintes la m thode est celle du gradient et la dimension est gale 2 Puis l tat varie en fonction des choix de l utilisateur Venons en au fonctionnement lors d une ex cution typique Le diagramme de collaboration de la figure 6 1 illustre l int raction entre les diff rentes parties de l application Les tapes visibles sur ce diagramme sont les suivantes 1 L affichage appelle une m thode du contr leur indiquant le choix de l utilisateur quant au probl me l algorithme et la dimension Celui ci met son tat jour 2 Le contr leur met ensuite jour l affichage en fonction de son tat 3 Lorsque l v nement correspondant est d tect l affichage invoque les m thodes du parser afin de mod liser la fonction objectif et ventuellement les contraintes que l utilisateur 52 1 Initialisation Sanita 6 Ex cution 5 Fonction et contraintes mod lis es 2 Mise jour 7 R sultats 8 Mise jour Algorithmes 4 Fonction et contraintes mod lis es 3 Mod lisation de la fonction et des contraintes Fic 6 1 diagramme de collaboration des diff rents l ments de l application vient d entrer 4 La fonction et les contraintes mod lis es sont transmises en retour l affichage 5 L affichage transmet au contr leur la fonction et les contraintes mod lis es ainsi que
44. domaine un probl me est pos d aux al gorithmes de minimisation directe utilis s L on se convaincra ais ment du fait que le comportement d une m thode de barri re d pend fortement du choix de cet algorithme Ceux ci supposent habituellement que leur fonction objectif est continue et d finie sur tout R ce qui n est pas le cas avec une fonction de barri re Lorque le bord du domaine est approch la discontinuit se trouve dans le voisinge imm diat du point de d part de la proc dure Pour ces raisons nous devons disposer d une arithm tique double pr cision afin de limiter au maximum les erreurs d es aux arrondis Dans notre cas un choix doit tre op r parmi les algorithmes pr sent s au chapitre 3 pour la r solution des sous probl mes Il est pr f rable d utiliser pour cela la m thode de Newton qui propose une convergence plus rapide comme nous l avons vu que la m thode du gradient et qui offre des garanties quant sa convergence contrairement la m thode de Nelder et Mead Observons que la m thode de Newton est pr cis ment sensible l un des d fauts majeurs de la m thode de barri re qui est le conditionnement de plus en plus mauvais de la matrice hessienne de la fonction objectif mesure que la borne est approch e rappelons qu une matrice mal conditionn e est une matrice presque singuli re dans le sens o elle pourrait devenir 34 singuli re si l un de ses l ments
45. du probl me original ensuite la solution optimale du programme lin aire r solu l it ration pr c dente doit devenir non admissible Puis le processus est reconduit jusqu satisfaire la condition d arr t Remarque il n y a pas de perte de g n ralit supposer que f est lin aire car si ce n est pas le cas les m thodes de plans s cants peuvent tre appliqu es un probl me auxiliaire dont la fonction objectif est lin aire et comporte une contrainte suppl mentaire de telle sorte que la solution optimale de ce probl me auxiliaire soit la m me que celle du probl me original Parmi les strat gies possibles pour s lectionner un nouvel hyperplan chaque it ration l une a t propos e par Kelley D crivons la m thode de Kelley qui a t impl ment e au cours de ce projet 4 2 1 La m thode de Kelley Description de la m thode En plus des hypoth ses formul es au d but de la section 4 2 nous admettons donc que f est lin aire X est initialement enferm dans un ensemble de contraintes lin aires qui sont habituellement choisies comme de simples bornes sur les variables Le point obtenu la premi re it ration x est la solution du programme lin aire correspondant Si x n est pas une solution admissible du probl me de d part il existe au moins un 7 tel que g x gt 0 Nous pouvons alors choisir s tel que gs x mMaxi lt i lt m gila gt 0 Une nouvelle contrainte lin aire est ensuit
46. e ajout e donn e par l approximation lin aire de g x au voisinage de x gs a Vas x x zf lt 0 Remarquons que ce nouvel hyperplan coupe x qui ne satisfait pas la relation pr c dente du domaine admissible original qui est inclus dans le demi espace d fini par cette relation La solution du programme lin aire pr c dent auquel cette contrainte a t ajout e est le nouveau point x l puis le processus recommence jusqu satisfaire la condition d arr t Convergence de la m thode Le th or me 4 2 1 stipule que la m thode de Kelley converge Th or me 4 2 1 Soit une s quence x g n r e par la m thode de kelley sous les hypoth ses nonc es la section 4 2 Alors tout point limite de x est la solution optimale globale du probl me original 4 3 Les m thodes de p nalit int rieure ou m thodes de bar ri re Nous allons maintenant d crire les m thodes de p nalit Cette section traite des m thodes de p nalit int rieure aussi appel es m thodes de barri re alors que les m thodes de p nali t s ext rieure seront d taill es la section suivante Le principe de ces m thodes r side dans la transformation d un probl me contraint en une s quence de probl mes sans contraintes en 30 ajoutant au co t une p nalit en cas de violation de celles ci Un tel sous probl me est r solu chaque it ration d une m thode de p nalit L appellation p nal
47. e par celui ci en d pit et de la pr sence d autres points stationnaire plus loign s Nous avons ainsi pu exp rimenter un avantage important de la m thode de p nalit int rieure par rapport aux m thodes de directions admissibles si les g sont convexes et pour peu qu elle soit d marr e avec des param tres suffisamment lev s elle peut converger vers le minimum global d une fonction f sur un ensemble X m me lorsque cette derni re n est pas convexe contrairement aux m thodes de directions admissibles qui fatalement convergeront toujours vers des minima locaux Touefois le prix payer pour cela r side dans une convergence lente lorsque les e sont grands Remarque importante le raisonnement ci dessus est uniquement valable si la fonction de barri re inverse est utilis e En effet avec l emploi de la barri re logarithmique B x peut tre n gative car la fonction ln tend certes vers linfini lorsque son argument approche 0 mais est galement n gative si son argument est sup rieur 1 Cette exp rience a aussi permis d entrevoir des d savantages notables de cette m thode par rapport aux autres elle ne converge pas de mani re finie et a besoin de beaucoup plus d it 36 rations les m thodes de directions admissibles n ont termin qu apr s une ou deux it rations alors que la m thode de barri re en a n cessit beaucoup plus de l ordre de plusieurs dizaines pour peu que l on ne so
48. ecteur est un minimum local ou global de la fonction f La propri t de diff rentiabilit continue de f fournit une premi re mani re de caract riser une solution optimale Enon ons tout d abord un th or me sur lequel s appuiera le corollaire suivant pour tablir une premi re condition n cessaire d optimalit Th or me 2 2 1 Soient f R R continuellement diff rentiable et x R S il existe un vecteur d tel que la d riv e directionnelle de f dans la direction d au point x not e f x d est strictement inf rieure z ro alors d est une direction de descente de f en x le lecteur d sireux de trouver une d finition de cette derni re notion est invit se reporter la section 3 1 En outre selon une propri t connue de l analye f x d Vf x d Le th or me 2 2 1 peut donc tre galement nonc sous la forme quivalente suivante s il existe un vecteur d tel que V f x d lt 0 alors d est une direction de descente de f en x Corollaire condition n cessaire du premier ordre Soient f R R continuellement diff rentiable et x R Si x est un minimum local de f alors Vf x 0 Ce corollaire tablit une premi re condition n cessaire pour que x soit un minimum local ou global de la fonction f qui est Vf x 0 Elle fait intervenir le vecteur gradient de f dont les composantes sont ses premi res d riv es partielles c est la r
49. el du programmeur de l application 6 1 Architecture g n rale Nous allons maintenant entrer plus dans les d tails de l impl mentation de ce logiciel afin de fournir une documentation qui permette un d veloppeur qui souhaite maintenir l application de le faire Ce chapitre consistera d abord en la pr sentation de l architecture du logiciel puis en l expos des divers paquetages qui le composent L architecture g n rale de l application est b tie selon le concept classique de mod le vue contr leur qui permet de s parer clairement les t ches parmi les diff rentes branches de l ap plication la vue regroupe les routines d int raction avec l utilisateur le mod le regroupe les m thodes de gestion et de traitement des donn es et le cont leur prend en charge la gestion des v nements et la synchronisation du mod le et de la vue On rappelle que le mod le ne conna t rien de ses vues Lorsque l utilisateur envoie une requ te l application le contr leur analyse celle ci puis demande au mod le appropri d effectuer les traitements et enfin renvoie la vue adapt e Cette architecture impose une grande clart et simplifie la vie du d veloppeur en effet l un des trois composants peut tre librement modifi sans que les autres s en trouvent affect s Le lecteur pourra trouver la section suivante une figure sch matisant l architecture g n rale de l application Les principales composantes
50. ent dans la direction d soit optimal mais cette fois ci il est n cessaire d imposer une borne sup rieure sur la valeur de a afin de ne pas sortir de X Cela d finit le nouveau point x 1 et le processus est recommenc Il existe plusieurs strat gies pour la r solution du sous probl me consistant d terminer d Comme nous allons le voir il peut tre exprim sous forme d un programme lin aire Nous d crivons deux m thodes de directions admissibles qui ont t impl ment es appel es m thodes de Frank et Wolfe et de Zoutendijk 4 1 1 La m thode de Frank et Wolfe Description de la m thode Cette m thode s applique si les contraintes sont lin aires et si X est born Une mani re simple de g n rer une direction d satisfaisant la condition de descente V f x d lt 0 si Pon pose d z x est de minimiser la d riv e directionnelle de f dans la direction d comme c est le cas pour la m thode du gradient mais il faut en plus prendre garde de pas sortir de l ensemble des solutions admissibles le point Z g n r doit lui m me appartenir X de sorte que le point z d soit lui m me admissible Le sous probl me de recherche de d peut tre formul ainsi minimiser V f x x x sous contrainte x X et nous pouvons obtenir Z comme la solution optimale de ce sous probl me Celui ci est un programme lin aire les contraintes du probl me de d part le sont elles m me et pe
51. enter d largir leurs champs d application En guise de conlusion je dirai donc que je suis heureux d avoir effectu ce projet qui m aura permis la fois de me pencher sur des concepts math matiques fondamentaux et galement de m atteler une t che de conception d un logiciel complet 59 R f rences 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 J Abadie Nonlinear programming North Holland 1967 American mathematical Society Nonlinear programming Library of Congress Cataloging in Publication Data 1976 Mordecai Avriel Nonlinear programming Analysis and Methods Prentice Hall 1976 Mokhtar S Bazaraa C M Shetty Nonlinear programming Theory and Algorithms John Wiley and Sons 1979 Dimitri P Bertsekas Nonlinear programming Athena Scientific 1995 P E Gil W Murray Numerical methods for constrained optimization Academic Press 1974 Reiner Horst Panos M Pardalos Nguyen V Thoai Introduction to global optimization Kluwer Academic Publishers 2000 Reiner Horst Hoang Tuy Global Optimization Deterministic Approaches Springer Verlag 1990 J E Kelley The cutting plane method for solving convex programs J Soc Ind Appl Math vol 8 p 703 712 1960 H W Kuhn A W Tucker Nonlinear programming dans Proceedings of the second Ber keley Symposium on Methematical Statistics and Probability J
52. ependant la m thode de Newton et les m thodes de directions conjugu es restent les mieux adapt es de part leur convergence finie en un nombre fixe d it rations La m thode du gradient se r v le dans ce cas la moins utile car elle converge trop lentement en certaines circonstances Distinguons plus pr cis ment les diff rents cas rencontr s lorsque f est quadratique notons la f x lz Qx b x c il est possible de montrer que si la matrice hessienne V f x Q west pas semi d finie positive f ne peut avoir aucun minimum local Si V f x est semi d finie positive f est convexe d apr s une propri t des fonctions convexes et ainsi tout vecteur satis faisant la condition V f x Qx b 0 est un minimum global de f si V f x est semi d finie positive et inversible l quation V f x 0 admet une solution qui peut tre d termin e par la m thode de Newton si V f x est semi d finie positive et singuli re nous pouvons voir que 21 l quation V f x 0 n admet pas de solution et la m thode de Newton choue Si V f z est d finie positive alors elle est inversible d apr s une propri t des matrices sym triques et d finies positives donc l quation V f x 0 admet une solution de plus f est strictement convexe ce qui implique qu il existe au plus un unique minimum global de f Il s ensuit que l quation V f x 0 admet une solution unique qui peut tre trouv e par la m thode de New t
53. et du suivant on s attachera dor navant la description plus sp cifique des algorithmes it ratifs ou m thodes it ratives qui ont t impl ment s et qui permettent la r solution des probl mes d optimisation non lin aire Il convient de souligner que la plupart des algorithmes d optimisation contrainte ou non fonctionnent selon un sch ma g n ral consistant chaque it ration se rapprocher du minimum par la r solution d un sous probl me de minimisation Evidemment cette strat gie n a de sens que si ces sous probl mes sont plus faciles r soudre que le probl me original Nous verrons que c est le cas ces derniers se r v lant tre notamment des probl mes de minimisation non lin aires une seule dimension ou encore des programmes lin aire ceci plus particuli rement dans les algorithmes trait s au chapitre suivant Nous consid rons ici les m thodes permettant de r soudre un probl me d optimisation sans contraintes appel es aussi parfois m thodes d optimisation directe soit le probl me minimiser f x avec x R pour lequel nous commencerons par d crire les m thodes suivantes 1 Les m thodes bas es sur le gradient 2 Les m thodes de Newton 3 Les m thodes utilisant des directions conjugu es 4 La m thode du simplexe ou m thode de Nelder et Mead Ces m thodes utilisent des d riv es et donc la propri t de diff rentiabilit de f l exception des m t
54. eut noter que ces m thodes ont trouv le minimum en deux it rations le probl me tant bidimentionnel Il n y a pas de diff rence particuli re souligner entre les r sultats donn s par ces deux m thodes si ce n est que pour les raisons expliqu es la section 3 3 la m thode du gradient conjugu se r v le plus rapide et donc plus utile en pratique On constatera tout de m me qu la premi re it ration elles minimisent f le long de la premi re des deux directions lin airement ind pendantes puis lors de la deuxi me le minimum sur tout R est obtenu La figure 3 1 illustre l ex cution de la m thode des directions conjugu es L ex cution de l algorithme de Nelder et Mead pour ce probl me est donn e dans le tableu 3 6 la condition d arr t est toujours la m me que pour les m thodes du gradient et de Newton o x est le nouveau point d termin chaque it ration par l algorithme et destin remplacer le point de co t maximal dans le simplexe courant Ce dernier algorithme n cessite un nombre d it rations plus important que les pr c dents A premi re vue nous pourrions d duire qu il est moins efficace ou moins adapt ce probl me n anmoins nous devons garder l esprit qu il ne requiert nullement la r solution d un sous 20 k Simplexe courant x f x Op
55. forme d galit s et d in galit s Nous admettons que f est continue et continuellement diff rentiable et parfois m me nous admettrons que f est deux fois continuellement diff rentiable Les d riv es seconde et premi re jouent un r le important aussi bien dans la caract risation des solutions optimales que dans les id es qui conduisent la plupart algorithmes utilis s et impl ment s au cours de ce projet Par optimisation sans contraintes nous d signons le cas particulier o X R Parfois les algorithmes de r solution sont fond s sur les m mes principes lorsque le probl me est contraint ou lorsqu il ne l est pas Ils n cessitent seulement d tre adapt s afin de produire des r sul tats convenables dans les deux cas conduisant des algorithmes diff rents sans que les id es fondamentales sur lesquelles ils se basent le soient fonci rement En d autres termes certains algorithmes pour l optimisation non lin aire avec des contraintes sont d riv s des algorithmes d optimisation non lin aire sans contraintes avec quelques modifications destin es prendre en charges ces derni res notamment ne pas sortir de X N anmoins il existe aussi des algorithmes ayant t d velopp s sp cifiquement pour chacun des deux cas et dont l id e principale repose sur la structure du probl me que l ensemble des solutions admissibles se g n ralise R ou qu il soit restreint n en tre qu un s
56. hodes de directions conjugu es sauf dans le cas particulier de la m thode du gradient conjugu et de la m thode du simplexe bas e elle sur des propri t s plus g om triques Apr s les avoir d crites nous discuterons plus pr cis ment des champs d application de chacune de ces m thodes et les analyserons du point de vue de leur convergence nous donnerons notamment pour chacune des m thodes les conditions sous lesquelles elles convergent ou encore d terminerons si l optimum est atteint en un nombre fini d it rations Apr s avoir utilis les m thodes en pratique gr ce au logiciel d velopp au cours de ce projet nous serons en mesure d tablir une tude comparative des diff rentes m thodes du point de vue de la performance et de la rapidit de convergence des algorithmes et cela en fonction du type de probl me et du point initial 11 3 1 La m thode de descente bas e sur le gradient 3 1 1 Description de la m thode Les m thodes bas es sur le gradient de la fonction objectif sont des proc dures parmi les plus fondamentales pour minimiser une fonction diff rentiable de R dans R Comme la plupart des autres m thodes d velopp es pour ce probl me elles reposent sur la propri t dite de descente it rative Rappelons qu un algorithme it ratif part d un vecteur x R et g n re une suite de vecteur z 2 de R la propri t de descente it rative impliquant que le co t des vecteu
57. iatement un probl me de minimisation et inversement en multipliant la fonction objectif par 1 Remarque dans le cas d une fonction objectif convexe il n y a pas de distinction entre minimum local et global tout minimum local est galement global comme l tablit le th or me suivant Th or me 1 3 1 Soit f X C R R une fonction convexe d finie sur l ensemble convexe X Alors tout minimum local de f sur X est galement un minimum global Si f est strictement convexe alors il existe au plus un minimum global de f 1 4 La notion d algorithme it ratif Consid rons le probl me consistant minimiser f x sous la contrainte x X Un algorithme it ratif permettant de r soudre ce probl me est un processus it ratif g n rant une suite de vecteurs x x de X en fonction d une s quence d instructions et d une condition d arr t La production d un vecteur x t partir d un vecteur x qui tous deux appartiennent X constitue une it ration de l algorithme Un tel algorithme est dit de descente si le co t du vecteur g n r l it ration k 1 est stictement inf rieur au co t du vecteur g n r l it ration k c est dire si f a lt f a Vk gt 0 Etant donn un vecteur x et en appliquant la s quence d instructions de l algorithme nous obtenons un nouveau vecteur x 1 Ce processus peut tre d crit formellement en d finissant la notion sui
58. icult s en choisissant la direction d un peu diff remment La direction donn e par le gradient peut tre corrig e en la multipliant par une matrice ou en y ajoutant un vecteur appropri la performance peut tre am lior e en se d pla ant dans la direction d DV f x ou d Vf a v o D et v sont convenablement choisis Cependant nous n entrerons ici pas plus dans les d tails car la m thode du gradient qui a t impl ment e est celle que nous avons pr c demment d crite 13 3 2 La m thode de Newton Alors que la m thode du gradient utilise une approximation lin aire pour trouver une direc tion de mouvement l id e de la m thode it rative de Newton est de minimiser chaque it ration l approximation quadratique de f au point courant x et donn e par le d veloppement de Taylor d ordre 2 1 q x f a V F a a ea VE f x 2 Une condition n cessaire pour que le minimum de q zx soit atteint est Vg x 0 soit Vi a V7 f 2 a 0 Le vecteur g n r l it ration k 1 est le vecteur minimisant q x c est dire le vecteur satisfaisant l quation pr c dente soit ati ak Le V2 FENTE f a La m thode n cessitant l valutation de la matrice hessienne de f elle ne peut tre utilis e que si f est deux fois continuellement diff rentiable le m thode de Newton requiert m me l valuation de l inverse de cette matrice ce qui est
59. intes Nous allons maintenant discuter des conditions d optimalit pour le probl me de minimisa tion de f x sous contrainte x X C R o X est d fini par une collection de m in galit s et de r galit s minimiser f x IA sous contraintes g1 x lt 0 g9m x lt 0 ft 0 hr 0 Donnons tout d abord la d finition de la notion de direction admissible puis nous noncerons un th or me qui tablira une premi re condition n cessaire tir e d une propri t g om trique d optimalit pour un tel probl me D finition 2 3 1 direction admissible Soient un ensemble X C R avec X f et x X Une direction admissible de X en x est un vecteur d tel que d 0Oetx ade X Va 0 amax pour un certain amag gt 0 Les conditions d optimalit nonc es plus bas s obtiennent suite au constat suivant si 4 est un minimum local de f sur X alors il ne peut y avoir aucune direction de descente dans l ensemble des directions admissibles de X en x cela peut tre d montr et fournir une premi re condition n cessaire d optimalit La condition telle que nous venons de l noncer ne pr sente malheureusement que peu d int r t en vue d un usage en pratique car si l ensemble des directions de descente de f en x disons D d Vf x d lt 0 peut tre exprim en fonction du gradient de la fonction objectif ce n est pas n cessairement le cas de l
60. ion n Etant donn un ensemble de n directions Q conjugu es d d d 1 la m thode de direc tions conjugu es correspondante est donn e par ghtl gk afd k 0 n 1 o est un vecteur de d part choisi arbitrairement et o les a monodimentionnelle le long de dx sont obtenus par minimisation Le principal r sultat concernant les m thodes utilisant des directions conjugu es est qu chaque it ration k la m thode minimise f sur le sous espace g n r par les k premi res direc tions Q conjugu es utilis es par l algorithme A la ni it ration au plus tard ce sous espace inclura alors le minimum global de f grace 4 la propri t d ind pendance lin aire des direc tion Q conjugu es qui assure qu l it ration n l espace vectoriel g n r par les n directions Q conjugu es ne sera autre que R Comment construire les directions Q conjugu es Des directions Q conjugu es d d peuvent tre g n r es partir d un ensemble de vec teurs lin airement ind pendants en utilisant la proc dure dite de Gram Schmidt de telle sorte que pour tout i entre 0 et k le sous espace g n r par d d soit gale au sous espace g n r par 9 Cette proc dure fonctionne de la mani re suivante Elle commence par choisir d Supposons maintenant que les directions d d on t construites i lt k satisfaisant la propri
61. it int rieure est employ e car le minimum est approch depuis l int rieur de X les m thodes de p nalit ext rieure elles approchent le minimum depuis l ext rieur de cet ensemble Les m thodes de barri re s appliquent aux probl mes dont l ensemble admissible X est d fini uniquement par une collection d in galit s minimiser f x sous contraintes g x lt 0 i 1 m oti f et les g sont des fonction de R dans R et sont continues En effet ces m thodes utilisent des fonctions dites de barri re d finies uniquement l int rieur de X Si des contraintes sous forme d galit s taient introduites l int rieur de cet ensemble c est dire son sous ensemble tel qu en chacun de ses points aucune contrainte n est active serait clairement vide C est donc le domaine de d finition de la fonction de barri re qui serait vide rendant l utilisation de la m thode impossible L int rieur de l ensemble X d fini par les g est le suivant Ag x gix lt 0 Vi 1 m La fonction de barri re not e B x est ajout re au co t f x elle est continue sur Xy et sa valeur tend vers l infini lorsque la fronti re de X est approch e par l int rieur c est dire lorsque l un des g x approche z ro par les valeurs n gatives Une it ration de la m thode consiste ensuite minimiser la fonction f x eB x o est un param tre r el strictement positif l aide
62. minimum global En recommen ant l exp rience depuis 0 3 avec 40 et G 0 9 nous constatons qu alors elle converge vers le minimum local 0 5 4 En effet e n est pas suffisamment lev 0 et la m thode de Newton tant d marr e proximit de ce minimum local elle est attir e par celui ci R alisons maintenant une s rie d exp riences avec la m thode de p nalit ext rieure En la lan ant depuis n importe quel point non admissible avec un param tre initial faible u 0 01 on s aper oit qu en une it ration la m thode trouve toujours un point appartenant l ensemble admissible et proche de 0 5 0 25 En effet u tant petit le terme de p nalit est n gligeable et donc la m thode de Newton converge vers le seul point stationnaire de f qui est 0 5 0 25 Un tel choix de param tre n est donc pas souhaitable et ne permet pas la r solution du probl me On relance la m thode avec u 1 5 et un facteur d augmentation 8 1 1 depuis le point 100 100 pour constater qu elle converge vers le minimum global 3 5 5 Avec les m me param tres mais le point initial 100 100 elle converge nouveau vers 3 5 5 A pr sent nous choisissons u 2 5 toujours avec 3 1 1 Depuis le point initial 100 100 la m thode converge 4 nouveau vers 3 5 5 Mais depuis 100 100 elle converge cette fois vers le minimum local 0 5 4 Nous pouvons expliquer cela par le fait q
63. ns le cas sans contraintes elle teste si la solution satisfait les conditions n cessaire et suffisante du premier et du second ordre Dans le cas d un probl me avec contraintes elle teste si le point optimal satisfait la condition n cessaire de Kuhn Tucker Dans l affirmative elle d termine et affiche la combinaison lin aire du gradient de la fonction objectif et des gradients des contraintes actives au point optimal montrant que la condition est satisfaite Les r sultats des tests de conditions d optimalit sont affich s dans laire pr vue cet effet num ro 17 Remarque si l approximation du minimum n est pas assez pr cise il peut arriver que le tests des conditions donnent des r sultats erron s Fen tre d affichage graphique Cette fen tre permet de visuliser l ex cutions des algorithmes pour les probl mes en deux ou en une dimension D marrage rapide de l application Voici les tapes suivre pour d marrer et utiliser imm diatement l application 1 D marrer l application 2 Choisir un probl me et un algorithme par le biais des menus Probl me Algorithme et Dimension 49 3 Ex cuter l algorithme en utilisant les boutons Ex cuter l algorithme Pas pas ou Ex cuter k it rations 4 En cours ou la fin de l ex cution changer de probl me ou d algorithme avec les trois menus cit s ci dessus ou quitter l application par le bouton correspondant 50 Chapitre 6 Manu
64. ntes sous formes d galit s et des contraintes sous forme d in galit s actives au point consid r soient lin airement ind pendants ce qui signifie qu il ne peut exister de combinaison lin aire non triviale de ceux ci dont la somme vaut le vecteur nul Sous cette hypoth se suppl mentaire la condition de Fritz John ne peut tre satisfaite qu avec Lo 0 Nous pouvons donc arbitrairement choisir uo 1 et noncer le th or me suivant Th or me 2 3 2 condition n cessaire de Kuhn Tucker Soient un ensemble X c R avec X une fonction f R R et un vecteur X Nous admettons que X est d fini par une collection de m in galit s g x lt 0 et de r galit s h x 0 avec gi R R Vi 1 2 m et hi R gt R Vie 1 2 r Soit J l ensemble des contraintes sous forme d in galit s actives en x I g x 0 Supposons de plus que f les g et les h sont continuellement diff rentiables pour tout et que Vg x pour i I et Vh x pour l r sont lin airement ind pendants Si x est un minimum local alors il existe des scalaires 11 Hm et A1 Ap tels que Va Y wiVoi a SC XVhi x 0 icl i 1 li gt 0 Wel Remarque la condition n cessaire de Kuhn Tucker est galement suffisante si f et les g sont convexes 10 Chapitre 3 M thodes it ratives d optimisation sans contraintes Au travers du pr sent chapitre
65. ntific 1999 D Luenberger Introduction to linear and nonlinear programming Addison Wesley 1973 M Minoux Programmation math matique 2 tomes Dunod 1983 Addendum Parmi les m thodes 4 illustrer on compterea les m thodes de gradient et leurs variations gradient r duit gradient conjugu les m thodes de Newton et leurs variations ainsi que les m thodes de p nalit s int rieures et ext rieures et celles de plans s cants Il s agira de donner aussi des techniques fournissant des solutions admissibles initiales Table des mati res 1 Introduction 1 1 1 2 1 3 1 4 Rappel de quelques d finitions 1 1 1 Ensembles et fonctions convexes Ihe probleme ziz neru ae be bh EM te URL eee And Be od Becks Minima locaux et globaux La notion d algorithme it ratif 2 Conditions d optimalit 2 1 2 2 2 3 Pourquoi avons nous besoin de conditions d optimalit Cas sans contraintes 2 2 1 Conditions n cessaires 2 2 2 Conditions suffisantes Cas avec contraintes 4 has Seek ek Gees SAGARA AS Da rad ew Se BOR i UE je 3 M thodes it ratives d optimisation sans contraintes 3 1 3 2 3 3 3 4 3 9 La m thode de descente bas e sur le gradient
66. on ou les m thodes de directions conjugu es Soit P2 minimiser f a x 2 a 222 En partant d un point relativement proche de l optimum x1 0 4 on r sout ce probl me par les m thodes du gradient et de Newton avec la condition d arr t Vf x lt 0 01 notons qu il est toujours possible d affiner notre approximation du minimum en sp cifant une valeur plus petite Le r sultat de l ex cution de la m thode du gradient est nous n afficherons pas l ex cution en entier pour des raisons de place donn dans le tableau 3 7 et celui de la m thode de Newton dans le tableau 3 8 a IGN Vie VIED amp VF of hal 0 0 4 0 80 48 0 32 0 57 69 48 0 32 0 0 06 3 03 1 98 3 03 1 98 1 99 2 49 3 73 4 49 2 49 3 73 0 21 25 1 19 2 5 1 19 0 08 0 75 0 5 0 9 0 75 0 5 0 11 2 42 1 24 2 42 1 24 0 03 0 17 0 25 0 3 0 17 0 25 0 33 2 36 1 16 2 36 1 16 0 02 0 29 0 19 0 35 0 29 0 19 0 12 2 33 1 18 2 33 1 18 0 01 0 08 0 12 0 15 0 08 0 12 0 35 2 3 1 14 G G 2 3 1 14 0 01 0 16 0 11 0 2 0 16 0 11 0 12 2 28 1 15 2 28 1 15 0 01 0 05 0 08 0 09 0 05 0 08 0 37 2 26 1 12 CO NI OD OU BA CO DO x 32 2 14 1 07 0 0 01 0 01 0 01 0 01 0 01 0 4 2 13 1 07 33 2 13 1 07 0 01 0 01
67. ortant des contraintes par la m thode de Zoutendijk Comme cela a t mentionn au cours du chapitre 3 il est possible de montrer que si en un point x la valeur optimale de la fonction objectif du sous programme lin aire de recherche d une direction est gal z ro alors satisfait les conditions de Kuhn Tucker Cependant dans la pratique et d la double pr cision avec laquelle les calculs sont effectu s il arrive rarement qu une telle valeur soit exactement gale z ro Dans le meilleur des cas le point courant x ne sera qu une approxi mation situ e dans le voisinage tr s proche d un point v rifiant les conditions de Kuhn Tucker Ainsi la solution opimale en question sera une valeur certes proche mais diff rente de z ro La cons quence en est que l algorithme ne se terminera pas et continuera it rer produisant de tous petits d placement souvent n gligeables devant la pr cision avec laquelle nous souhaitons approcher l optimum Pour viter ainsi des it rations souvent inutiles ces valeurs peuvent tre arrondies le choix de la pr cision requise tant laiss l utilisateur Cet arrondi sera utilis plus concr tement dans les cas suivants Afin de d terminer si les solutions optimales des sous programmes lin aire sont nulles dans le cas des m thodes de Zoutendijk ou si la norme de d est nulle pour la m thode de Frank et Wolfe cela induisant la terminaison des algorithmes
68. ous ensemble Dans la section suivante nous donnons la d finition formelle de la notion d optimum et de la notion d algorithme it ratif qui est fondamentale car se sont de tels algorithmes qui ont t impl ment s et qui nous permettront de r soudre les probl mes 1 3 Minima locaux et globaux Soient l ensemble S C R et une fonction f S R Les minima locaux et globaux de f sur S sont d finis de la mani re suivante D finition 1 3 1 minimum local Intuitivement un vecteur x S est un minimum local de f sur S s il a un co t plus faible que celui de ses voisins Formellement est un minimum local de f sur S si J e gt 0 tel que Fe lt f x Va S avec x 2 lt e oti v d signe la norme du vecteur v Le minimum local est strict si fe ef Va S avec x x lt e D finition 1 3 2 minimum global Un vecteur x S est un minimum global de f sur S s il a un co t plus faible que celui de tous les autres vecteurs dans S Formellement x est un minimum global de f sur S si f lt f x Vr E S Le minimum global est strict si CE PEU Va S Les maxima locaux et globaux sont d finis de mani re similaire Notons que x est un maxi mum local respectivement global de la fonction f sur l ensemble S si x est un minimum local respectivement global de f sur S Il d coule de cette observation que tout probl me de maxi misation peut tre r duit imm d
69. pe de minimum qu il soit local ou global Remarquons que si pour une quelconque raison la m thode est d marr e depuis ou rejoint un maximum ou un point stationnaire elle se termine en ce point Ainsi si f n est pas convexe nous pouvons au mieux attendre de la m thode du gradient qu elle converge vers un point stationnaire Le r sultat suivant peut ainsi tre d montr Th or me 3 1 1 convergence de la m thode du gradient Soit x une s quence g n r e par la m thode du gradient Alors tout point limite de a est un point stationnaire Il peut arriver que la m thode du gradient converge de mani re finie mais ce n est en g n ral pas le cas Il est donc n cessaire d utiliser un crit re permettant d arr ter l ex cution lorsque x est suffisamment proche d un point stationnaire par exemple V f x lt o est un scalaire positif arbitrairement choisi A priori la valeur que nous devons fixer pour e d pend du probl me consid r L inconv nient majeur de la m thode du gradient survient lorsque les surfaces de co t gal de f sont allong es et que x est tel que la direction du gradient y est presque orthogonale la direction menant au minimum Celle ci adopte alors le comportement bien connu du zig zag et progresse extr mement lentement comme nous aurons l occasion de le constater lors de Vapplication pratique de la m thode Il existe des moyens de surmonter ces diff
70. pertoire ad quat de jre Java Runtime Environment L application peut tre d marr e l aide du fichier nonlinearOptimizer jar pr sent sur le CD avec la commande suivante java jar nonlinearOptimizer jar 5 2 Choix du probl me et de l algorithme pour le r soudre Fen tre de l application Les l ments de la figure 5 1 qui repr sente une vue typique de l application sont les sui vants 1 Le menu Probl me permet de s lectionner le type de probl me que l on souhaite r soudre N Le menu Algorithme permet de choisir un algorithme de r solution en fonction du type de probl me choisi Le menu Dimension permet d indiquer l application la dimension du probl me Le menu Options permet de d finir quelques param tres Ce champs sert sp cifier la fonction objectif du probl me O o A W Ce champs sert en sp cifier les contraintes visible uniquement pour les probl mes contraints donc 43 10 11 12 13 14 16 17 14 15 16 15 Fic 5 1 la fen tre principale de l application Cette barre affiche le statut de l application soit le type de probl me l algorithme et la dimension courants Ce champ permet d afficher les coordonn es d un point de la zone d affichage graphique lorsqu on positionne le curseur sur celui ci Ces champs servent pr ciser le point de d part de l algorithme 10 11
71. raintes mais chaque hyperplan sera d fini sous forme d une in galit et devra bien entendu tre lin aire Ce champ est situ sous celui consacr aux contraintes non visible sur la figure 5 4 Ex cution d un algorithme Lancement d une ex cution Une fois le probl me l algorithme s lectionn s et l instance du probl me pr cis e l ex cution peut tre d marr e Les param tres initiaux sont valid s par une pression sur le bouton du m me nom num ro 10 sur la figure 5 1 Trois options sont alors possibles pour l ex cution d un algorithme par une pression sur l un des trois boutons correspondant 11 12 et 13 L ex cution compl te L algorithme est ex cut jusqu ce qu une condition d arr t soit satisfaite Toutefois lorsque le nombre d it rations atteint la valeur fix e gr ce au menu Options l utilisateur a la possibilit de l interrompre Si l affichage graphique est activ il n est mis jour que lorsque l ex cution se termine 48 L ex cution en pas pas Les it rations sont ex cut es une par une et l affichage est mis jour apr s chacune d entre elles L ex cution d un nombre fix d it rations Ce nombre est pr cis gr ce au champ pr vu cet effet Ces it rations sont ex cut es et l affichage est ensuite mis jour Dans tous les cas la m thode se termine si une condition d arr t est satisfaite R initialisation d
72. raphique Afin d illustrer le fonctionnement des algorithmes il est n cessaire de repr senter les courbes planes de fonctions de deux variables donn es implicitement f 21 22 0 Il existe de nom breuses solutions pour cela L une d elles consiste quadriller le plan et tester si en l ensemble des points obtenus la valeur de f est gale strictement sup rieure ou strictement inf rieure z ro Une recherche dichotomique peut alors tre effectu e entre deux points situ s de part et d autre de la courbe jusqu obtenir une approximation d un point de celle ci En r p tant cette op ration on peut obtenir un grand nombre de points de la courbe qu il suffit ensuite de relier dans le bon ordre pour dessiner celle ci L inconv nient et que si nous voulons obtenir des points suffisamment proche nous devons valuer la fonction de nombreuses fois Cela oblige de plus ordonner les points de la courbe avant de la dessiner Une approche alternative qui a t utilis e pour cette application consiste utiliser une approximation lin aire de la courbe qui n est autre que le gradient de la fonction Il est possible d utiliser cette approximation pour obtenir des vecteurs tangents la courbe permettant de tracer des segments qui s ils sont suffisamment petits forment une approximation tout fait convenable de la courbe elle m me Cela vite le processus pr c dent plus co teux en temps de calcul On pe
73. rogrammant de les comparer et d laborer un outil graphique permettant d illustrer le fonctionnement des m thodes it ratives de mani re didactique Il fournira enfin sous une forme aussi compacte que possible des pr cisions sur les champs d application de ces techniques et sur leurs qualit s respectives Rapport et pr sentation orale Le candidat suivra les indications du professeur et des collaborateurs respon sables et les mettra au courant de l avancement du projet au moins une fois par semaine Une pr sentation interm diaire du travail sera fix e ult rieurement Chaque phase du projet sera d taill e dans un rapport remettre en 4 exemplaires le vendredi 24 f vrier 2006 midi au plus tard Le rapport contiendra les points suivants 1 la pr sente donn e du sujet 2 une introduction didactique et motiv e du travail 3 une explication d taill e des r sultats mis en vidence ainsi que leurs int r ts 4 les performances obtenues par les m thodes d velopp es avec interpr tation des r sultats et comparaison avec d autres m thodes le cas ch ant Or des suggestions pour une extension et un approfondissement du sujet 6 une bibliographie avec des r f rences pr cises 7 un CD ou une disquette contenant la version lectronique du rapport les sources XTX ainsi que les codes sources des programmes d velopp s R f rences D P Bertsekas Nonlinear programming Athena Scie
74. rquable 22 156 18 186 17 176 18 125 19 196 20 206 21 216 22 225 23 FIG 3 2 illustration de la convergence lente de la m thode du gradient pour le probl me P2 en partant depuis 0 4 durant les premi res it rations la m thode du gradient s est rapidement approch du minimum 2 1 se d pla ant du point 0 4 en 2 3 1 14 en 7 it rations cependant ensuite 27 it ra tions lui ont t n cessaires pour se d placer de 2 3 1 14 2 13 1 07 La m thode a donc converg rapidement au d but avant de tendre ensuite tr s lentement vers le minimum Ceci est typiquement d au ph nom ne de zigzag que nous avons d j d crit La m thode de Newton elle se rapproche plus lentement du minimum durant les premi res it rations que la m thode du gradient jusqu l it ration 3 ou 4 cependant elle converge ensuite beaucoup plus vite car les directions g n r es ne tendent pas tre orthogonales la direction menant au minimum Les figures 3 2 et 3 3 illustrent les comportements de ces deux m thodes Si l on affine la condition d arr t en sp cifiant par exemple V f x lt 0 001 en partant toujours de 0 4 la m thode du gradient a besoin de 150 it rations pour terminer au point 23 148 14 136 13 126 12 FIG 3 3 illustration de la convergence plus rapide de la m thode de Newton pour le m me probl me 24 2 06 1 03 La m thode de Newton
75. rs ainsi g n r s d croisse chaque it ration f a t lt f xf VEEN Les m thodes bas es sur le gradient appartiennent une importante classe d algorithmes o les vecteurs sont g n r s de la mani re suivante af gk atd Il para t appropri de donner ici la d finition de la notion de direction de descente D finition 3 1 1 direction de descente Soient f R gt R et x R Un vecteur d est appel une direction de descente de f en x si JOmax gt 0 tel que f x ad lt f x Va 0 amaz Ainsi afin d assurer que la propri t de descente it rative soit garantie par l algorithme la direction d choisie dans l quation ci dessus doit tre une direction de descente Selon le th or me 2 1 1 toute direction d telle que V f x d lt 0 est une direction de descente de f en x Les algorithmes de ce type sont appel s m thodes du gradient en raison de cette relation entre la direction d et le gradient V f x Il n y a pas de nom universellement reconnu et utilis pour ces m thodes Certains auteurs r servent l appellation m thode du gradient au cas particulier o d V f x celle ci est galement parfois appel e m thode optimale du gradient alors que d autre l emploient afin de d signer l ensemble des algorithmes de ce type pour lesquels de nombreuses strat gies de choix de d de sont possibles Venons en maintenant la m thode du gradient telle
76. rs l infini Si l on admet que la d finition de x est celle nonc e ci dessus il est possible de d montrer le th or me suivant Th or me 4 3 1 Tout point limite d une s quence x g n r e par une m thode de barri re est un minimum global du probl me contraint original Cependant en pratique la d finition pr c dente de z implique que nous devions disposer d un algorithme de minimisation directe capable de trouver le minimum global de f x e B x chaque it ration Or ce n est pas le cas des algorithmes pr sent s au chapitre pr c dents notamment les algorithmes du gradient de Newton ou encore du simplexe qui peuvent tre aussi bien attir s par des minima locaux que globaux Si nous utilisons de tels algorithmes pour la r solution des sous probl me comme c est notamment le cas du logiciel d velopp durant ce projet il nous est impossible d assurer qu chaque it ration x soit le minimum global de f x B x sur Xr du moins si f et les g ne sont pas convexes Si z est r duit n en tre qu un minimum local le th or me pr c dent ne peut tre tabli Si l algorithme utilis pour l optimisation sans contraintes est la m thode de Newton celle ci peut tre attir e par des maxima locaux aussi bien que part des minima Dans un tel cas il peut arriver que la m thode de barri re converge globalement vers un maximum et non un minimum local ou encore vers un point stationn
77. s Nous allons ici rappeler bri vement les d finitions de quelques notions importantes auxquelles nous ferons appel par la suite ainsi que quelques propri t s Pour d videntes raisons de place ce document ne peut pr tendre pr senter les d monstra tions de tous les th or mes mentionn s Le lecteur d sireux de consulter leurs preuves pourra se reporter aux ouvrages de r f rence dont la liste se trouve la fin de ce rapport Au cours de celui ci les th or mes seront nonc s ou rappel s sans entrer dans les d tails de leur d monstra tion 1 1 1 Ensembles et fonctions convexes D finition 1 1 1 ensemble convexe Soit l ensemble C C R C est convexe si Ag 1 A y EC Va y C VA 0 1 D finition 1 1 2 fonction convexe Soit l ensemble convexe C C R Une fonction f Cr R est convexe si fet 1 A y lt Af x 1 A f y Yz y C VA 0 1 Une fonction f est concave si f est convexe Une fonction f est strictement convexe si l in galit ci dessus est stricte pour tout x y C tels que x 4 y et tout 0 1 D finition 1 1 3 hyperplan Un hyperplan H est un ensemble de la forme x a x b o z c E R b Ret d signe le produit scalaire de deux vecteurs Propri t 1 1 1 Si Cj C sont des ensembles convexes alors l intersection _ C est convexe 1 2 Le probl me Il existe de nombreuses sortes de probl mes d optimisation Certaines cara
78. s de relation de priorit entre les op rateurs de multi plication et de puissance ceux ci seront valu s dans l ordre o le programme lit la fonction c est dire de gauche droite Il faut donc prendre garde car si l on crit par exemple 3 x1 2 2 la multiplication sera la premi re valu e et c est la totalit de l expression 3 x1 2 qui sera ensuite lev e au carr Si l on souhaite valuer d abord la puissance l emploi de parenth ses est requis 3 x1 2 2 L utilisateur est donc invit utilis des parenth ses pour viter l ambigu t dans ce cas Voici un exemple de la mani re de sp cifier une fonction objectif pour un probl me deux dimensions x1 2 2 x2 2 x1 x2 et un exemple de contraintes xl 5 x2 lt 5 2 x1 2 x2 lt 0 x1 lt 0 x2 lt 0 47 Vecteurs et matrices Il arrive fr quemment que l application n cessite des valeurs d entr es sous forme de vecteurs ou de matrices principalement lors de l ex cution d un algorithme pour un probl me de dimen sion plus grande que 2 Les vecteurs seront simplement donn s entre parenth ses en s parant les l ment par des virgules Par exemple le vecteur nul de dimension 3 sera crit 0 0 0 Les matrices quant elles seront exprim es ligne par ligne de la plus haute la plus basse avec la syntaxe suivante Par exemple la matrice identit de dimension 3 sera crite 1
79. s non admissibles ne pourront tre g n r es si la m thode se trouve en un point o une contrainte non lin aire est active Cas des contraintes lin aires La m thode de Zoutendijk cherche elle aussi trouver chaque it ration la direction d minimisant la d riv e directionnelle de f en x Les variables apparaissant dans la fonction objectif du sous programme lin aire sont les composantes de d que l on norme afin d emp cher le probl me d tre non born Si le point z courant est situ l int rieur de X le probl me de recherche de la direction optimale d peut s crire minimiser V f x d sous contraintes d lt 1 Vi 1 n dj gt 1 Vie 1 n Si x se trouve maintenant sur la fronti re du domaine une ou plusieurs contraintes du probl me original y sont actives Il faut donc ajouter au programme lin aire pr c dent des contraintes excluant les directions menant uniquement des points non admissibles Cela est fait simplement en faisant intervenir les gradients des contraintes actives Soit J l ensemble des contraintes actives en x I i g x 0 Le probl me de recherche de direction final est minimiser V f x d sous contraintes Vgi x d lt 0 Wiel dj lt 1 Wie f1 n d gt 1 Wie 1 n Un r sultat int ressant est donn par le th or me suivant k si et seule Th or me 4 1 2 Les conditions n cessaires de Kuhn Tucker sont satisfaites en x
80. sous les m mes conditions ne n cessite que 10 it rations et s arr te en 1 95 0 97 Newton donne donc des r sultats consid rablement meilleurs pour ce probl me en tout cas avec ce point de d part proche du minimum Cela montre toutes les limites de la m thode du gradient sous sa forme classique Reproduisons l exp rience avec un point initial loign du minimum par exemple 107 2 5 10 la condition d arr t est V f x lt 0 01 La m thode du gradient se termine apr s 1269 it rations alors que la m thode de Newton n a besoin que de 46 it rations Signalons tout de m me la d charge de la m thode du gradient qu une it ration de la m thode de Newton se r v le plus gourmande en calculs et plus lente l ex cution qu une it ration de la m thode du gradient cause de l valuation de l inverse de la matrice hessienne Nous pouvons recommencer l exp rience en choisissant un point initial plus loign encore par exemple 5 101 10 La m thode du gradient a alors besoin de 36757 it rations pour terminer en 1 94 0 97 La m thode de Newton elle se termine apr s 69 it rations seulement au point 2 05 1 03 Le constat est donc sans appel Nous pouvions nous attendre priori ce que la m thode du gradient donne de meilleurs r sultats lorsque le point initial est loign entre autres gr ce la minimisation monodimen tionnelle effectu e le long de d L exp rience pr c
81. st dire sp cifie s sous la forme x1 x2 xn Les op rateurs reconnus sont les suivants Les op rateurs binaires addition 46 soustraction multiplication division puissance Les op rateurs unaires unaire oppos sin sinus cos cosinus tan tangente exp exponentielle In logarithme naturel sqrt racine carr e Tout autre l ment qu un nombre des variables sous la forme d crite ci dessus les op ra teurs pr c dents ou des parenth ses est prohib dans une fonction L argument des fonctions trigonom triques sera sp cifi en radians L exponentielle est en base e Il n est pas possible de sp cifier de variable dans l exposant d une puissance Une fonction objectif doit tre termin e par un Une collection de contraintes doit tre donn e en s parant chacune de celles ci par des et la liste achev e par un Les relations valides pour les contraintes sont lt gt et En Les relations de priorit entre les diff rents op rateurs sont celles utilis es usuellement c est dire que la multiplication est prioritaire sur l addition En l absence de parenth ses permettant de lever toute ambigu t sur l ordre des valuations effectuer les multiplications sont valu es en premier lieu La puissance est galement prioritaire sur l addition Attention cependant car il n y a pa
82. suffisamment proche d un minimum local et que V f x n est pas singuli re alors la m thode de Newton convergera vers ce minimum mais pas de mani re finie de sorte qu une condition d arr t est requise de fa on analogue la m thode du gradient 3 3 Les m thodes utilisant des directions conjugu es 3 3 1 Description de la m thode Ces m thode sont bas es sur l important concept de la conjugaison et ont t d velopp es afin de r soudre le probl me quadratique 14 1 minimiser f x 32 Qxr b x e avec x R o Q R est sym trique et d finie positive b R et c R Les m thodes de di rection conjugu es peuvent r soudre les probl mes de cette forme en au plus n it rations et contrairement au m thodes pr sent es jusqu pr sent elle n utilisent pas de d riv es sauf dans le cas particulier de la m thode du gradient conjugu Donnons la d finition de la notion de conjugaison D finition 3 3 1 Soient Q une matrice n x n sym trique et d finie positive et un ensemble de directions non nulles d d d Ces directions sont dites Q conjugu es si Qd 0 Vi j tels que i j Propri t 3 3 1 Si d d sont Q conjugu es alors elles sont lin airement ind pendantes Propri t 3 3 2 Comme des direction Q conjugu es sont lin airement ind pendantes alors l espace vectoriel engendr par un ensemble de n directions Q conjugu es est de dimens
83. t pr c dente Alors d est construite comme suit i dti gtl 5 clitl m gm m 0 Nous pouvons noter que si d t est construite d une telle mani re elle est effectivement lin aire ment ind pendante de d dt En effet le sous espace g n r par les directions d d est le m me que le sous espace g n r par les directions et est lin airement ind pendante de T1 ne fait donc pas partie du sous espace g n r par les combinaisons lin aires de 15 la forme 5 cmg de sorte que d t n en fait pas partie non plus et est donc lin airement ind pendante des d di Les coefficients 1 eux sont choisis de mani re assurer la Q conjugaison des d d c est dire de telle sorte que pour tout 7 0 7 nous ayons d t Qdi 0 La m thode du gradient conjugu La m thode du gradient conjugu est obtenue en appliquant la proc dure de Gram Schmidt aux gradients V f x V f x 1 c est dire en posant V f x el V f a1 En outre nous avons que Vf x Qx b et V f Q Notons que la m thode se termine si V f x 0 La particularit int ressante de la m thode du gradient conjugu est que le membre de droite de l quation donnant la valeur de d dans la proc dure de Gram Schmidt peut tre grandement simplifi En particulier nous pouvons v rifier que seul un des termes de
84. t sujette une forme zigzag lanc e depuis un point admissible quelconque elle se d place imm diatement en un point o une ou plusieurs contraintes sont actives D la condition suppl mentaire que nous avons ajout e afin de traiter les contraintes non lin aires cette condition impose l in galit stricte de la relation Vg x d lt 0 o gi est une contrainte active en x lorsque la m thode se trouve en un point o une contrainte lin aire cette fois est active il lui est impossible de se d placer le long de sa fronti re puisque la direction de 38 clade LE Fic 4 3 illustration de la convergence de la m thode de p nalit ext rieure pour le probl me Py mouvement choisie ne peut tre orthogonale au gradient de cette derni re Dans un tel cas elle se d place donc en direction d un point ot une autre contrainte est active donnant lieu au zigzag Le prix pour le traitement des contraintes non lin aires est ainsi pay par l obtention d une convergence nettement plus lente que celle de la m thode pour contraintes lin aires Soit P 4 minimiser 27 x9 sous contrainte r ze 21 621 gt 0 La fonction objectif est lin aire Lanc e depuis 1 1 la m thode de Zoutendijk pour les contraintes non lin aires trouve une approximation du minimum global 7 46 2 0 en 20 it ra tions Notons que lanc e depuis d autres points admissibles elle converge toujours vers ce
85. thode de Nelder et Mead fonctionne diff rement des autres m thodes d crites jusqu ici En effet elle ne consiste pas d terminer chaque it ration une direction le long de laquelle se d placer depuis x pour obtenir x 1 A chaque it ration l algorithme remplace le point de co t maximum Xa dans le simplexe par un autre dont le co t est inf rieur Ce nouveau point est d termin par l algorithme d une mani re tr s g om trique suivant les tapes de r flexion d expansion ou de contraction qui Son principe est de maintenir un ensemble de n 1 points appel simplexe sont d crites ci dessous 16 D crivons pr cis ment l algorithme qui a t impl ment Avant le d but de l ex cution le choix d un simplexe initial doit tre op r Soient 2 x x les n 1 points du simplexe courant Soient Tmin et Tmax les points de co t respectivement le moins et le plus lev c est a dire tels que Fami main f 2 et tes max f a i 0 n Soit Z d fini de la mani re suivante nous pourrions le qualifier de centre du poly dre form par les points du simplexe l exception de maz XI 1 By p Tmas F 2 x i L it ration consiste remplacer le pire des points Zmax par un point de co t inf rieur pour cela le point dit de r flection x f est calcul situ sur la droite passant par Zmar et Z et sym trique Vmax par rapport Zz Tref
86. timale recherch e Dans cette optique nous devons pouvoir disposer de logiciels capables d appliquer ces m thodes a des probl mes de taille variable et d en extraire les r sultats ce qui a donn naissance ce projet de dipl me Celui ci se concentre essentiellement sur les probl mes d optimisation dont les fonctions objectif et les contraintes sont non lin aires Il a donc pour but principal l impl mentation dans un langage de programmation en l occurence Java d algorithmes d opti misation non lin aires ce qui nous permettra ensuite de les comparer d tudier le comportement en pratique des m thodes au del des consid rations purement th oriques et d tablir ainsi plus pr cis ment la lumi re de leur utilisation pratique leurs champs d application et de mettre en vidence leurs qualit s et leurs d fauts respectifs Le logiciel d velopp au cours de ce projet a galement pour vocation de permettre l illus tration et la d monstration de l ex cution des m thodes d une mani re aussi didactique que possible afin d en faciliter et d en rendre plus intuitive la compr hension Le pr sent document contiendra ainsi apr s un bref expos des r sultats th oriques et des d finitions importants la description et l tude comparative des m thodes impl ment es Puis les question plus particu li rement relatives a l application elle m me seront abord es 1 1 Rappel de quelques d finition
87. tr s d taill e le lecteur pourra se reporter la Javadoc qui d crit le r le et le fonctionnement de chaque classe et m thode et qui est pr sente sur le CD dans le r pertoire programme javadoc 6 2 Fonctionnement de l application Afin d assurer un fonctionnement correct et de certifier que en tout instant l algorithme convenable est ex cut pour le probl me ad quat et suivant les bons param tre initiaux il est n cessaire de r gir l ex cution de l application par une machine d tats Celle ci permet au diff rentes partie de l application de d terminer en tout temps quel type de probl me est en train d tre r solu par quel algorithme et quelle est sa dimension ce qui est primordial En effet l affichage par exemple devra videmment tre diff rent si le probl me est en 2 dimensions ou d une dimension sup rieure Lorsque l utilisateur souhaite ex cuter les it rations d un algorithme il est n cessaire que le contr leur sache toujours de quel algorithme il s agit etc Cette machine est simple et comporte en r alit autant d tats que de combinaisons possibles du type de probl me de l algorithme et de la dimension celle ci pouvant tre 1 2 ou n Elle est impl ment e dans le contr leur Le graphe repr sentant cette machine contient un grand nombre de noeuds et d arc nous renon ons donc le pr senter ici Lors du d marrage de l application celle ci se trouve dans l tat par
88. traintes les algorithmes du gradient de Newton des directions conjugu es du gradient conjugu et du simplexe sont dispo nibles S il s agit d un probl me contraint les algorithmes de Frank et Wolfe de Zoutendijk les deux versions destin es au cas des contraintes lin aires ou non lin aires de Kelley de p nalit int rieure ou de p nalit ext rieure peuvent tre s lectionn s Chaque algorithme ne peut tre utilis que sous certaines hypoth ses relative l instance du probl me consid r ces hypoth ses ont t d taill es aux chapitres 3 et 4 En cas de r solution d un programme lin aire enfin seul le traditionnel algorithme du sim plexe peut tre utilis Le menu Dimension On l utilise pour indiquer la dimension du probl me parmi trois possibilit s 1 2 et n Les deux premiers choix activent l affichage graphique permettant l illustration des ex cutions L option n dimensions est pr vue pour tout probl me de dimension strictement sup rieure 2 l utilisateur sera invit entrer la v ritable valeur de la dimension par la suite Cette option d sactive l affichage graphique permettant d illustrer les ex cutions Si par hasard l utilisateur souhaite r soudre un probl me une ou deux dimensions mais ne souhaite pas utiliser l affichage graphique par exemple pour obtenir une ex cution plus rapide il peut proc der en choisissant l option n dimensions et en fixant ensuite la
89. u avec un param tre u et une p nalit plus grande Vimportance de l admissibilit est accentu e est la m thode cherche se d placer en priorit vers un point admissible m me si celui ci n est pas le minimum global 41 Fic 4 5 illustration du zigzag de la m thode de Frank et Wolfe pour P4 en partant de 2 2 42 Chapitre 5 Manuel d utilisation de l application partir de ce chapitre les questions plus sp cifiquement relatives au logiciel lui m me sont abord es On d crit ici la mani re dont il doit tre utilis et le chapitre suivant traite de la fa on dont il a t impl ment entrant plus dans les d tails de son fonctionnement le pr sent chapitre pr sente la documentation consacr e l utilisateur de l application alors que le suivant donnera celle destin e au programmeur d sireux d assurer sa maintenance 5 1 D marrage de l application Cette application a t d velopp e dans le langage Java et n cessite une installation de la machine virtuelle Java version 1 4 2 ou sup rieure pour fonctionner Pour l arithm tique matricielle elle utilise le paquetage javax vecmath de l extension Java3D Si l utilisateur dispose d une installation de Java qui ne comprend pas ce paquetage deux possibilit s s offrent lui installer Java3D qui peut se trouver sur java sun com ou inclure le fichier vecmath jar se trouvant sur le CD pr sent avec ce rapport dans le r
90. uhaite pas une approximation trop pr cise cela d pend des ex Les it rations de la m thode de barri re sont galement plus gourmandes en temps de calcul Il faut recommencer la m thode de barri re plusieurs fois cause du choix des param tres Enfin celle ci n cessite un point initial int rieur alors que les autres se contentent d un point initial admissible 7 i Wr Z Pai NE iii His ann NIET Van f m f A Hatt PRRI f f K X i j if NE 7 42 j Ton a I n 7 HN re if I ETES liad SN EDEN SONS SEE NT ETES AIS are ls tes op ea baw 7 pos i if Fic 4 1 illustration la convergence en une it ration de la m thode de Zoutendijk vers un point satisfaisant les conditions de Kuhn Tucker pour le probl me P sur la figure le gradient de f est repr sent en jaune au point optimal 0 3 et les gradient des contraintes actives sont en violet partir du point 3 3 Consid rons le probl me suivant P minimiser x1 20 a2 10 sous contraintes z1 2 lt 3 1 Lo 971 lt 10 2 10 z lt 500 21 72 gt 0 R solvons ce probl me par la m thode de p nalit ext rieure en d marrant au point non admissible 0 30 avec un param tre u 0 5 et un facteur d augmentation de 1 5 La m thode 37 FIG 4 2 illustration la convergence de la m thode de barri re vers le minimum global 9 2 en partant
91. une liste des diff rents paquetages que comprend l application et de 51 leur fonction le paquetage control contient le contr leur de l application le paquetage display contient les classes n cessaires l interaction avec l utilisateur dont la classe principale d finissant l interface graphique le paquetage method regroupe les classes impl mentant les algorithmes d optimisation le paquetage function contient les classes mod lisant les fonctions et les contraintes le paquetage parser contient les classes impl mentant le parser le paquetage exception contient les diverses exceptions qui peuvent tre rencontr es et envoy es lors de l ex cution des algorithmes le paquetage optimalityConditions contient des classes impl mentant les routines per mettant le test des conditions d optimalit le paquetage linear Programming contient les classes regroupant les routines de r solu tion des programmes lin aires le paquetage utils contient diverses classes utilitaires permettant d ex cuter certaines op rations annexes utiles l application Nous ne donnerons pas ici la liste d taill e des diff rentes classes du programme et de leur fonctionnement car cela serait trop long et les d tails d impl mentation ne sont pas une chose des plus passionnante Nous nous contenterons d expliquer leur fonctionnement global Pour conna tre l impl mentation de mani re
92. une m thode Si apr s avoir ex cut quelques it rations d un algorithme l utilisateur souhaite ex cuter nouveau la m thode depuis le d but il peut le faire par une pression sur le bouton de r initia lisation au m me endroit que le bouton d entr e des valeurs initiales num ro 10 ou changer de m thode ou de probl me en s lectionnant n importe quelle option dans les menus Probl me Algorithme ou Dimension Les donn es r sultant de l ex cution pr c dente sont supprim es Affichage des r sultats Tableau de l ex cution A chaque it ration l utilisateur peut consulter toutes les valeurs int ressantes obtenues durant l ex cution qui sont affich es dans ce tableau num ro 14 sur la figure Il peut s agir d l ments vari s en fonction de l algorithme Il sera question notamment du point courant x de la direction d et du point x g n r s cette it ration mais galement de la valeur du gradient au point x ou encore de la liste des contraintes actives en ce point si le probl me est contraint etc Solution optimale Lorsqu une condition d arr t est satisfaite et qu un algorithme se termine la solution optimale obtenue et la valeur de la fonction objectif en ce point s affichent dans les champs pr vus cet effet num ro 16 Conditions d optimalit Lorsqu une ex cution se termine l application teste si la solution optimale obtenue v rifie les conditions d optimalit Da
93. ut tre r solu par l algorithme du simplexe Selon un th or me connu sa solution optimale Z se trouvera alors en l un des points extr mes du domaine X de sorte que l optimisation monodimentionnelle le long de d devra tre faite sous la restriction 0 lt a lt 1 La m thode se termine si la direction g n r e est gale au vecteur nul Convergence de la m thode Le r sultat suivant peut tre d montr Th or me 4 1 1 Consid rons le probl me de minimisation de f x sous contraintes x X o X est un polytope born Alors la m thode de Frank et Wolfe d marr e depuis un point initial admissible converge vers un point satisfaisant la condition de Kuhn Tucker La m thode converge vers un point de Kuhn Tucker mais pas n cessairement de mani re finie car elle peu tre sujette au zigzag l instar de la m thode du gradient nous en reparlerons lors de son utilisation pratique 27 4 1 2 La m thode de Zoutendijk La m thode de Zoutendijk fonctionne selon le m me sch ma chaque it ration elle g n re une direction de descente admissible et ensuite minimise f le long de cette direction A l image de la m thode de Frank et Wolfe le sous programme de recherche d une telle direction est lin aire Nous commen ons par d crire la m thode de Zoutendijk applicable si les contraintes sont lin aires puis celle ci suscitera des modifications si elle ne le sont pas afin de garantir que des direction
94. ut s arranger pour qu un seul point de la courbe soit n cessaire pour dessiner celle ci mais l inconv nient de cette approche est la manque de pr cision quelle induit en certaines circonstance nous obligeant recalculer les points lors par exemple d un agrandissement de la vue 54 Chapitre 7 Conclusion Cette conclusion sera je l esp re assez courte car le pr sent document est lui d j suffi semment long Ce projet a t tr s int ressant car il m a donn l opportunit de travailler dans des domaines vari s me permettant de concilier un travail th orique avec une t che pratique d impl mentation Il m a donc permis d am liorer grandement mes connaissances la fois en math matiques dans le domaine de l optimisation non lin aire et en programmation Il mwa permis d appr cier par moi m me l efficacit des divers types de m thodes de juger de leur convenance envers les diff rents types de probl mes d tre confront aux difficult s qui sur viennent lors du passage entre les principes th oriques sur lesquels les m thodes sont fond es et leur impl mentation l aide d un programme r el Ce sujet passionnant n a bien s r pas t puis travers ce projet et de nombreux d fis restent ouverts en particulier l impl mentation de nouvelles m thodes et d extensions aux mo d les pr sent s afin de juger des gains en terme de performance qui pourraient en r sulter ou de t
95. valeur de n 1 ou 2 Tous les algorithmes sont des algorithmes permettant de minimiser des fonctions de R dans R ils pourraient donc tre utilis s pour des probl mes de n importe quelle dimension Toutefois la plupart des m thodes doivent r aliser une recherche monodimentionnelle chaque it ration qui est assur e par la m thode de Newton Dans le cas d un probl me une dimension les autres algorithmes se borneraient donc faire appel la m thode de Newton pour le r soudre c est pourquoi seule cette m thode est disponible dans le cas une dimension Le menu Options Il permet de sp cifier divers param tres On y trouvera les sous menus suivants Le premier appel Pr cision autorise l utilisateur sp cifier deux types d arrondis ce que nous appelons ici arrondi est en fait une valeur enti re comprise entre 0 et 15 qui n est autre que le nombre de d cimales auquel l utilisateur souhaite arrondir une valeur Le premier est la pr cision avec laquelle l utilisateur souhaite voir s afficher les valeurs r sultant d une l ex cution 45 par d faut elle vaut 2 Quant au deuxi me nous allons maintenant d tailler son utilit et en quelles circonstances il est utilis L application recourra cet arrondi durant certains calculs lors d une ex cution Pour com prendre son utilit consid rons l exemple suivant imaginons que nous soyons en train de r soudre un probl me comp
96. vante D finition 1 4 1 formelle d un algorithme La formelle d un algorithme est une applica tion A X CR Y C P X Le vecteur x t est donc g n r par l algorithme de la mani re suivante en fonction de x A est appliqu e z et l on choisit 2 t A a C P X Donnons galement la d finition de la notion utile de limite d une s quence de points x D finition 1 4 2 point limite L on appelle point limite d une s quence x de points de R tout point x R tel qu il existe une sous s quence de zf qui converge vers z Chapitre 2 Conditions d optimalit 2 1 Pourquoi avons nous besoin de conditions d optimalit Afin d analyser ou de r soudre de mani re efficace un probl me d optimisation il est fon damental de pouvoir disposer de conditions d optimalit En effet celles ci nous servent non seulement v rifier la validit des solutions obtenues mais souvent l tude de ces conditions aboutit au d veloppement des algorithmes de r solution eux m mes Des conditions quivalentes peuvent tre obtenues de diverses mani res en proc dant des analyses suivants diff rentes lignes directrices L approche consid r e ici pour l obtention de conditions est bas e sur les notions de descente et de direction admissible 2 2 Cas sans contraintes 2 2 1 Conditions n cessaires Etant donn un vecteur x nous souhaiterions tre capables de d terminer si ce v
97. vecteur dont les composantes sont y pour 7 I Le probl me ci dessus peut tre r solu par une m thode de directions admissibles en partant du point 7 9 o J g x pour i amp I Lorsque celle ci se termine une solution admissible du probl me original est obtenue Alors une m thode de directions admissibles peut tre utilis e nouveau pour r soudre le probl me original 4 6 Etude comparative des m thodes d optimisation avec contraintes Les m thodes de p nalit Les m thodes de directions admissibles atteignent les points situ s sur la fronti re du do maine et donc obtiennent g n ralement une approximation plus pr cise d un minimum local que les m thodes de p nalit Bien que la m thode de barri re soit tr s bien support e par la th orie et n cessite peu de restrictions sur le probl me pour assurer une convergence th orique elle souffre de faiblesses dans le cadre de l utilisation pratique particuli rement lorsque la fronti re de la r gion admissible est approch e Il n y a pas de technique g n rale pour le choix du param tre e et du facteur de r duction ce qui implique qu il faille souvent red marrer la m thode plusieurs fois Lorsque e est tr s proche de z ro l arrondissement des valeurs d au calcul en nombre de chiffres limit s que l ordinateur utilise entra ne la propagation des erreurs dties celui ci Lorsque la m thode approche l extr mit du
98. vement g n r s par la m thode du gradient de la mani re suivante ght g a V f x o gt 0 Le point x peut tre choisi arbitrairement Il importe d sormais de choisir a d une mani re aussi convenable que possible Tout comme pour d diverses strat gies peuvent tre employ es pour ce choix Celle que nous adoptons ici est g n ralement d sign e sous l appellation de r gle de minimisation Elle consiste choisir chaque it ration a comme tant la solution optimale du probl me de minimisation monodimentionnelle de f le long de la demi droite d finie par le point x et la direction V f x Un tel sous probl me peut tre r solu de diverses mani res par exemple par la m thode de Newton Remarquons que la m thode s arr te lorsque V f x 0 car dans ce cas x g Nous allons aborder dans la section suivante les questions plus particuli rement relatives la conver gence de cette m thode 3 1 2 Convergence de la m thode Id alement nous souhaiterions pouvoir g n rer l aide de la m thode du gradient une s quence x convergeant vers un minimum global de f Cependant c est bien s r trop demander une telle m thode du moins si f n est pas convexe en raison de la pr sence d extr ma locaux qui ne sont pas globaux La m thode du gradient est guid e localement selon la forme de f dans la r gion correspondante au point x et peut ainsi tre attir e par tout ty
99. xe R solvons ce probl me par les m thodes de directions admissibles et de p nalit en commen ant par les premi res Avec le point initial 0 0 nous observons que la m thode de Frank et Wolfe converge en 2 it rations vers le minimum local 3 5 5 qui est aussi le minimum global La m thode de Zouendijk pour les contraintes lin aires fait de m me en 3 it rations En partant du point 0 1 ces deux m thodes convergent en deux it rations vers un autre minimum local 0 5 4 On recommence depuis 2 2 la m thode de Zoutendijk converge toujours en 2 it rations vers 0 5 4 mais la m thode de Frank et Wolfe zigzague et aura en r alit besoin de 730 it rations pour trouver une approximation de 0 5 4 avec la condition d arr t d lt 0 005 Ex cutons maintenant la m thode de barri re pour ce probl me tout d abord depuis le point 0 0 avec un param tre initial e 50 et un facteur de r duction associ 3 0 9 Elle converge vers 3 5 5 Avec des param tres e 10 et 3 0 9 Nous observons que la m thode converge cette fois vers 0 5 0 25 qui est le centre de hyperbole et un point stationnaire de f Un raisonnement analogue celui ci d velopp pour le probl me P explique cela Pour les raisons d j voqu es si la m thode est lanc e depuis n importe quel point int rieur avec un et un facteur de r duction suffisamment lev s nous observons que la m thode converge vers le

Download Pdf Manuals

image

Related Search

Related Contents

RAE Systems - EntryRAE Datasheet (French)  Manuale di istruzioni Sega a muro WZ Indice 006  Zanussi ZETF 180 SI Instruction Booklet  取扱説明書 - パナソニック  Manuales  Linksys WIRELESS-G WRT54GS User's Manual  Original- Bedienungsanleitung Mikrowelle und Grill MG25  PA10-6C操作支援プログラム(PDF/3.9MB)    SensAlarm Plus manual 820-0301-0  

Copyright © All rights reserved.
Failed to retrieve file