Multiplicateur de LagrangeEn mathématiques, et plus particulièrement en analyse, la méthode des multiplicateurs de Lagrange permet de trouver les points stationnaires (maximum, minimum...) d'une fonction dérivable d'une ou plusieurs variables, sous contraintes. On cherche à trouver l'extremum, un minimum ou un maximum, d'une fonction φ de n variables à valeurs dans les nombres réels, ou encore d'un espace euclidien de dimension n, parmi les points respectant une contrainte, de type ψ(x) = 0 où ψ est une fonction du même ensemble de départ que φ.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Optimisation (mathématiques)L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Fonction quasi-convexeEn mathématiques, une fonction quasi-convexe est une fonction à valeurs réelles, définie sur un ensemble convexe d'un espace vectoriel réel, telle que l' de tout ensemble de la forme est convexe ou encore telle que, sur tout segment, la plus grande valeur de la fonction est atteinte à l'une des extrémités. L'opposée d'une fonction quasi-convexe est dite quasi-concave. Toute fonction convexe est quasi-convexe mais la réciproque est fausse : par exemple, toute fonction monotone sur un intervalle réel est quasi-linéaire, c'est-à-dire à la fois quasi-convexe et quasi-concave.
Optimisation non linéaireEn optimisation, vue comme branche des mathématiques, l'optimisation non linéaire (en anglais : nonlinear programming – NLP) s'occupe principalement des problèmes d'optimisation dont les données, i.e., les fonctions et ensembles définissant ces problèmes, sont non linéaires, mais sont aussi différentiables autant de fois que nécessaire pour l'établissement des outils théoriques, comme les conditions d'optimalité, ou pour la bonne marche des algorithmes de résolution qui y sont introduits et analysés.
Dualité (optimisation)En théorie de l'optimisation, la dualité ou principe de dualité désigne le principe selon lequel les problèmes d'optimisation peuvent être vus de deux perspectives, le problème primal ou le problème dual, et la solution du problème dual donne une borne inférieure à la solution du problème (de minimisation) primal. Cependant, en général les valeurs optimales des problèmes primal et dual ne sont pas forcément égales : cette différence est appelée saut de dualité. Pour les problèmes en optimisation convexe, ce saut est nul sous contraintes.
Méthodes de points intérieursvignette|Visualisation de la méthode des points intérieur : le chemin reste à l’intérieur du polyèdre. vignette|Visualisation de la méthode du simplexe : le chemin suit les arêtes du polyèdre vignette|Visualisation de la méthode par ellipsoïde : l’ellipse se rétrécit Les méthodes de points intérieurs forment une classe d’algorithmes qui permettent de résoudre des problèmes d’optimisation mathématique.
Fonction concaveEn mathématiques, une fonction f est dite concave lorsque la fonction opposée –f est convexe. Le fait que l'on préfère commencer par définir la notion de fonction convexe et d'en déduire celle de fonction concave trouve son origine dans le fait que l'on définit aisément la notion d'ensemble convexe, alors que celle d'« ensemble concave » est moins naturelle. On définit alors les fonctions convexes comme celles ayant un épigraphe convexe (les fonctions concaves ont un hypographe convexe).
Fonction convexevignette|upright=1.5|droite|Fonction convexe. En mathématiques, une fonction réelle d'une variable réelle est dite convexe : si quels que soient deux points et du graphe de la fonction, le segment est entièrement situé au-dessus du graphe, c’est-à-dire que la courbe représentative de la fonction se situe toujours en dessous de ses cordes ; ou si l'épigraphe de la fonction (l'ensemble des points qui sont au-dessus de son graphe) est un ensemble convexe ; ou si vu d'en dessous, le graphe de la fonction est en bosse.
Analyse convexeL'analyse convexe est la branche des mathématiques qui étudie les ensembles et les fonctions convexes. Cette théorie étend sur beaucoup d'aspects les concepts de l'algèbre linéaire et sert de boîte à outils en analyse et en analyse non lisse. Elle s'est beaucoup développée du fait de ses interactions avec l'optimisation, où elle apporte des propriétés particulières aux problèmes qui y sont étudiés. Certains voient la naissance de l'analyse convexe « moderne » dans l'invention des notions de sous-différentiel, d'application proximale et d'inf-convolution dans les années 1962-63.
Sous-différentielEn mathématiques, et plus précisément en analyse convexe, le sous-différentiel est un concept permettant de décrire la variation locale d'une fonction convexe (à valeurs réelles donc) non nécessairement différentiable dans un sens classique, celui auquel on attache aujourd'hui le nom de Fréchet. Au lieu d'être la pente de l'application linéaire tangente (c'est-à-dire, la dérivée) au point considéré, qui n'existe pas nécessairement, le sous-différentiel d'une fonction convexe est l'ensemble des pentes de toutes les minorantes affines de la fonction, qui sont exactes en ce point, c'est-à-dire qui ont en ce point la même valeur que la fonction convexe qu'elles minorent.
Global optimizationGlobal optimization is a branch of applied mathematics and numerical analysis that attempts to find the global minima or maxima of a function or a set of functions on a given set. It is usually described as a minimization problem because the maximization of the real-valued function is equivalent to the minimization of the function . Given a possibly nonlinear and non-convex continuous function with the global minima and the set of all global minimizers in , the standard minimization problem can be given as that is, finding and a global minimizer in ; where is a (not necessarily convex) compact set defined by inequalities .
Ligne de niveauSoit f une fonction à valeurs réelles, une ligne de niveau est un ensemble { (x1,...,xn) | f(x1,...,xn) = c } ; c étant une constante. C'est en fait le sous-ensemble de l'ensemble de définition sur lequel f prend une valeur donnée. Théorème : le gradient de f est perpendiculaire en tout point à la ligne de niveau de f en ce point. Il s'agit d'un résultat important. Pour mieux le comprendre, imaginons que deux randonneurs sont à la même position sur une montagne.
Scenario optimizationThe scenario approach or scenario optimization approach is a technique for obtaining solutions to robust optimization and chance-constrained optimization problems based on a sample of the constraints. It also relates to inductive reasoning in modeling and decision-making. The technique has existed for decades as a heuristic approach and has more recently been given a systematic theoretical foundation. In optimization, robustness features translate into constraints that are parameterized by the uncertain elements of the problem.
Méthode hill-climbingvignette|graphe de la méthode de hill-climbing La méthode hill-climbing ou méthode d' est une méthode d'optimisation permettant de trouver un optimum local parmi un ensemble de configurations. Le hill-climbing une méthode générale qui prend en entrée trois objets : une configuration, une fonction qui pour chaque configuration donne un ensemble de configurations voisines, et une fonction-objectif qui permet d'évaluer chaque configuration.
Méthode de l'ellipsoïdeEn optimisation mathématique, la méthode de l'ellipsoïde est une méthode itérative utilisée pour minimiser des fonctions convexes. En informatique théorique, cette méthode est connue comme étant le premier algorithme de complexité polynomiale découvert pour résoudre les problèmes d'optimisation linéaire. L'algorithme construit une suite d'ellipsoïdes de plus en plus petits, qui enserrent à chaque étape le minimum de la fonction objectif.
Optimisation SDPEn mathématiques et en informatique théorique, l'optimisation SDP ou semi-définie positive, est un type d'optimisation convexe, qui étend l'optimisation linéaire. Dans un problème d'optimisation SDP, l'inconnue est une matrice symétrique que l'on impose d'être semi-définie positive. Comme en optimisation linéaire, le critère à minimiser est linéaire et l'inconnue doit également satisfaire une contrainte affine. L'optimisation SDP se généralise par l'optimisation conique, qui s'intéresse aux problèmes de minimisation d'une fonction linéaire sur l'intersection d'un cône et d'un sous-espace affine.
Feasible regionIn mathematical optimization, a feasible region, feasible set, search space, or solution space is the set of all possible points (sets of values of the choice variables) of an optimization problem that satisfy the problem's constraints, potentially including inequalities, equalities, and integer constraints. This is the initial set of candidate solutions to the problem, before the set of candidates has been narrowed down.
Slater's conditionIn mathematics, Slater's condition (or Slater condition) is a sufficient condition for strong duality to hold for a convex optimization problem, named after Morton L. Slater. Informally, Slater's condition states that the feasible region must have an interior point (see technical details below). Slater's condition is a specific example of a constraint qualification. In particular, if Slater's condition holds for the primal problem, then the duality gap is 0, and if the dual value is finite then it is attained.
Optimisation linéairethumb|upright=0.5|Optimisation linéaire dans un espace à deux dimensions (x1, x2). La fonction-coût fc est représentée par les lignes de niveau bleues à gauche et par le plan bleu à droite. L'ensemble admissible E est le pentagone vert. En optimisation mathématique, un problème d'optimisation linéaire demande de minimiser une fonction linéaire sur un polyèdre convexe. La fonction que l'on minimise ainsi que les contraintes sont décrites par des fonctions linéaires, d'où le nom donné à ces problèmes.
