Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Global optimizationGlobal optimization is a branch of applied mathematics and numerical analysis that attempts to find the global minima or maxima of a function or a set of functions on a given set. It is usually described as a minimization problem because the maximization of the real-valued function is equivalent to the minimization of the function . Given a possibly nonlinear and non-convex continuous function with the global minima and the set of all global minimizers in , the standard minimization problem can be given as that is, finding and a global minimizer in ; where is a (not necessarily convex) compact set defined by inequalities .
Méthode de Newtonvignette|Une itération de la méthode de Newton. En analyse numérique, la méthode de Newton ou méthode de Newton-Raphson est, dans son application la plus simple, un algorithme efficace pour trouver numériquement une approximation précise d'un zéro (ou racine) d'une fonction réelle d'une variable réelle. Cette méthode doit son nom aux mathématiciens anglais Isaac Newton (1643-1727) et Joseph Raphson (peut-être 1648-1715), qui furent les premiers à la décrire pour la recherche des solutions d'une équation polynomiale.
ExtremumUn extremum (pluriel extrema ou extremums), ou extrémum (pluriel extrémums), est une valeur extrême, soit maximum, soit minimum. Cette notion est particulièrement utilisée en mathématiques, où l'expression maximo-minimum, introduite par Nicolas de Cues, correspond à partir de Fermat et Leibniz aux extrêmes d'une courbe ou d'une fonction, repérés par le fait que les dérivées s'y annulent. Elle est aussi utilisée en physique, où le principe de moindre action est un principe extrémal ainsi que Euler l'a montré.
Apprentissage par renforcementEn intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour un agent autonome ( robot, agent conversationnel, personnage dans un jeu vidéo), à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative.
Statistical mechanicsIn physics, statistical mechanics is a mathematical framework that applies statistical methods and probability theory to large assemblies of microscopic entities. It does not assume or postulate any natural laws, but explains the macroscopic behavior of nature from the behavior of such ensembles. Sometimes called statistical physics or statistical thermodynamics, its applications include many problems in the fields of physics, biology, chemistry, and neuroscience.
Optimisation (mathématiques)L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Point critique (mathématiques)En analyse à plusieurs variables, un point critique d'une fonction de plusieurs variables, à valeurs numériques, est un point d'annulation de son gradient, c'est-à-dire un point tel que . La valeur prise par la fonction en un point critique s'appelle alors une valeur critique. Les valeurs qui ne sont pas critiques sont appelées valeurs régulières. Les points critiques servent d'intermédiaire pour la recherche des extrémums d'une telle fonction.
Endoréismevignette|upright=1.5|Le delta de l'Okavango, au Botswana, partie la plus basse d'un bassin endoréique d'Afrique australe (image satellite). En hydrologie, l’endoréisme (du grec ancien : [« couler »] avec le préfixe endo- [« dedans »] et le suffixe -isme) d'un cours d'eau ou d'un bassin versant est le fait qu'il ne se déverse pas dans une mer, mais est au contraire clos, retenant ses eaux (superficielles ou non) dans une cuvette fermée. Les pluies ou autres formes de précipitations qui l'alimentent le quittent uniquement par évaporation .
Réduction de la dimensionnalitévignette|320x320px|Animation présentant la projection de points en deux dimensions sur les axes obtenus par analyse en composantes principales, une méthode populaire de réduction de la dimensionnalité La réduction de la dimensionnalité (ou réduction de (la) dimension) est un processus étudié en mathématiques et en informatique, qui consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension.
Bassin versantvignette|upright=1.5|alt=Vue numérique d'un relief et mise en évidence d'une rivière, de ses affluents et du périmètre de son bassin versant.|Bassin versant de la , en Roumanie. Un bassin versant est une zone géographique de collecte des eaux de surface par un cours d'eau et ses affluents. Il est limité à l'amont par une ligne de partage des eaux qui correspond souvent, mais pas toujours, à une ligne de crête.
Dynamique des fluidesLa dynamique des fluides (hydrodynamique ou aérodynamique), est l'étude des mouvements des fluides, qu'ils soient liquides ou gazeux. Elle fait partie de la mécanique des fluides avec l'hydrostatique (statique des fluides). La résolution d'un problème de dynamique des fluides demande de calculer diverses propriétés des fluides comme la vitesse, la viscosité, la densité, la pression et la température en tant que fonctions de l'espace et du temps.
Exposant critiqueLors d'une transition de phase de deuxième ordre, au voisinage du point critique, les systèmes physiques ont des comportements universels en lois de puissances caractérisées par des exposants critiques. Au point critique, un fluide est caractérisé par une température critique et une densité critique . Pour une température légèrement supérieure à (à nombre de particules et volume constants), le système est homogène avec une densité . Pour une température légèrement inférieure à , il y a une séparation de phase entre une phase liquide (de densité ) et une phase gazeuse (de densité ).
Nonlinear dimensionality reductionNonlinear dimensionality reduction, also known as manifold learning, refers to various related techniques that aim to project high-dimensional data onto lower-dimensional latent manifolds, with the goal of either visualizing the data in the low-dimensional space, or learning the mapping (either from the high-dimensional space to the low-dimensional embedding or vice versa) itself. The techniques described below can be understood as generalizations of linear decomposition methods used for dimensionality reduction, such as singular value decomposition and principal component analysis.
Optimisation multiobjectifL'optimisation multiobjectif (appelée aussi Programmation multi-objective ou optimisation multi-critère) est une branche de l'optimisation mathématique traitant spécifiquement des problèmes d'optimisation ayant plusieurs fonctions objectifs. Elle se distingue de l'optimisation multidisciplinaire par le fait que les objectifs à optimiser portent ici sur un seul problème. Les problèmes multiobjectifs ont un intérêt grandissant dans l'industrie où les responsables sont contraints de tenter d'optimiser des objectifs contradictoires.
Calcul des variationsLe calcul des variations (ou calcul variationnel) est, en mathématiques et plus précisément en analyse fonctionnelle, un ensemble de méthodes permettant de minimiser une fonctionnelle. Celle-ci, qui est à valeurs réelles, dépend d'une fonction qui est l'inconnue du problème. Il s'agit donc d'un problème de minimisation dans un espace fonctionnel de dimension infinie. Le calcul des variations s'est développé depuis le milieu du jusqu'aujourd'hui ; son dernier avatar est la théorie de la commande optimale, datant de la fin des années 1950.
Phénomène critiquevignette|Point critique de l'éthane : 1. état subcritique, liquide et gaz ; 2. opalescence critique ; 3. fluide supercritique. En physique, un phénomène critique est un phénomène associé à une transition de phase du deuxième ordre d'un système thermodynamique. Par exemple la transition de phase ferromagnétique et le comportement au voisinage du point critique liquide-gaz. La plupart des phénomènes critiques proviennent d'une divergence de la ou d'un ralentissement de la dynamique.
Fléau de la dimensionLe fléau de la dimension ou malédiction de la dimension (curse of dimensionality) est un terme inventé par Richard Bellman en 1961 pour désigner divers phénomènes qui ont lieu lorsque l'on cherche à analyser ou organiser des données dans des espaces de grande dimension alors qu'ils n'ont pas lieu dans des espaces de dimension moindre. Plusieurs domaines sont concernés et notamment l'apprentissage automatique, la fouille de données, les bases de données, l'analyse numérique ou encore l'échantillonnage.
Moindres carrés non linéairesLes moindres carrés non linéaires est une forme des moindres carrés adaptée pour l'estimation d'un modèle non linéaire en n paramètres à partir de m observations (m > n). Une façon d'estimer ce genre de problème est de considérer des itérations successives se basant sur une version linéarisée du modèle initial. Méthode des moindres carrés Considérons un jeu de m couples d'observations, (x, y), (x, y),...,(x, y), et une fonction de régression du type y = f (x, β).
