Régularisation (mathématiques)vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.
Regularized least squaresRegularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.
Ridge regressionRidge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.
Optimization problemIn mathematics, computer science and economics, an optimization problem is the problem of finding the best solution from all feasible solutions. Optimization problems can be divided into two categories, depending on whether the variables are continuous or discrete: An optimization problem with discrete variables is known as a discrete optimization, in which an object such as an integer, permutation or graph must be found from a countable set.
Espace de BanachEn mathématiques, plus particulièrement en analyse fonctionnelle, on appelle espace de Banach un espace vectoriel normé sur un sous-corps K de C (en général, K = R ou C), complet pour la distance issue de sa norme. Comme la topologie induite par sa distance est compatible avec sa structure d’espace vectoriel, c’est un espace vectoriel topologique. Les espaces de Banach possèdent de nombreuses propriétés qui font d'eux un outil essentiel pour l'analyse fonctionnelle. Ils doivent leur nom au mathématicien polonais Stefan Banach.
Optimisation de codeEn programmation informatique, l'optimisation de code est la pratique consistant à améliorer l'efficacité du code informatique d'un programme ou d'une bibliothèque logicielle. Ces améliorations permettent généralement au programme résultant de s'exécuter plus rapidement, de prendre moins de place en mémoire, de limiter sa consommation de ressources (par exemple les fichiers), ou de consommer moins d'énergie électrique. La règle numéro un de l'optimisation est qu'elle ne doit intervenir qu'une fois que le programme fonctionne et répond aux spécifications fonctionnelles.
Problème inversevignette|une somme de plusieurs nombres donne le nombre 27, mais peut-on les deviner à partir de 27 ? En science, un problème inverse est une situation dans laquelle on tente de déterminer les causes d'un phénomène à partir des observations expérimentales de ses effets. Par exemple, en sismologie, la localisation de l'origine d'un tremblement de terre à partir de mesures faites par plusieurs stations sismiques réparties sur la surface du globe terrestre est un problème inverse.
Constrained optimizationIn mathematical optimization, constrained optimization (in some contexts called constraint optimization) is the process of optimizing an objective function with respect to some variables in the presence of constraints on those variables. The objective function is either a cost function or energy function, which is to be minimized, or a reward function or utility function, which is to be maximized.
Espace de Hilbertvignette|Une photographie de David Hilbert (1862 - 1943) qui a donné son nom aux espaces dont il est question dans cet article. En mathématiques, un espace de Hilbert est un espace vectoriel réel (resp. complexe) muni d'un produit scalaire euclidien (resp. hermitien), qui permet de mesurer des longueurs et des angles et de définir une orthogonalité. De plus, un espace de Hilbert est complet, ce qui permet d'y appliquer des techniques d'analyse. Ces espaces doivent leur nom au mathématicien allemand David Hilbert.
Espace réflexifEn analyse fonctionnelle, un espace vectoriel normé est dit réflexif si l'injection naturelle dans son bidual topologique est surjective. Les espaces réflexifs possèdent d'intéressantes propriétés géométriques. Soit un espace vectoriel normé, sur ou . On note son dual topologique, c'est-à-dire l'espace (de Banach) des formes linéaires continues de dans le corps de base. On peut alors former le bidual topologique , qui est le dual topologique de . Il existe une application linéaire continue naturelle définie par pour tout dans et dans .
Algèbre de BanachEn mathématiques, l'algèbre de Banach est une des structures fondamentales de l'analyse fonctionnelle, portant le nom du mathématicien polonais Stefan Banach (1892-1945). On explicite cette définition : une algèbre de Banach A sur le corps K = R ou C est un espace vectoriel normé complet sur K (on note la norme) muni d'une loi interne notée multiplicativement, telle que quels que soient x, y, z éléments de A et élément de K : (associativité) ; et (bilinéarité) ; (sous-multiplicativité).
Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Optimisation (mathématiques)L'optimisation est une branche des mathématiques cherchant à modéliser, à analyser et à résoudre analytiquement ou numériquement les problèmes qui consistent à minimiser ou maximiser une fonction sur un ensemble. L’optimisation joue un rôle important en recherche opérationnelle (domaine à la frontière entre l'informatique, les mathématiques et l'économie), dans les mathématiques appliquées (fondamentales pour l'industrie et l'ingénierie), en analyse et en analyse numérique, en statistique pour l’estimation du maximum de vraisemblance d’une distribution, pour la recherche de stratégies dans le cadre de la théorie des jeux, ou encore en théorie du contrôle et de la commande.
Norme (mathématiques)En géométrie, la norme est une extension de la valeur absolue des nombres aux vecteurs. Elle permet de mesurer la longueur commune à toutes les représentations d'un vecteur dans un espace affine, mais définit aussi une distance entre deux vecteurs invariante par translation et compatible avec la multiplication externe. La norme usuelle dans le plan ou l'espace est dite euclidienne car elle est associée à un produit scalaire, à la base de la géométrie euclidienne.
Espace de Hilbert à noyau reproduisantEn analyse fonctionnelle, un espace de Hilbert à noyau reproduisant est un espace de Hilbert de fonctions pour lequel toutes les applications sont des formes linéaires continues. De manière équivalente, il existe des espaces qu'on peut définir par des noyaux reproduisants. Le sujet a été originellement et simultanément développé par Nachman Aronszajn et Stefan Bergman en 1950. Les espaces de Hilbert à noyau reproduisant sont parfois désignés sous l’acronyme issu du titre anglais RKHS, pour Reproducing Kernel Hilbert Space.
Optimisation combinatoireL’optimisation combinatoire, (sous-ensemble à nombre de solutions finies de l'optimisation discrète), est une branche de l'optimisation en mathématiques appliquées et en informatique, également liée à la recherche opérationnelle, l'algorithmique et la théorie de la complexité. Dans sa forme la plus générale, un problème d'optimisation combinatoire (sous-ensemble à nombre de solutions finies de l'optimisation discrète) consiste à trouver dans un ensemble discret un parmi les meilleurs sous-ensembles (ou solutions) réalisables, la notion de meilleure solution étant définie par une fonction objectif.
Optimisation convexevignette|320x320px|Optimisation convexe dans un espace en deux dimensions dans un espace contraint L'optimisation convexe est une sous-discipline de l'optimisation mathématique, dans laquelle le critère à minimiser est convexe et l'ensemble admissible est convexe. Ces problèmes sont plus simples à analyser et à résoudre que les problèmes d'optimisation non convexes, bien qu'ils puissent être NP-difficile (c'est le cas de l'optimisation copositive). La théorie permettant d'analyser ces problèmes ne requiert pas la différentiabilité des fonctions.
Elastic net regularizationIn statistics and, in particular, in the fitting of linear or logistic regression models, the elastic net is a regularized regression method that linearly combines the L1 and L2 penalties of the lasso and ridge methods. The elastic net method overcomes the limitations of the LASSO (least absolute shrinkage and selection operator) method which uses a penalty function based on Use of this penalty function has several limitations. For example, in the "large p, small n" case (high-dimensional data with few examples), the LASSO selects at most n variables before it saturates.
Espace LpEn mathématiques, un espace L est un espace vectoriel de classes des fonctions dont la puissance d'exposant p est intégrable au sens de Lebesgue, où p est un nombre réel strictement positif. Le passage à la limite de l'exposant aboutit à la construction des espaces L de fonctions bornées. Les espaces L sont appelés espaces de Lebesgue. Identifiant les fonctions qui ne diffèrent que sur un ensemble négligeable, chaque espace L est un espace de Banach lorsque l'exposant est supérieur ou égal à 1.
Norme d'opérateurEn mathématiques, et plus particulièrement en analyse fonctionnelle, une norme d'opérateur ou norme subordonnée est une norme définie sur l'espace des opérateurs bornés entre deux espaces vectoriels normés. Entre deux tels espaces, les opérateurs bornés ne sont autres que les applications linéaires continues. Sur un corps K « valué » (au sens : muni d'une valeur absolue) et non discret (typiquement : K = R ou C), soient E et F deux espaces vectoriels normés respectivement munis des normes ‖ ‖ et ‖ ‖.
