Régularisation (mathématiques)vignette|Les courbes bleues et vertes correspondent à deux modèles differents, tous les deux étant des solutions possibles du problème consistant à décrire les coordonnées de tous les points rouges. L'application d'une régularisation favorise le modèle moins complexe correspondant à la courbe verte. Dans le domaine des mathématiques et des statistiques, et plus particulièrement dans le domaine de l'apprentissage automatique, la régularisation fait référence à un processus consistant à ajouter de l'information à un problème, s'il est mal posé ou pour éviter le surapprentissage.
Ridge regressionRidge regression is a method of estimating the coefficients of multiple-regression models in scenarios where the independent variables are highly correlated. It has been used in many fields including econometrics, chemistry, and engineering. Also known as Tikhonov regularization, named for Andrey Tikhonov, it is a method of regularization of ill-posed problems. It is particularly useful to mitigate the problem of multicollinearity in linear regression, which commonly occurs in models with large numbers of parameters.
Lasso (statistiques)En statistiques, le lasso est une méthode de contraction des coefficients de la régression développée par Robert Tibshirani dans un article publié en 1996 intitulé Regression shrinkage and selection via the lasso. Le nom est un acronyme anglais : Least Absolute Shrinkage and Selection Operator. Bien que cette méthode fut utilisée à l'origine pour des modèles utilisant l'estimateur usuel des moindres carrés, la pénalisation lasso s'étend facilement à de nombreux modèles statistiques tels que les modèles linéaires généralisés, les modèles à risque proportionnel, et les M-estimateurs.
Elastic net regularizationIn statistics and, in particular, in the fitting of linear or logistic regression models, the elastic net is a regularized regression method that linearly combines the L1 and L2 penalties of the lasso and ridge methods. The elastic net method overcomes the limitations of the LASSO (least absolute shrinkage and selection operator) method which uses a penalty function based on Use of this penalty function has several limitations. For example, in the "large p, small n" case (high-dimensional data with few examples), the LASSO selects at most n variables before it saturates.
Matrice (mathématiques)thumb|upright=1.5 En mathématiques, les matrices sont des tableaux d'éléments (nombres, caractères) qui servent à interpréter en termes calculatoires, et donc opérationnels, les résultats théoriques de l'algèbre linéaire et même de l'algèbre bilinéaire. Toutes les disciplines étudiant des phénomènes linéaires utilisent les matrices. Quant aux phénomènes non linéaires, on en donne souvent des approximations linéaires, comme en optique géométrique avec les approximations de Gauss.
Matrice inversibleEn mathématiques et plus particulièrement en algèbre linéaire, une matrice inversible (ou régulière ou encore non singulière) est une matrice carrée A pour laquelle il existe une matrice B de même taille n avec laquelle les produits AB et BA sont égaux à la matrice identité. Dans ce cas la matrice B est unique, appelée matrice inverse de A et notée B = A. Cette définition correspond à celle d’élément inversible pour la multiplication dans l’anneau des matrices carrées associé.
Application linéaireEn mathématiques, une application linéaire (aussi appelée opérateur linéaire ou transformation linéaire) est une application entre deux espaces vectoriels qui respecte l'addition des vecteurs et la multiplication scalaire, et préserve ainsi plus généralement les combinaisons linéaires. L’expression peut s’utiliser aussi pour un morphisme entre deux modules sur un anneau, avec une présentation semblable en dehors des notions de base et de dimension. Cette notion étend celle de fonction linéaire en analyse réelle à des espaces vectoriels plus généraux.
Application affineEn géométrie, une application affine est une application entre deux espaces affines qui est compatible avec leur structure. Cette notion généralise celle de fonction affine de R dans R (), sous la forme , où est une application linéaire et est un point. Une bijection affine (qui est un cas particulier de transformation géométrique) envoie les sous-espaces affines, comme les points, les droites ou les plans, sur le même type d'objet géométrique, tout en préservant la notion de parallélisme.
Produit matricielLe produit matriciel désigne la multiplication de matrices, initialement appelé la « composition des tableaux ». Il s'agit de la façon la plus fréquente de multiplier des matrices entre elles. En algèbre linéaire, une matrice A de dimensions m lignes et n colonnes (matrice m×n) représente une application linéaire ƒ d'un espace de dimension n vers un espace de dimension m. Une matrice colonne V de n lignes est une matrice n×1, et représente un vecteur v d'un espace vectoriel de dimension n. Le produit A×V représente ƒ(v).
Matrix decompositionIn the mathematical discipline of linear algebra, a matrix decomposition or matrix factorization is a factorization of a matrix into a product of matrices. There are many different matrix decompositions; each finds use among a particular class of problems. In numerical analysis, different decompositions are used to implement efficient matrix algorithms. For instance, when solving a system of linear equations , the matrix A can be decomposed via the LU decomposition.
Matrice d'une application linéaireEn algèbre linéaire, la matrice d'une application linéaire est une matrice de scalaires qui permet de représenter une application linéaire entre deux espaces vectoriels de dimensions finies, étant donné le choix d'une base pour chacun d'eux. Soient : E et F deux espaces vectoriels sur un corps commutatif K, de dimensions respectives n et m ; B = (e, ... , e) une base de E, C une base de F ; φ une application de E dans F.
Forme quadratiquethumb|L'annulation d'une forme quadratique donne le cône de lumière de la relativité restreinte, son signe fait la différence entre les événements accessibles ou inaccessibles dans l'espace-temps. En mathématiques, une forme quadratique est un polynôme homogène de degré 2 avec un nombre quelconque de variables. Les formes quadratiques d'une, deux et trois variables sont données respectivement par les formules suivantes (a,b,c,d,e,f désignant des coefficients) : L'archétype de forme quadratique est la forme x + y + z sur R, qui définit la structure euclidienne et dont la racine carrée permet de calculer la norme d'un vecteur.
Matrice de ToeplitzEn algèbre linéaire, une matrice de Toeplitz (d'après Otto Toeplitz) ou matrice à diagonales constantes est une matrice dont les coefficients sur une diagonale descendant de gauche à droite sont les mêmes. Par exemple, la matrice suivante est une matrice de Toeplitz : Toute matrice A à n lignes et n colonnes de la forme est une matrice de Toeplitz. Si l'élément situé à l’intersection des ligne i et colonne j de A est noté Ai,j, alors on a : En général, une équation matricielle correspond à un système de n équations linéaires à résoudre.
Exponentielle d'une matriceEn mathématiques, et plus particulièrement en analyse, l'exponentielle d'une matrice est une fonction généralisant la fonction exponentielle aux matrices et aux endomorphismes par le calcul fonctionnel. Elle fait en particulier le pont entre un groupe de Lie et son algèbre de Lie. Pour n = 1, on retrouve la définition de l'exponentielle complexe. Sauf indication contraire, X, Y désignent des matrices n × n complexes (à coefficients complexes).
Matrice creuseDans la discipline de l'analyse numérique des mathématiques, une matrice creuse est une matrice contenant beaucoup de zéros. Conceptuellement, les matrices creuses correspondent aux systèmes qui sont peu couplés. Si on considère une ligne de balles dont chacune est reliée à ses voisines directes par des élastiques, ce système serait représenté par une matrice creuse. Au contraire, si chaque balle de la ligne est reliée à toutes les autres balles, ce système serait représenté par une matrice dense.
Forme sonateEn musique classique, la forme sonate est une forme musicale qui est composée de trois parties : l'exposition, le développement et la réexposition (ou récapitulation). La forme sonate est le plus souvent fondée sur deux thèmes musicaux, utilisés lors de l'exposition et la récapitulation, et souvent combinés ou se répondant lors du développement. Attention à ne pas confondre la forme sonate et la sonate. Généralement, le premier mouvement d'une sonate - mais aussi d'une symphonie, d'un concerto - est de forme sonate.
Espace affineEn géométrie, la notion d'espace affine généralise la notion d'espace issue de la géométrie euclidienne en omettant les notions d'angle et de distance. Dans un espace affine, on peut parler d'alignement, de parallélisme, de barycentre. Sous la forme qui utilise des rapports de mesures algébriques, qui est une notion affine, le théorème de Thalès et le théorème de Ceva sont des exemples de théorèmes de géométrie affine plane réelle (c'est-à-dire n'utilisant que la structure d'espace affine du plan réel).
Definite quadratic formIn mathematics, a definite quadratic form is a quadratic form over some real vector space V that has the same sign (always positive or always negative) for every non-zero vector of V. According to that sign, the quadratic form is called positive-definite or negative-definite. A semidefinite (or semi-definite) quadratic form is defined in much the same way, except that "always positive" and "always negative" are replaced by "never negative" and "never positive", respectively.
Algèbre linéairevignette|R3 est un espace vectoriel de dimension 3. Droites et plans qui passent par l'origine sont des sous-espaces vectoriels. L’algèbre linéaire est la branche des mathématiques qui s'intéresse aux espaces vectoriels et aux transformations linéaires, formalisation générale des théories des systèmes d'équations linéaires. L'algèbre linéaire est initiée dans son principe par le mathématicien perse Al-Khwârizmî qui s'est inspiré des textes de mathématiques indiens et qui a complété les travaux de l'école grecque, laquelle continuera de se développer des siècles durant.
Regularized least squaresRegularized least squares (RLS) is a family of methods for solving the least-squares problem while using regularization to further constrain the resulting solution. RLS is used for two main reasons. The first comes up when the number of variables in the linear system exceeds the number of observations. In such settings, the ordinary least-squares problem is ill-posed and is therefore impossible to fit because the associated optimization problem has infinitely many solutions.
