Produit de KroneckerEn mathématiques, le produit de Kronecker est une opération portant sur les matrices. Il s'agit d'un cas particulier du produit tensoriel. Il est ainsi dénommé en hommage au mathématicien allemand Leopold Kronecker. Soient A une matrice de taille m x n et B une matrice de taille p x q. Leur produit tensoriel est la matrice A ⊗ B de taille mp par nq, définie par blocs successifs de taille p x q, le bloc d'indice i,j valant a B En d'autres termes Ou encore, en détaillant les coefficients, Comme le montre l'exemple ci-dessous, le produit de Kronecker de deux matrices consiste à recopier plusieurs fois la deuxième matrice, en la multipliant par le coefficient correspondant à un terme de la première matrice.
Réseau de neurones récurrentsUn réseau de neurones récurrents (RNN pour recurrent neural network en anglais) est un réseau de neurones artificiels présentant des connexions récurrentes. Un réseau de neurones récurrents est constitué d'unités (neurones) interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure. Les unités sont reliées par des arcs (synapses) qui possèdent un poids. La sortie d'un neurone est une combinaison non linéaire de ses entrées.
Matrice inversibleEn mathématiques et plus particulièrement en algèbre linéaire, une matrice inversible (ou régulière ou encore non singulière) est une matrice carrée A pour laquelle il existe une matrice B de même taille n avec laquelle les produits AB et BA sont égaux à la matrice identité. Dans ce cas la matrice B est unique, appelée matrice inverse de A et notée B = A. Cette définition correspond à celle d’élément inversible pour la multiplication dans l’anneau des matrices carrées associé.
Types of artificial neural networksThere are many types of artificial neural networks (ANN). Artificial neural networks are computational models inspired by biological neural networks, and are used to approximate functions that are generally unknown. Particularly, they are inspired by the behaviour of neurons and the electrical signals they convey between input (such as from the eyes or nerve endings in the hand), processing, and output from the brain (such as reacting to light, touch, or heat). The way neurons semantically communicate is an area of ongoing research.
Réseau de neurones à propagation avantUn réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.
Réseau de neurones artificielsUn réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d'apprentissage de type probabiliste, en particulier bayésien.
Matrice (mathématiques)thumb|upright=1.5 En mathématiques, les matrices sont des tableaux d'éléments (nombres, caractères) qui servent à interpréter en termes calculatoires, et donc opérationnels, les résultats théoriques de l'algèbre linéaire et même de l'algèbre bilinéaire. Toutes les disciplines étudiant des phénomènes linéaires utilisent les matrices. Quant aux phénomènes non linéaires, on en donne souvent des approximations linéaires, comme en optique géométrique avec les approximations de Gauss.
Réseau neuronal convolutifEn apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour convolutional neural networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le cortex visuel des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel.
Leopold KroneckerLeopold Kronecker ( - ) est un mathématicien et logicien allemand. Persuadé que l'arithmétique et l'analyse doivent être fondées sur les « nombres entiers », il est célèbre pour la citation suivante : Cela met Kronecker en opposition avec certains développements mathématiques de Georg Cantor, l'un de ses étudiants. Le point de vue de Kronecker sera repris par Hermann Weyl au siècle suivant. En 1845, à l'université de Berlin, Kronecker écrit sa dissertation sur la théorie des nombres, en donnant une formulation spéciale aux unités dans certains corps de nombres.
Symbole delta de KroneckerEn mathématiques, le symbole delta de Kronecker, également appelé symbole de Kronecker ou delta de Kronecker, est une fonction de deux variables qui est égale à 1 si celles-ci sont égales, et 0 sinon. Il est symbolisé par la lettre δ (delta minuscule) de l'alphabet grec. ou, en notation tensorielle : où δ et δ sont des vecteurs unitaires tels que seule la i-ème (respectivement la j-ème) coordonnée soit non nulle (et vaille donc 1).
Matrice par blocsvignette|Un matrice présente une structure par blocs si l'on peut isoler les termes non nuls dans des sous-matrices (ici la structure « diagonale par blocs » d'une réduite de Jordan). On appelle matrice par blocs une matrice divisée en blocs à partir d'un groupement quelconque de termes contigus de sa diagonale. Chaque bloc étant indexé comme on indicerait les éléments d'une matrice, la somme et le produit de deux matrices partitionnées suivant les mêmes tailles de bloc, s'obtiennent avec les mêmes règles formelles que celles des composantes (mais en veillant à l'ordre des facteurs dans les produits matriciels!).
Réseau neuronal résidueldroite|vignette| Forme canonique d'un réseau neuronal résiduel. Une couche l − 1 est ignoré sur l'activation de l − 2. Un réseau neuronal résiduel ( ResNet ) est un réseau neuronal artificiel (ANN). Il s'agit d'une variante du HighwayNet , le premier réseau neuronal à action directe très profond avec des centaines de couches, beaucoup plus profond que les réseaux neuronaux précédents. Les sauts de connexion ou "raccourcis" sont utilisés pour passer par-dessus certaines couches ( les HighwayNets peuvent également avoir des poids pour les saut eux-mêmes, grâce à une matrice de poids supplémentaire pour leurs portes).
Produit (mathématiques)On nomme produit de nombres entiers, réels, complexes ou autres le résultat de leur multiplication. Les éléments multipliés s’appellent les facteurs du produit. L’expression d’un produit est aussi appelée « produit », par exemple l’écriture 3a du triple du nombre a est un produit de deux facteurs, où le symbole de la multiplication est sous-entendu. L'ordre dans lequel les nombres réels ou les nombres complexes sont multipliés, de même que la façon de regrouper ces termes, n'ont pas d'importance ; ainsi, nulle permutation de termes ne modifie le résultat du produit.
Produit matriciel de Hadamardvignette|Illustration du produit de Hadamard: il s'applique à deux matrices de mêmes dimensions et la matrice en resultant a les mêmes dimensions également. En mathématiques, le produit matriciel de Hadamard, nommé d'après le mathématicien français Jacques Hadamard et parfois désigné produit de Schur, est une opération binaire qui pour deux matrices de mêmes dimensions, associe une autre matrice, de même dimension, et où chaque coefficient est le produit terme à terme des deux matrices.
Matrice antisymétriqueEn mathématiques, et plus précisément en algèbre linéaire, une matrice antisymétrique est une matrice carrée opposée à sa transposée. Une matrice carrée A à coefficients dans un anneau quelconque est dite antisymétrique si sa transposée est égale à son opposée, c'est-à-dire si elle satisfait à l'équation : A = –A ou encore, en l'écrivant avec des coefficients sous la forme A = (ai,j), si : pour tout i et j, aj,i = –ai,j Les matrices suivantes sont antisymétriques : Le cas où la matrice est à coefficients dans un anneau de caractéristique 2 est très particulier.
Algorithme du gradientLalgorithme du gradient, aussi appelé algorithme de descente de gradient, désigne un algorithme d'optimisation différentiable. Il est par conséquent destiné à minimiser une fonction réelle différentiable définie sur un espace euclidien (par exemple, , l'espace des n-uplets de nombres réels, muni d'un produit scalaire) ou, plus généralement, sur un espace hilbertien. L'algorithme est itératif et procède donc par améliorations successives. Au point courant, un déplacement est effectué dans la direction opposée au gradient, de manière à faire décroître la fonction.
Square matrixIn mathematics, a square matrix is a matrix with the same number of rows and columns. An n-by-n matrix is known as a square matrix of order . Any two square matrices of the same order can be added and multiplied. Square matrices are often used to represent simple linear transformations, such as shearing or rotation. For example, if is a square matrix representing a rotation (rotation matrix) and is a column vector describing the position of a point in space, the product yields another column vector describing the position of that point after that rotation.
Connexion (mathématiques)En géométrie différentielle, la connexion est un outil pour réaliser le transport parallèle. Il existe plusieurs présentations qui dépendent de l'utilisation faite. Cette notion a été développée au début des années 1920 par Élie Cartan et Hermann Weyl (avec comme cas particulier celle de connexion affine), puis reformulée en 1951 par Charles Ehresmann et Jean-Louis Koszul. Connexion de Koszul La connexion de Koszul est un opérateur sur des espaces de sections.
Outer productIn linear algebra, the outer product of two coordinate vectors is the matrix whose entries are all products of an element in the first vector with an element in the second vector. If the two coordinate vectors have dimensions n and m, then their outer product is an n × m matrix. More generally, given two tensors (multidimensional arrays of numbers), their outer product is a tensor. The outer product of tensors is also referred to as their tensor product, and can be used to define the tensor algebra.
Matrice orthogonaleUne matrice carrée A (n lignes, n colonnes) à coefficients réels est dite orthogonale si A A = I, où A est la matrice transposée de A et I est la matrice identité. Des exemples de matrices orthogonales sont les matrices de rotation, comme la matrice de rotation plane d'angle θ ou les matrices de permutation, comme Une matrice réelle A est orthogonale si et seulement si elle est inversible et son inverse est égale à sa transposée : A = A. Une matrice carrée est orthogonale si et seulement si ses vecteurs colonnes sont orthogonaux deux à deux et de norme 1.
