Sigmoïde (mathématiques)En mathématiques, la fonction sigmoïde (dite aussi courbe en S) est définie par : pour tout réel mais on la généralise à toute fonction dont l'expression est : Elle représente la fonction de répartition de la loi logistique. La courbe sigmoïde génère par transformation affine une partie des courbes logistiques, ce qui en fait une représentante privilégiée. La fonction sigmoïde est souvent utilisée dans les réseaux de neurones parce qu'elle est dérivable, ce qui est nécessaire pour l'algorithme de rétropropagation de Werbos, et parce que son codomaine est l'intervalle , ce qui permet d'obtenir des valeurs analogues à des probabilités.
Régression logistiqueEn statistiques, la régression logistique ou modèle logit est un modèle de régression binomiale. Comme pour tous les modèles de régression binomiale, il s'agit d'expliquer au mieux une variable binaire (la présence ou l'absence d'une caractéristique donnée) par des observations réelles nombreuses, grâce à un modèle mathématique. En d'autres termes d'associer une variable aléatoire de Bernoulli (génériquement notée ) à un vecteur de variables aléatoires . La régression logistique constitue un cas particulier de modèle linéaire généralisé.
Dynamique des populationsLa dynamique des populations est une branche de l'écologie qui s’intéresse à la fluctuation dans le temps du nombre d'individus au sein d'une population d’êtres vivants. Elle a également pour but de comprendre les influences environnementales sur les effectifs des populations. La structuration de la population par âge, poids, l'environnement, la biologie des groupes, et les processus qui influent sur ces changements font également partie de son champ d'étude.
Rétropropagation du gradientEn intelligence artificielle, plus précisément en apprentissage automatique, la rétropropagation du gradient est une méthode pour entraîner un réseau de neurones. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids synaptiques qui contribuent plus à une erreur seront modifiés de manière plus importante que les poids qui provoquent une erreur marginale.
LogitLa fonction logit est une fonction mathématique utilisée principalement en statistiques et pour la régression logistique, en intelligence artificielle (réseaux neuronaux), en inférence bayésienne pour transformer les probabilités sur [0,1] en évidence sur R afin d'une part d'éviter des renormalisations permanentes, et d'autre part de rendre additive la formule de Bayes pour faciliter les calculs. Son expression est où p est défini sur ]0, 1[ La base du logarithme utilisé est sans importance, tant que celle-ci est supérieure à 1.
Neural networkA neural network can refer to a neural circuit of biological neurons (sometimes also called a biological neural network), a network of artificial neurons or nodes in the case of an artificial neural network. Artificial neural networks are used for solving artificial intelligence (AI) problems; they model connections of biological neurons as weights between nodes. A positive weight reflects an excitatory connection, while negative values mean inhibitory connections. All inputs are modified by a weight and summed.
Loi logistiqueEn probabilité et en statistiques, la loi logistique est une loi de probabilité absolument continue à support infini utilisé en régression logistique et pour les réseaux de neurones à propagation avant. Son nom de loi logistique est issu du fait que sa fonction de répartition est une fonction logistique. La loi logistique a deux paramètres μ et s > 0 et sa densité est Sa fonction de répartition est Son espérance et sa variance sont données par les formules suivantes : La loi logistique standard est la loi logistique de paramètres 0 et 1.
Fonction softmaxvignette|Fonction softmax utilisée après un CNN (Réseau neuronal convolutif). Ici le vecteur (35.4, 38.1, -5.0) est transformée en (0.06, 0.94, 0.00). Dans ce contexte de classification d'images, le chien est reconnu. En mathématiques, la fonction softmax, aussi appelée fonction softargmax ou fonction exponentielle normalisée, est une généralisation de la fonction logistique. Elle convertit un vecteur de K nombres réels en une distribution de probabilités sur K choix.
Apprentissage automatiqueL'apprentissage automatique (en anglais : machine learning, « apprentissage machine »), apprentissage artificiel ou apprentissage statistique est un champ d'étude de l'intelligence artificielle qui se fonde sur des approches mathématiques et statistiques pour donner aux ordinateurs la capacité d'« apprendre » à partir de données, c'est-à-dire d'améliorer leurs performances à résoudre des tâches sans être explicitement programmés pour chacune. Plus largement, il concerne la conception, l'analyse, l'optimisation, le développement et l'implémentation de telles méthodes.
Fonction d'activationDans le domaine des réseaux de neurones artificiels, la fonction d'activation est une fonction mathématique appliquée à un signal en sortie d'un neurone artificiel. Le terme de "fonction d'activation" vient de l'équivalent biologique "potentiel d'activation", seuil de stimulation qui, une fois atteint entraîne une réponse du neurone. La fonction d'activation est souvent une fonction non linéaire. Un exemple de fonction d'activation est la fonction de Heaviside, qui renvoie tout le temps 1 si le signal en entrée est positif, ou 0 s'il est négatif.
Neurone formelthumb|Représentation d'un neurone formel (ou logique). Un neurone formel, parfois appelé neurone de McCulloch-Pitts, est une représentation mathématique et informatique d'un neurone biologique. Le neurone formel possède généralement plusieurs entrées et une sortie qui correspondent respectivement aux dendrites et au cône d'émergence du neurone biologique (point de départ de l'axone). Les actions excitatrices et inhibitrices des synapses sont représentées, la plupart du temps, par des coefficients numériques (les poids synaptiques) associés aux entrées.
Redresseur (réseaux neuronaux)vignette|Graphique de la fonction Unité Linéaire Rectifiée En mathématiques, la fonction Unité Linéaire Rectifiée (ou ReLU pour Rectified Linear Unit) est définie par : pour tout réel Elle est fréquemment utilisée comme fonction d'activation dans le contexte du réseau de neurones artificiels pour sa simplicité de calcul, en particulier de sa dérivée. Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient.
Capacité porteuseupright=1.5|thumb|figure 1 : une courbe sigmoïdale illustrant la croissance de la population. upright=1.5|thumb|figure 2 : vitesse de croissance de la population en fonction de sa taille. La capacité porteuse (aussi appelée capacité de charge, capacité limite, capacité de soutien, capacité biotique ainsi que capacité de support au Québec et carrying capacity en anglais) en écologie est la taille maximale de la population d’un organisme qu’un milieu donné peut supporter.
Réseau de neurones à propagation avantUn réseau de neurones à propagation avant, en anglais feedforward neural network, est un réseau de neurones artificiels acyclique, se distinguant ainsi des réseaux de neurones récurrents. Le plus connu est le perceptron multicouche qui est une extension du premier réseau de neurones artificiel, le perceptron inventé en 1957 par Frank Rosenblatt. vignette|Réseau de neurones à propagation avant Le réseau de neurones à propagation avant est le premier type de réseau neuronal artificiel conçu. C'est aussi le plus simple.
Croissance exponentiellethumb|Comparaison entre une croissance linéaire (en rouge), cubique (en bleu) et exponentielle (en vert) |300x300px La croissance exponentielle d'une quantité est son augmentation au fil du temps selon une loi exponentielle. On l'observe quand la dérivée par rapport au temps de cette quantité (c'est-à-dire son taux de variation instantané) est positive et proportionnelle à la quantité elle-même. Dans la langue courante on emploie souvent, mais improprement, le terme « croissance exponentielle » pour qualifier une augmentation simplement accélérée, quand la dérivée est elle-même croissante.
Essai sur le principe de populationLe livre Essai sur le principe de population (titre original An Essay on the Principle of Population) est un ouvrage de Thomas Malthus. Il est d'abord publié anonymement en 1798 par l'éditeur J. Johnson à Londres. L'auteur est rapidement identifié comme étant le révérend Thomas Robert Malthus. Même si ce n'est pas le premier livre sur la population, il est considéré comme étant le plus important de son époque.
Multinomial logistic regressionIn statistics, multinomial logistic regression is a classification method that generalizes logistic regression to multiclass problems, i.e. with more than two possible discrete outcomes. That is, it is a model that is used to predict the probabilities of the different possible outcomes of a categorically distributed dependent variable, given a set of independent variables (which may be real-valued, binary-valued, categorical-valued, etc.).
PerceptronLe perceptron est un algorithme d'apprentissage supervisé de classifieurs binaires (c'est-à-dire séparant deux classes). Il a été inventé en 1957 par Frank Rosenblatt au laboratoire d'aéronautique de l'université Cornell. Il s'agit d'un neurone formel muni d'une règle d'apprentissage qui permet de déterminer automatiquement les poids synaptiques de manière à séparer un problème d'apprentissage supervisé. Si le problème est linéairement séparable, un théorème assure que la règle du perceptron permet de trouver une séparatrice entre les deux classes.
Algorithme du gradient stochastiqueL'algorithme du gradient stochastique est une méthode de descente de gradient (itérative) utilisée pour la minimisation d'une fonction objectif qui est écrite comme une somme de fonctions différentiables. À la fois l'estimation statistique et l'apprentissage automatique s'intéressent au problème de la minimisation d'une fonction objectif qui a la forme d'une somme : où le paramètre qui minimise doit être estimé. Chacune des fonctions est généralement associée avec la -ème observation de l'ensemble des données (utilisées pour l'apprentissage).
Rétroactionvignette|Représentation d'une boucle de rétroaction. La rétroaction (en anglais feedback) est un processus dans lequel un effet intervient aussi comme agent causal sur sa propre origine, la séquence des expressions de la cause principale et des effets successifs formant une boucle de rétroaction. Une rétroaction est une interaction dans laquelle la perturbation d’une variable provoque le changement d'une seconde variable, qui influe à son tour sur la variable initiale. Une rétroaction forme une boucle fermée dans un diagramme de causalité.
