Loi de Dirichletthumb|right|250px|Plusieurs images de la densité de la loi de Dirichlet lorsque K=3 pour différents vecteurs de paramètres α. Dans le sens horaire à partir du coin supérieur gauche : α=(6, 2, 2), (3, 7, 5), (6, 2, 6), (2, 3, 4). En probabilité et statistiques, la loi de Dirichlet, souvent notée Dir(α), est une famille de lois de probabilité continues pour des variables aléatoires multinomiales. Cette loi (ou encore distribution) est paramétrée par le vecteur α de nombres réels positifs et tire son nom de Johann Peter Gustav Lejeune Dirichlet.
Allocation de Dirichlet latenteDans le domaine du traitement automatique des langues, l’allocation de Dirichlet latente (de l’anglais Latent Dirichlet Allocation) ou LDA est un modèle génératif probabiliste permettant d’expliquer des ensembles d’observations, par le moyen de groupes non observés, eux-mêmes définis par des similarités de données. Par exemple, si les observations () sont les mots collectés dans un ensemble de documents textuels (), le modèle LDA suppose que chaque document () est un mélange () d’un petit nombre de sujets ou thèmes ( topics), et que la génération de chaque occurrence d’un mot () est attribuable (probabilité) à l’un des thèmes () du document.
Régression linéaireEn statistiques, en économétrie et en apprentissage automatique, un modèle de régression linéaire est un modèle de régression qui cherche à établir une relation linéaire entre une variable, dite expliquée, et une ou plusieurs variables, dites explicatives. On parle aussi de modèle linéaire ou de modèle de régression linéaire. Parmi les modèles de régression linéaire, le plus simple est l'ajustement affine. Celui-ci consiste à rechercher la droite permettant d'expliquer le comportement d'une variable statistique y comme étant une fonction affine d'une autre variable statistique x.
Modèle de mélangeIn statistics, a mixture model is a probabilistic model for representing the presence of subpopulations within an overall population, without requiring that an observed data set should identify the sub-population to which an individual observation belongs. Formally a mixture model corresponds to the mixture distribution that represents the probability distribution of observations in the overall population.
Dirichlet-multinomial distributionIn probability theory and statistics, the Dirichlet-multinomial distribution is a family of discrete multivariate probability distributions on a finite support of non-negative integers. It is also called the Dirichlet compound multinomial distribution (DCM) or multivariate Pólya distribution (after George Pólya). It is a compound probability distribution, where a probability vector p is drawn from a Dirichlet distribution with parameter vector , and an observation drawn from a multinomial distribution with probability vector p and number of trials n.
Marginal likelihoodA marginal likelihood is a likelihood function that has been integrated over the parameter space. In Bayesian statistics, it represents the probability of generating the observed sample from a prior and is therefore often referred to as model evidence or simply evidence. Given a set of independent identically distributed data points where according to some probability distribution parameterized by , where itself is a random variable described by a distribution, i.e.
Loi multinomialeEn théorie des probabilités, la loi multinomiale (aussi appelée distribution polynomiale) généralise la loi binomiale. Tandis que la loi binomiale concerne le nombre de succès lors d'une série de n épreuves de Bernoulli indépendantes, comme dans le jeu de pile ou face, la loi multinomiale ne se restreint pas aux épreuves comportant deux issues. La loi multinomiale s'applique par exemple au cas de n jets d'un dé à six faces : l'apparition du seul peut être modélisé par une loi binomiale alors que l'ensemble des apparitions des à 6 est modélisé par une loi multinomiale.
Échantillonnage de GibbsL' est une méthode MCMC. Étant donné une distribution de probabilité sur un univers , cet algorithme définit une chaîne de Markov dont la distribution stationnaire est . Il permet ainsi de tirer aléatoirement un élément de selon la loi (on parle d'échantillonnage). Comme pour toutes les méthodes de Monte-Carlo à chaîne de Markov, on se place dans un espace vectoriel Ɛ de dimension finie n ; on veut générer aléatoirement N vecteurs x(i) suivant une distribution de probabilité π ; pour simplifier le problème, on détermine une distribution qx(i) permettant de générer aléatoirement x(i + 1) à partir de x(i).
Conjugate priorIn Bayesian probability theory, if the posterior distribution is in the same probability distribution family as the prior probability distribution , the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function . A conjugate prior is an algebraic convenience, giving a closed-form expression for the posterior; otherwise, numerical integration may be necessary. Further, conjugate priors may give intuition by more transparently showing how a likelihood function updates a prior distribution.
Variational Bayesian methodsVariational Bayesian methods are a family of techniques for approximating intractable integrals arising in Bayesian inference and machine learning. They are typically used in complex statistical models consisting of observed variables (usually termed "data") as well as unknown parameters and latent variables, with various sorts of relationships among the three types of random variables, as might be described by a graphical model. As typical in Bayesian inference, the parameters and latent variables are grouped together as "unobserved variables".
Famille exponentielleEn théorie des probabilités et en statistique, une famille exponentielle est une classe de lois de probabilité dont la forme générale est donnée par : où est la variable aléatoire, est un paramètre et est son paramètre naturel. Les familles exponentielles présentent certaines propriétés algébriques et inférentielles remarquables. La caractérisation d'une loi en famille exponentielle permet de reformuler la loi à l'aide de ce que l'on appelle des paramètres naturels.
Maximum a posterioriL'estimateur du maximum a posteriori (MAP), tout comme la méthode du maximum de vraisemblance, est une méthode pouvant être utilisée afin d'estimer un certain nombre de paramètres inconnus, comme les paramètres d'une densité de probabilité, reliés à un échantillon donné. Cette méthode est très liée au maximum de vraisemblance mais en diffère toutefois par la possibilité de prendre en compte un a priori non uniforme sur les paramètres à estimer.
Non-uniform random variate generationNon-uniform random variate generation or pseudo-random number sampling is the numerical practice of generating pseudo-random numbers (PRN) that follow a given probability distribution. Methods are typically based on the availability of a uniformly distributed PRN generator. Computational algorithms are then used to manipulate a single random variate, X, or often several such variates, into a new random variate Y such that these values have the required distribution.
Posterior predictive distributionIn Bayesian statistics, the posterior predictive distribution is the distribution of possible unobserved values conditional on the observed values. Given a set of N i.i.d. observations , a new value will be drawn from a distribution that depends on a parameter , where is the parameter space. It may seem tempting to plug in a single best estimate for , but this ignores uncertainty about , and because a source of uncertainty is ignored, the predictive distribution will be too narrow.
Loi de BernoulliEn mathématiques et plus précisément en théorie des probabilités, la loi de Bernoulli, du nom du mathématicien suisse Jacques Bernoulli, désigne la loi de probabilité d'une variable aléatoire discrète qui prend la valeur 1 avec la probabilité p et 0 avec la probabilité q = 1 – p. gauche|vignette Par exemple, dans pile ou face, le lancer d'une pièce de monnaie bien équilibrée tombe sur pile avec une probabilité 1/2 et sur face avec une probabilité 1/2.
Variable catégorielleEn statistique, une variable qualitative, une variable catégorielle, ou bien un facteur est une variable qui prend pour valeur des modalités, des catégories ou bien des niveaux, par opposition aux variables quantitatives qui mesurent sur chaque individu une quantité. Les modalités (ou les valeurs) qu’elle prend peuvent être désignés en toutes lettre par des noms , comme par exemple: les modalités du sexe sont : Masculin et Féminin les modalités de la couleurs des yeux sont : Bleu, Marron, Noir et Vert ; les modalités de la variable mention au Bac sont : TB, B, AB et P.
Multinomial logistic regressionIn statistics, multinomial logistic regression is a classification method that generalizes logistic regression to multiclass problems, i.e. with more than two possible discrete outcomes. That is, it is a model that is used to predict the probabilities of the different possible outcomes of a categorically distributed dependent variable, given a set of independent variables (which may be real-valued, binary-valued, categorical-valued, etc.).
Fonction de masse (probabilités)En théorie des probabilités, la fonction de masse est la fonction qui donne la probabilité de chaque issue ( résultat élémentaire) d'une expérience aléatoire. C'est souvent ainsi que l'on définit une loi de probabilité discrète. Elle se distingue de la fonction de densité, de la densité de probabilité, en ceci que les densités de probabilité ne sont définies que pour des variables aléatoires absolument continues, et que ce sont leurs intégrales sur des domaines qui ont valeurs de probabilités (et non leurs valeurs en des points).
Dirichlet processIn probability theory, Dirichlet processes (after the distribution associated with Peter Gustav Lejeune Dirichlet) are a family of stochastic processes whose realizations are probability distributions. In other words, a Dirichlet process is a probability distribution whose range is itself a set of probability distributions. It is often used in Bayesian inference to describe the prior knowledge about the distribution of random variables—how likely it is that the random variables are distributed according to one or another particular distribution.
Loi bêtaDans la théorie des probabilités et en statistiques, la loi bêta est une famille de lois de probabilités continues, définies sur , paramétrée par deux paramètres de forme, typiquement notés (alpha) et (bêta). C'est un cas spécial de la loi de Dirichlet, avec seulement deux paramètres. Admettant une grande variété de formes, elle permet de modéliser de nombreuses distributions à support fini. Elle est par exemple utilisée dans la méthode PERT. Fixons les deux paramètres de forme α, β > 0.
