Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Mesure (mathématiques)En mathématiques, une mesure positive (ou simplement mesure quand il n'y a pas de risque de confusion) est une fonction qui associe une grandeur numérique à certains sous-ensembles d'un ensemble donné. Il s'agit d'un important concept en analyse et en théorie des probabilités. Intuitivement, la mesure d'un ensemble ou sous-ensemble est similaire à la notion de taille, ou de cardinal pour les ensembles discrets. Dans ce sens, la mesure est une généralisation des concepts de longueur, aire ou volume dans des espaces de dimension 1, 2 ou 3 respectivement.
Probabilitévignette|Quatre dés à six faces de quatre couleurs différentes. Les six faces possibles sont visibles. Le terme probabilité possède plusieurs sens : venu historiquement du latin probabilitas, il désigne l'opposé du concept de certitude ; il est également une évaluation du caractère probable d'un événement, c'est-à-dire qu'une valeur permet de représenter son degré de certitude ; récemment, la probabilité est devenue une science mathématique et est appelée théorie des probabilités ou plus simplement probabilités ; enfin une doctrine porte également le nom de probabilisme.
Mesure extérieureLa notion de mesure extérieure (ou mesure extérieure au sens de Carathéodory) est un concept, dû au mathématicien Constantin Carathéodory, qui généralise dans un cadre axiomatique une construction utilisée par Henri Lebesgue pour définir la mesure de Lebesgue des parties Lebesgue-mesurables de la droite réelle. Soit un ensemble.
Espace vectoriel norméUn espace vectoriel normé (EVN) est un espace vectoriel muni d'une norme. Cette structure mathématique développe des propriétés géométriques de distance compatible avec les opérations de l'algèbre linéaire. Développée notamment par David Hilbert et Stefan Banach, cette notion est fondamentale en analyse et plus particulièrement en analyse fonctionnelle, avec l'utilisation d'espaces de Banach tels que les espaces L. Norme (mathématiques) Soit K un corps commutatif muni d'une valeur absolue, et non discret (par exemple le corps des réels ou des complexes).
Espace de BanachEn mathématiques, plus particulièrement en analyse fonctionnelle, on appelle espace de Banach un espace vectoriel normé sur un sous-corps K de C (en général, K = R ou C), complet pour la distance issue de sa norme. Comme la topologie induite par sa distance est compatible avec sa structure d’espace vectoriel, c’est un espace vectoriel topologique. Les espaces de Banach possèdent de nombreuses propriétés qui font d'eux un outil essentiel pour l'analyse fonctionnelle. Ils doivent leur nom au mathématicien polonais Stefan Banach.
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Information quantiqueLa théorie de l'information quantique, parfois abrégée simplement en information quantique, est un développement de la théorie de l'information de Claude Shannon exploitant les propriétés de la mécanique quantique, notamment le principe de superposition ou encore l'intrication. L'unité qui est utilisée pour quantifier l'information quantique est le qubit, par analogie avec le bit d'information classique.
Code (information)vignette|redresse|Code morse international. En sciences et techniques, notamment en informatique et en théorie de l'information, un code est une règle de transcription qui, à tout symbole d'un jeu de caractères (alphabet source) assigne de manière univoque un caractère ou une chaîne de caractères pris dans un jeu de caractères éventuellement différent (alphabet cible). Un exemple est le code morse qui établit une relation entre lettres de l'alphabet latin et des séquences de sons courts et longs.
Espace probabiliséUn espace de probabilité(s) ou espace probabilisé est construit à partir d'un espace probabilisable en le complétant par une mesure de probabilité : il permet la modélisation quantitative de l'expérience aléatoire étudiée en associant une probabilité numérique à tout événement lié à l'expérience. Formellement, c'est un triplet formé d'un ensemble , d'une tribu sur et d'une mesure sur cette tribu tel que . L'ensemble est appelé l'univers et les éléments de sont appelés les événements.
Théorie des probabilitésLa théorie des probabilités en mathématiques est l'étude des phénomènes caractérisés par le hasard et l'incertitude. Elle forme avec la statistique les deux sciences du hasard qui sont partie intégrante des mathématiques. Les débuts de l'étude des probabilités correspondent aux premières observations du hasard dans les jeux ou dans les phénomènes climatiques par exemple. Bien que le calcul de probabilités sur des questions liées au hasard existe depuis longtemps, la formalisation mathématique n'est que récente.
Variation of informationIn probability theory and information theory, the variation of information or shared information distance is a measure of the distance between two clusterings (partitions of elements). It is closely related to mutual information; indeed, it is a simple linear expression involving the mutual information. Unlike the mutual information, however, the variation of information is a true metric, in that it obeys the triangle inequality. Suppose we have two partitions and of a set into disjoint subsets, namely and .
Espace vectorielvignette|Dans un espace vectoriel, on peut additionner deux vecteurs. Par exemple, la somme du vecteur v (en bleu) et w (en rouge) est v + w. On peut aussi multiplier un vecteur, comme le vecteur w que l'on peut multiplier par 2, on obtient alors 2w et la somme devient v + 2w. En mathématiques, plus précisément en algèbre linéaire, un espace vectoriel est un ensemble d'objets, appelés vecteurs, que l'on peut additionner entre eux, et que l'on peut multiplier par un scalaire (pour les étirer ou les rétrécir, les tourner, etc.
Loi de probabilitéthumb|400px 3 répartitions.png En théorie des probabilités et en statistique, une loi de probabilité décrit le comportement aléatoire d'un phénomène dépendant du hasard. L'étude des phénomènes aléatoires a commencé avec l'étude des jeux de hasard. Jeux de dés, tirage de boules dans des urnes et jeu de pile ou face ont été des motivations pour comprendre et prévoir les expériences aléatoires. Ces premières approches sont des phénomènes discrets, c'est-à-dire dont le nombre de résultats possibles est fini ou infini dénombrable.
Intégrale de LebesgueEn mathématiques, l’intégrale de Lebesgue désigne à la fois une théorie relative à l'intégration et à la mesure, et le résultat de l'intégration d'une fonction à valeurs réelles définie sur (ou sur ) muni de la mesure de Lebesgue. Généralisant l'intégrale de Riemann, l'intégrale de Lebesgue joue un rôle important en analyse, en théorie des probabilités et dans beaucoup d'autres domaines des mathématiques. Dans les cas simples, l'intégrale d'une fonction positive f peut être vue comme l'aire comprise entre l'axe des x (l'axe horizontal) et la courbe de la fonction f.
Interaction informationThe interaction information is a generalization of the mutual information for more than two variables. There are many names for interaction information, including amount of information, information correlation, co-information, and simply mutual information. Interaction information expresses the amount of information (redundancy or synergy) bound up in a set of variables, beyond that which is present in any subset of those variables. Unlike the mutual information, the interaction information can be either positive or negative.
Mesure de probabilitévignette|300x300px| Dans de nombreux cas, la physique statistique utilise des mesures de probabilité, mais toutes les mesures qu'elle utilise ne sont pas des mesures de probabilité. En mathématiques, une mesure de probabilité est une fonction à valeurs réelles définie sur un ensemble d'événements dans un espace de probabilité qui satisfait les propriétés de mesure telles que la -additivité. La différence entre une mesure de probabilité et la notion plus générale de mesure (qui inclut des concepts tels que l'aire ou le volume) est qu'une mesure de probabilité doit attribuer la valeur 1 à tout l'espace de probabilité.
Dualité (mathématiques)thumb|Dual d'un cube : un octaèdre. En mathématiques, le mot dualité a de nombreuses utilisations. Une dualité est définie à l'intérieur d'une famille d'objets mathématiques, c'est-à-dire qu'à tout objet de on associe un autre objet de . On dit que est le dual de et que est le primal de . Si (par = on peut sous-entendre des relations d'isomorphies complexes), on dit que est autodual. Dans de nombreux cas de dualité, le dual du dual est le primal. Ainsi, par exemple, le concept de complémentaire d'un ensemble pourrait être vu comme le premier des concepts de dualité.
