Information mutuelleDans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Théorie de l'informationLa théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communication publié en 1948.
Problème de la mesure quantiqueLe problème de la mesure quantique consiste en un ensemble de problèmes, qui mettent en évidence des difficultés de corrélation entre les postulats de la mécanique quantique et le monde macroscopique tel qu'il nous apparaît ou tel qu'il est mesuré.
Information gain (decision tree)In information theory and machine learning, information gain is a synonym for Kullback–Leibler divergence; the amount of information gained about a random variable or signal from observing another random variable. However, in the context of decision trees, the term is sometimes used synonymously with mutual information, which is the conditional expected value of the Kullback–Leibler divergence of the univariate probability distribution of one variable from the conditional distribution of this variable given the other one.
Mesure physiqueLa mesure physique est l'action de déterminer la ou les valeurs d'une grandeur (longueur, capacité), par comparaison avec une grandeur constante de même espèce prise comme terme de référence (étalon ou unité). Selon la définition canonique : La mesure physique vise à l'objectivité et à la reproductibilité. La comparaison est numérique ; on exprime une caractéristique bien définie de l'objet par un nombre rationnel multipliant l'unité.
Système d'unitésUn système d'unités est un ensemble d'unités de mesure couramment employées dans des domaines d'activité humaine, présentant des caractères de cohérence qui en facilitent l'usage entre les organisations d'une société humaine. Historiquement, les systèmes d'unités ont été d'une grande importance, soumis à réglementation et définis dans des domaines scientifiques et commerciaux. Depuis que les civilisations se sont développées, les hommes ont cherché à développer des systèmes d'unités cohérents, afin de faciliter les échanges, tant scientifiques, que culturels, économiques, et financiers.
Quantities of informationThe mathematical theory of information is based on probability theory and statistics, and measures information with several quantities of information. The choice of logarithmic base in the following formulae determines the unit of information entropy that is used. The most common unit of information is the bit, or more correctly the shannon, based on the binary logarithm.
Rapport signal sur bruitEn électronique, le rapport signal sur bruit (SNR, ) est le rapport des puissances entre la partie du signal qui représente une information et le reste, qui constitue un bruit de fond. Il est un indicateur de la qualité de la transmission d'une information. L'expression d'un rapport signal sur bruit se fonde implicitement sur le principe de superposition, qui pose que le signal total est la somme de ces composantes. Cette condition n'est vraie que si le phénomène concerné est linéaire.
Divergence de Kullback-LeiblerEn théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA, c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona.
Unité de mesureEn physique et en métrologie, une est une . Une unité de mesure peut être définie à partir de constantes fondamentales ou par un étalon, utilisé pour la mesure. Les systèmes d'unités, définis en cherchant le plus large accord dans le domaine considéré, sont rendus nécessaires par la méthode scientifique, dont l'un des fondements est la reproductibilité des expériences (donc des mesures), ainsi que par le développement des échanges d'informations commerciales ou industrielles.
Identification de systèmeL'identification de système ou identification paramétrique est une technique de l'automatique consistant à obtenir un modèle mathématique d'un système à partir de mesures. L'identification consiste à appliquer ou observer des signaux de perturbation à l'entrée d'un système (par exemple, pour un système électronique, ceux-ci peuvent être de type binaire aléatoire ou pseudo-aléatoire, galois, sinus à fréquences multiples...) et en analyser la sortie dans le but d'obtenir un modèle purement mathématique.
Carrier-to-noise ratioIn telecommunications, the carrier-to-noise ratio, often written CNR or C/N, is the signal-to-noise ratio (SNR) of a modulated signal. The term is used to distinguish the CNR of the radio frequency passband signal from the SNR of an analog base band message signal after demodulation. For example, with FM radio, the strength of the 100 MHz carrier with modulations would be considered for CNR, whereas the audio frequency analogue message signal would be for SNR; in each case, compared to the apparent noise.
Information contentIn information theory, the information content, self-information, surprisal, or Shannon information is a basic quantity derived from the probability of a particular event occurring from a random variable. It can be thought of as an alternative way of expressing probability, much like odds or log-odds, but which has particular mathematical advantages in the setting of information theory. The Shannon information can be interpreted as quantifying the level of "surprise" of a particular outcome.
Decision analysisDecision analysis (DA) is the discipline comprising the philosophy, methodology, and professional practice necessary to address important decisions in a formal manner. Decision analysis includes many procedures, methods, and tools for identifying, clearly representing, and formally assessing important aspects of a decision; for prescribing a recommended course of action by applying the maximum expected-utility axiom to a well-formed representation of the decision; and for translating the formal representation of a decision and its corresponding recommendation into insight for the decision maker, and other corporate and non-corporate stakeholders.
Capteurvignette|Le système informatique d'un avion de ligne gère en une fraction de seconde les données issues de nombreux capteurs (vitesse, direction, contrôle des réacteurs). vignette|Capteur infrarouge. Un capteur est un dispositif transformant l'état d'une grandeur physique observée en une grandeur utilisable, telle qu'une tension électrique, une hauteur de mercure, un courant électrique ou la déviation d'une aiguille. Le capteur se distingue de l'instrument de mesure par le fait qu'il ne s'agit que d'une interface entre un processus physique et une information manipulable.
Interaction informationThe interaction information is a generalization of the mutual information for more than two variables. There are many names for interaction information, including amount of information, information correlation, co-information, and simply mutual information. Interaction information expresses the amount of information (redundancy or synergy) bound up in a set of variables, beyond that which is present in any subset of those variables. Unlike the mutual information, the interaction information can be either positive or negative.
Conditional mutual informationIn probability theory, particularly information theory, the conditional mutual information is, in its most basic form, the expected value of the mutual information of two random variables given the value of a third. For random variables , , and with support sets , and , we define the conditional mutual information as This may be written in terms of the expectation operator: . Thus is the expected (with respect to ) Kullback–Leibler divergence from the conditional joint distribution to the product of the conditional marginals and .
Construction engineeringConstruction engineering, also known as construction operations, is a professional subdiscipline of civil engineering that deals with the designing, planning, construction, and operations management of infrastructure such as roadways, tunnels, bridges, airports, railroads, facilities, buildings, dams, utilities and other projects. Construction engineers learn some of the design aspects similar to civil engineers as well as project management aspects.
Optimal designIn the design of experiments, optimal designs (or optimum designs) are a class of experimental designs that are optimal with respect to some statistical criterion. The creation of this field of statistics has been credited to Danish statistician Kirstine Smith. In the design of experiments for estimating statistical models, optimal designs allow parameters to be estimated without bias and with minimum variance. A non-optimal design requires a greater number of experimental runs to estimate the parameters with the same precision as an optimal design.
Capteur photographiqueUn capteur photographique est un composant électronique photosensible servant à convertir un rayonnement électromagnétique (UV, visible ou IR) en un signal électrique analogique. Ce signal est ensuite amplifié, puis numérisé par un convertisseur analogique-numérique et enfin traité pour obtenir une . Le capteur est donc le composant de base des appareils photo et des caméras numériques, l'équivalent du film (ou pellicule) en photographie argentique.
