Entropie (thermodynamique)L'entropie est une grandeur physique qui caractérise le degré de désorganisation d'un système. Introduite en 1865 par Rudolf Clausius, elle est nommée à partir du grec , littéralement « action de se retourner » pris au sens de « action de se transformer ». En thermodynamique, l'entropie est une fonction d'état extensive (c'est-à-dire, proportionnelle à la quantité de matière dans le système considéré). Elle est généralement notée , et dans le Système international d'unités elle s'exprime en joules par kelvin ().
Entropie de ShannonEn théorie de l'information, l'entropie de Shannon, ou plus simplement entropie, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (suite d'octets). Elle a été introduite par Claude Shannon. Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande.
Entropy (statistical thermodynamics)The concept entropy was first developed by German physicist Rudolf Clausius in the mid-nineteenth century as a thermodynamic property that predicts that certain spontaneous processes are irreversible or impossible. In statistical mechanics, entropy is formulated as a statistical property using probability theory. The statistical entropy perspective was introduced in 1870 by Austrian physicist Ludwig Boltzmann, who established a new field of physics that provided the descriptive linkage between the macroscopic observation of nature and the microscopic view based on the rigorous treatment of large ensembles of microstates that constitute thermodynamic systems.
Loi de ParetoEn théorie des probabilités, la loi de Pareto, d'après Vilfredo Pareto, est un type particulier de loi de puissance qui a des applications en sciences physiques et sociales. Elle permet notamment de donner une base théorique au « principe des 80-20 », aussi appelé principe de Pareto. Soit la variable aléatoire X qui suit une loi de Pareto de paramètres (x,k), avec k un réel positif, alors la loi est caractérisée par : Les lois de Pareto sont des lois continues.
Corrélation (statistiques)En probabilités et en statistique, la corrélation entre plusieurs variables aléatoires ou statistiques est une notion de liaison qui contredit leur indépendance. Cette corrélation est très souvent réduite à la corrélation linéaire entre variables quantitatives, c’est-à-dire l’ajustement d’une variable par rapport à l’autre par une relation affine obtenue par régression linéaire. Pour cela, on calcule un coefficient de corrélation linéaire, quotient de leur covariance par le produit de leurs écarts types.
Formule de Boltzmannthumb|Sur la tombe de Ludwig Boltzmann En physique statistique, la formule de Boltzmann (1877) définit l'entropie microcanonique d'un système physique à l'équilibre macroscopique, libre d'évoluer à l'échelle microscopique entre micro-états différents. Elle s'écrit : où est la constante de Boltzmann qui est égale à . est appelé le nombre de complexions du système ou nombre de configurations.
ThermodynamiqueLa thermodynamique est la branche de la physique qui traite de la dépendance des propriétés physiques des corps à la température, des phénomènes où interviennent des échanges thermiques, et des transformations de l'énergie entre différentes formes. La thermodynamique peut être abordée selon deux approches différentes et complémentaires : phénoménologique et statistique. La thermodynamique phénoménologique ou classique a été l'objet de nombreuses avancées dès le .
Énergie libreEn thermodynamique, l'énergie libre, appelée aussi énergie libre de Helmholtz ou simplement énergie de Helmholtz, est une fonction d'état extensive dont la variation permet d'obtenir le travail utile susceptible d'être fourni par un système thermodynamique fermé, à température constante, au cours d'une transformation réversible. En français on la représente généralement par ; en anglais on l'appelle énergie libre de Helmholtz et on la représente généralement par .
Loi normaleEn théorie des probabilités et en statistique, les lois normales sont parmi les lois de probabilité les plus utilisées pour modéliser des phénomènes naturels issus de plusieurs événements aléatoires. Elles sont en lien avec de nombreux objets mathématiques dont le mouvement brownien, le bruit blanc gaussien ou d'autres lois de probabilité. Elles sont également appelées lois gaussiennes, lois de Gauss ou lois de Laplace-Gauss des noms de Laplace (1749-1827) et Gauss (1777-1855), deux mathématiciens, astronomes et physiciens qui l'ont étudiée.
Statistical mechanicsIn physics, statistical mechanics is a mathematical framework that applies statistical methods and probability theory to large assemblies of microscopic entities. It does not assume or postulate any natural laws, but explains the macroscopic behavior of nature from the behavior of such ensembles. Sometimes called statistical physics or statistical thermodynamics, its applications include many problems in the fields of physics, biology, chemistry, and neuroscience.
Thermodynamic free energyIn thermodynamics, the thermodynamic free energy is one of the state functions of a thermodynamic system (the others being internal energy, enthalpy, entropy, etc.). The change in the free energy is the maximum amount of work that the system can perform in a process at constant temperature, and its sign indicates whether the process is thermodynamically favorable or forbidden. Since free energy usually contains potential energy, it is not absolute but depends on the choice of a zero point.
Loi stableLa loi stable ou loi de Lévy tronquée, nommée d'après le mathématicien Paul Lévy, est une loi de probabilité utilisée en mathématiques, physique et analyse quantitative (finance de marché). On dit qu'une variable aléatoire réelle est de loi stable si elle vérifie l'une des 3 propriétés équivalentes suivantes : Pour tous réels strictement positifs et , il existe un réel strictement positif et un réel tels que les variables aléatoires et aient la même loi, où et sont des copies indépendantes de .
Enthalpie libreL’enthalpie libre, appelée aussi énergie libre de Gibbs ou simplement énergie de Gibbs, est une fonction d'état extensive introduite par Willard Gibbs, et généralement notée G. Le changement d'enthalpie libre correspond au travail maximal qui peut être extrait d'un système fermé à température et pression fixes, hors le travail dû à la variation de volume. L'enthalpie libre est reliée à l'enthalpie par la formule (où désigne la température et l'entropie), à l'énergie libre par la relation (où désigne la pression et le volume) et à l'énergie interne par la relation .
Principe d'entropie maximaleLe principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. De toutes ces distributions, c'est en effet celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
Entropie de RényiL'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire. Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule : L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .
Pearson correlation coefficientIn statistics, the Pearson correlation coefficient (PCC) is a correlation coefficient that measures linear correlation between two sets of data. It is the ratio between the covariance of two variables and the product of their standard deviations; thus, it is essentially a normalized measurement of the covariance, such that the result always has a value between −1 and 1. As with covariance itself, the measure can only reflect a linear correlation of variables, and ignores many other types of relationships or correlations.
Maximum entropy thermodynamicsIn physics, maximum entropy thermodynamics (colloquially, MaxEnt thermodynamics) views equilibrium thermodynamics and statistical mechanics as inference processes. More specifically, MaxEnt applies inference techniques rooted in Shannon information theory, Bayesian probability, and the principle of maximum entropy. These techniques are relevant to any situation requiring prediction from incomplete or insufficient data (e.g., , signal processing, spectral analysis, and inverse problems).
Deuxième principe de la thermodynamiqueLe deuxième principe de la thermodynamique (également connu sous le nom de deuxième loi de la thermodynamique ou principe de Carnot) établit l'irréversibilité des phénomènes physiques, en particulier lors des échanges thermiques. C'est un principe d'évolution qui fut énoncé pour la première fois par Sadi Carnot en 1824. Il a depuis fait l'objet de nombreuses généralisations et formulations successives par Clapeyron (1834), Clausius (1850), Lord Kelvin, Ludwig Boltzmann en 1873 et Max Planck (voir Histoire de la thermodynamique et de la mécanique statistique), tout au long du et au-delà jusqu'à nos jours.
Entropie croiséeEn théorie de l'information, l'entropie croisée entre deux lois de probabilité mesure le nombre de bits moyen nécessaires pour identifier un événement issu de l'« ensemble des événements » - encore appelé tribu en mathématiques - sur l'univers , si la distribution des événements est basée sur une loi de probabilité , relativement à une distribution de référence . L'entropie croisée pour deux distributions et sur le même espace probabilisé est définie de la façon suivante : où est l'entropie de , et est la divergence de Kullback-Leibler entre et .
Entropie minEn probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p1... pn est : La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2-b. L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables.
