Introduit des variables aléatoires et leur signification dans la théorie de l'information, couvrant des concepts tels que la valeur attendue et l'entropie de Shannon.
Explore la relation entre la longueur des mots de code et la distribution des probabilités, en se concentrant sur la conception de codes sans préfixe pour une compression efficace.
Explore les origines et l'interprétation de l'entropie, en mettant l'accent sur son rôle dans la mesure du trouble et du contenu de l'information dans un système.
