Axiomes et théorème d’unicité de l’entropie et de l’information

Dans ce travail, nous proposons une nouvelle démonstration du théorème d’unicité pour une famille d’entropies incluant celle de Shannon. La structure axiomatique classique, proposée par Shannon et Khinchin dans leurs travaux fondateurs, est ici modifiée en utilisant moins d’hypothèses, et surtout sans recourir aux axiomes relatifs à l’entropie thermodynamique, à savoir : le fait que le maximum de l’entropie correspond à une distribution de probabilité uniforme ou que l’entropie est une fonction croissante du nombre total d’états d’un système. Ces deux postulats sont une partie des raisons expliquant le lien de parenté entre les notions d’entropie et d’information.

In this work, we provide a new proof of the uniqueness theorem for a family of entropy formulas including Shannon’s entropy. The conventional axiomatic structure, proposed by Shannon and Khinchin in their seminal work, is modified by using fewer assumptions and especially without using the axioms relative to thermodynamic entropy, i.e., the maximum of entropy corresponds to uniform probability distributions, or the entropy is an increasing function of the total number of states of a system, which are just part of the reasons for the kin relationship between the two notions.

Entropie Entropie de Shannon Entropie de Tsallis Théorème d’unicité Théorie de l’information Entropie généralisée Entropie conditionnelle

Entropie Entropie de Shannon Entropie de Tsallis Théorème d’unicité Théorie de l’information Entropie généralisée Entropie conditionnelle