Énergie = information: du paradigme de l’énergie mécanique au paradigme de l’énergie informationnelle

Entropie en thermodynamique

En physique statistique, l’entropie notée \(S\) peut être interprétée comme une mesure à la fois du degré de désordre, de stabilité et de probabilité d’un système. Dans une approche statistique, Boltzmann a été le premier démonter qu’elle mesure le nombre d’états microscopiques, ou nombre de configurations possibles, comptatibles avec l’état macroscopique (à notre échelle) que l’on observe. Mathématiquement, l’entropie d’un système est proportionnelle à son nombre de configurations (plus précisément au logarithme de son nombre de configuration):

\(S = -k_B\ ln(\Omega)\)

où \(\Omega\) est le nombre configurations possibles pour un état macroscopique donné et \(k_b\) la constante de Boltzmann.

Si l’état macroscopique d’un système est caractérisé par une distribution \(p\) de ses configurations possibles pendant la fluctuation du système alors l’entropie peut être définie d’après la formule de l’entropie de Gibbs:

\(S = -k_B\ \sum_i p_i ln(p_i)\)

Dès lors, son sens intime se confirme: l’entropie mesurerait en quelque sorte, le degré de désordre interne du système (l’ordre ultime se traduisant par une seule configuration moléculaire possible). Plus l’entropie du système est élevée, moins ses éléments sont ordonnés, liés entre eux, capables de produire des effets mécaniques, et plus grande est la part de l’énergie inutilisable pour l’obtention d’un travail ; c’est-à-dire libérée de façon incohérente. Laissé à lui-même, un système évolue spontanément vers l’état le plus probable, celui qui correspond au plus grand nombre de configurations différentes car il a la plus grande probabilité d’évoluer vers cet état qu’il atteindra ultimement. Ceci explique le deuxième principe de la thermodynamique qui stipule que l’entropie globale croît au fil du temps.

L’entropie a pour dimension physique l’énergie divisée par la température, et donc pour unité le joule par kelvin (\(J.K^{-1}\)). Elle correspond alors à la quantité d’énergie dépensée par unité de température, ce qui corrobore l’interprétation de l’entropie comme l’utilité ou l’effectivité de l’énergie dépensée: plus l’entropie est faible, plus l’énergie dépensée est utile et plus le degré d’ordre est élevé dans la mesure ou l’énergie est dépensée dans le même but et de manière cohérente.

Information et entropie
Loi de probabilité

Une loi de probabilité est une mesure, au sens mathématique du terme, de masse \(1\). Cela signifie que la somme des probabilités de tous les événements possibles de l’univers \(\Omega\) étudié vaut toujours \(1\). La probabilité d’un événement \(\omega\) correspond alors à la proportion du sous-ensemble de l’univers \(\Omega\) (l’ensemble de toutes les événements possibles) recouvert par cet événement. Par exemple, pour une loi discrète \(P\) et un événement \(\omega\) on a \(\displaystyle P(\omega) = \frac{card(\omega)}{card(\Omega)}\).

L’inverse d’une loi de probabilité représente alors le nombre de « portions » de l’univers \(\Omega\) nécessaire pour représenter la part d’un événement donné dans \(\Omega\). Pour le dire autrement cela revient aussi à représenter la quantité de « paquets » de taille de celle d’\(\omega\), nécessaires pour couvrir tout l’ensemble \(\Omega\). On parlera aussi plus simplement de quantité d’information absolue ou non encodée. Toujours avec l’exemple précédent on a alors \(\displaystyle \frac{1}{P(\omega)} = \frac{card(\Omega)}{card(\omega)}\) qui représentera le nombre de portions par lequel \(\Omega\) doit être divisé pour représenter la probabilité de \(\omega\). Si \(\displaystyle P(\omega) = \frac{1}{4}\) alors il est nécessaire de diviser \(\Omega\) en $\latex 4$ portions pour représenter le poids de l’événement \(\omega\) relativement au poids de tout l’univers \(\Omega\), c’est-à-dire \(1\) portion pour \(4\), ce qui correspond à sa probabilité \(\displaystyle \frac{1}{4}\).

L’information comme incertitude

Dans sa théorie mathématique de la communication de l’information, plus communément appelée théorie de l’information, Shannon insiste sur le caractère essentiellement aléatoire de l’information. Un événement aléatoire est par définition incertain. Cette incertitude est prise comme mesure de la quantité d’information1)L’information en tant que telle ne se mesure pas. On mesure seulement sa quantité.. Cette mesure du contenu d’une information, qui mesure donc une quantité information, appelée par Shannon auto-information ou surprisal d’un événement \(\omega\) codée en base \(b\) (par exemple \(2\) ou \(10\)), est uniquement définie par sa probabilité:

\(I(A) = – log_b\ P(A)\), où \(log_b\) est le logarithme en base \(b\) qui peut aussi se réécrire \(\displaystyle I = log_b\ \frac{1}{P(A)}\), par définition du logarithme.

L’information est donc la mesure de l’incertitude calculée à partir de la probabilité de l’événement. Shannon a dans sa théorie confondu la notion de quantité d’information et de mesure ou degré d’incertitude. Il faut remarquer que dans cette définition la quantité d’information est bien synonyme de mesure d’incertitude: plus une information est incertaine, plus elle est intéressante et porteuse de valeur. Un événement certain ne contient donc aucune information car il n’apporte aucune connaissance supplémentaire et donc aucune information. Ainsi, un message apportera peu d’information si les nouvelles données qu’il introduit sont prédictibles i.e. elles sont connues par avance avec une quasi-certitude2)Ce qui est le cas pour une distribution de probabilité avec seulement quelques événements ayant une grande probabilite.. Dans ce contexte, la quantité d’information mesure donc l’étendue de la connaissance acquise par la manifestation d’un événement incertain. En théorie de l’information de Shannon, il s’agit donc de raisonner en probabilité3)Et même en improbabilité et non en logique pure.

Shannon définit alors l’entropie informationnelle, encore appelée entropie de Shannon, en base \(b\) d’une source d’information représentée par une variable aléatoire réelle \(X\) – qui représente tous les événements possibles de cette source d’information – comme suit :

\(H_b(X) = -\mathbb{E}[log_b\ P(X)] = \sum_{i=1}^n P_i\ log_b\ \frac{1}{P_i} = -\sum_{i=1}^n P_i\ log_b\ P_i\)

Elle peut aussi être définie à partir de la quantité d’information \(I\):

\(H_b(X) = -\mathbb{E}[I(X)] = \sum_{i=1}^n P_i\ I_i\)

Le plus souvent on a \(b = 2\), ce qui permet de mesurer la quantité d’information en bits, unité du système de numération en base \(2\).

L’entropie informationnelle en base \(b\) mesure alors la quantité d’information moyenne d’une source d’information en unités de codage de base \(b\). Plus la source est chaotique, plus l’entropie est élevée et plus sa quantité d’information est grande. D’après ce qui précède, l’entropie de Shannon peut aussi être considéré comme le gain de quantité d’information espéré lorsque l’on apprend le résultat d’une variable aléatoire \(X\) qui constitue ici une source d’information. Là où l’auto-information mesurait la quantité d’information d’un seul événement, l’entropie de Shannon mesure la quantité d’information moyenne de l’ensemble des événements possibles d’une source d’information.

Information et énergie

Pour transférer une l’information, il faut alors dépenser une petite quantité d’énergie en ordonnant – les verbes ordonnançant ou organisant sont tout aussi appropriés – les caractères du système étudié qui correspond ici à la source d’information, car il y a une chance infinitésimale que cela se produise spontanément. Après avoir ordonné ses caractères, l’état final du système est alors plus ordonné comparativement à l’ancien état, c’est pourquoi son entropie thermodynamique est plus faible que celle d’un texte aléatoire4)Il convient de noter que malgré la baisse d’entropie thermodynamique du système étudié, l’entropie de l’univers elle a augmenté du fait de la dépense d’énergie sous forme d’un dégagement de chaleur nécessaire à l’ordonnancement des caractères du système étudié, d’après la deuxième loi de la thermodynamique.. Lorsque l’on transmet de l’information, processus éminemment irréversible5)En effet, après avoir été transmise, l’information a été assimilée par le destinataire à l’instant même où celui-ci l’a reçue. Quoiqu’il se passe lors de la fraction de seconde qui suit, l’état de l’univers n’en reste pas moins irrémédiablement, ou irréversiblement modifié., on diminue l’entropie thermodynamique du système étudié car l’information à transmettre a nécessité l’ordonnancement des charactères à transmettre. Parallèlement, on diminue aussi l’entropie de Shannon. En effet l’entropie de Shannon d’une source d’information représente la quantité d’incertitude – incertitude qui peut être interprétée comme du désordre – contenue dans cette source. Or, après transmission de l’information, l’incertitude ainsi que le niveau de désordre de la source d’information ont diminué (elle tombe même à zéro comme il n’y a plus d’incertitude), entraînant ainsi une diminution de l’entropie de Shannon. La transmission d’information qui consiste à diminuer l’entropie au sens de Shannon de la source, diminue dans le même temps son entropie thermodynamique par une dépense d’énergie.

Inversement, d’après le principe de Landauer, « toute manipulation logiquement irréversible de manipulation d’information, tel que l’effacement d’un bit ou la fusion de deux chemins de calcul, doit être accompagnée d’une augmentation d’entropie correspondante en degrés de liberté non porteurs d’information6)Encore appelé degrés de liberté logiques. de l’appareil de traitement d’information ou de son environnement »7)Charles H. Bennett (2003), “Notes on Landauer’s principle, Reversible Computation and Maxwell’s Demon” (PDF), Studies in History and Philosophy of Modern Physics, 34 (3): 501–510. Cela revient à exprimer le fait que toute perte d’information – qui correspond à une augmentation de l’entropie de Shannon – entraîne une augmentation de l’entropie thermodynamique (c’est l’augmentation des degrés de liberté non porteurs d’information) compte tenu du fait que l’effacement d’un bit, qui est une opération irréversible, produit aussi un dégagement de chaleur.

Il apparaît donc que l’entropie de Shannon est un cas particulier de l’entropie thermodynamique en cela que toute transmission ou tout effacement d’information, opérations irréversibles par excellence, fait varier l’entropie thermodynamique autant qu’elle fait varier l’entropie de Shannon.

L’inverse reste vrai: la formule de l’entropie de Gibbs qui caractérise l’état macroscopique d’un système par une distribution sur les états microscopiques possibles correspond à celle de l’entropie de Shannon à un facteur près. Cette relation ne dit rien d’autre sinon que l’entropie thermodynamique d’un système se mesure par la quantité d’information contenue en ses état microscopiques. L’entropie thermodynamique et informationnelle sont donc identifiables.

Nous pouvons alors, au moins dans une certaine mesure, poser l’hypothèse de l’information comme avatar de l’énergie et inversement l’énergie comme celui de l’information: plus une information est ordonnée et donc peu probable et instable, et plus l’énergie a été dépensée utilement et négentropiquement.

Cette ébauche de démonstration d’unification des concepts d’énergie et d’information esquisse l’idée que le nouveau paradigme serait à l’énergie informationnelle ce que l’ancien, agonisant, était à l’énergie mécanique.

References   [ + ]

1. L’information en tant que telle ne se mesure pas. On mesure seulement sa quantité.
2. Ce qui est le cas pour une distribution de probabilité avec seulement quelques événements ayant une grande probabilite.
3. Et même en improbabilité
4. Il convient de noter que malgré la baisse d’entropie thermodynamique du système étudié, l’entropie de l’univers elle a augmenté du fait de la dépense d’énergie sous forme d’un dégagement de chaleur nécessaire à l’ordonnancement des caractères du système étudié, d’après la deuxième loi de la thermodynamique.
5. En effet, après avoir été transmise, l’information a été assimilée par le destinataire à l’instant même où celui-ci l’a reçue. Quoiqu’il se passe lors de la fraction de seconde qui suit, l’état de l’univers n’en reste pas moins irrémédiablement, ou irréversiblement modifié.
6. Encore appelé degrés de liberté logiques.
7. Charles H. Bennett (2003), “Notes on Landauer’s principle, Reversible Computation and Maxwell’s Demon” (PDF), Studies in History and Philosophy of Modern Physics, 34 (3): 501–510

Leave a Reply

Your email address will not be published. Required fields are marked *

error: Content is protected !!