Dreh- und Angelpunkt der Thermodynamik ist der Begriff Entropie als Maß für Unordnung oder die Anzahl möglicher Mikrozustände eines gegebenen Makrozustandes. Parallelen der Thermodynamik zur Informationstheorie legen jedoch auch ein weiteres, tiefergehendes Verständnis der Entropie nahe – als Maß für das Informationsdefizit.