Informazione e entropia, il contributo di Shannon

Supponiamo di avere due palline, una bianca e una nera: qualcuno prende una delle due palline e la mette in un cassetto: quale situazione si può verificare quando si apre il cassetto?

Figura 1. Due palline, una bianca e una nera, un cassetto.

Quando apriamo il cassetto potremo trovare una pallina bianca oppure una pallina nera.

E se avessimo due cassetti, per ciascuno dei quali abbiamo a disposizione una coppia di palline (di cui una bianca e l’altra nera)? e se i cassetti fossero tre?