Лекция: Формула Шеннона для энтропии

Энтропия Н(а) системы, имеющей N возможных состояний, согласно формуле Шеннона, равна

где Pi – вероятность того, что система находится в i — м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны

ее энтропия определяется соотношением: